CN107515786A - 资源分配方法、主装置、从装置和分布式计算系统 - Google Patents
资源分配方法、主装置、从装置和分布式计算系统 Download PDFInfo
- Publication number
- CN107515786A CN107515786A CN201710662725.0A CN201710662725A CN107515786A CN 107515786 A CN107515786 A CN 107515786A CN 201710662725 A CN201710662725 A CN 201710662725A CN 107515786 A CN107515786 A CN 107515786A
- Authority
- CN
- China
- Prior art keywords
- resource
- physical node
- calculating task
- limit
- distributed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5083—Techniques for rebalancing the load in a distributed system
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multi Processors (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种资源分配方法、主装置、从装置和分布式计算系统。所述方法包括:获取在分布式集群的各物理节点上可使用的资源总量,为各计算任务设置标准资源限度,将两者下发到相应物理节点上的资源分配从装置中;当接收到提交的计算任务时,获取各物理节点上当前的可用资源;根据该计算任务提交的计算任务中配置的资源需求和/或标准资源限度,以及各物理节点上当前的可用资源,确定可运行该计算任务的资源充足的物理节点;将计算任务分配到资源充足的物理节点上,由资源充足的物理节点上的资源分配从装置在标准资源限度内为该计算任务分配资源。该技术方案能够避免出现多个计算任务争抢同一计算资源导致效率低下的问题。
Description
技术领域
本发明涉及分布式计算技术领域,具体涉及资源分配方法、主装置、从装置和分布式计算系统。
背景技术
许多分布式系统都通过调度器来分配、调度计算资源,例如Hadoop可以利用Yarn进行资源调度。但是许多分布式计算系统是不支持调度器的,资源的分配方法往往不能满足用户的需求,可能导致效率低下,甚至出现错误。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的资源分配方法、主装置、从装置和分布式计算系统。
依据本发明的一个方面,提供了一种资源分配方法,其中,该方法应用于分布式计算系统的主节点上,所述分布式计算系统部署在分布式集群中,该方法包括:
获取在所述分布式集群的各物理节点上可使用的资源总量;
为各计算任务设置标准资源限度;
将各物理节点上可使用的资源总量和所述标准资源限度下发到相应物理节点上的资源分配从装置中;
当接收到提交的计算任务时,获取各物理节点上当前的可用资源;
根据该计算任务提交的计算任务中配置的资源需求和/或标准资源限度,以及各物理节点上当前的可用资源,确定可运行该计算任务的资源充足的物理节点;
将所述计算任务分配到资源充足的物理节点上,由所述资源充足的物理节点上的资源分配从装置在所述标准资源限度内为该计算任务分配资源。
可选地,所述分布式集群的各物理节点被多个分布式系统复用,所述分布式计算系统是所述多个分布式系统中的一个;
所述分布式计算系统在所述分布式集群的各物理节点上可使用的资源是根据各分布式系统的资源需求量确定的。
可选地,所述资源包括如下的一种或多种:
CPU资源、内存资源、网卡资源。
可选地,所述为各计算任务设置标准资源限度包括:在Cgroup limit配置文件中写入各计算任务可使用的标准资源限度;
所述将各物理节点上可使用的资源总量和所述标准资源限度下发到相应物理节点上的资源分配从装置中包括:为各物理节点生成对应的在Cgroup limit配置文件副本,在各Cgroup limit配置文件副本中写入在相应的物理节点上可使用的资源总量,将所述Cgroup limit配置文件副本下发到各资源分配从装置。
可选地,该方法还包括:按计算任务的业务类型,为各计算任务设置业务资源限度;
所述提交的计算任务在提交前,在相应的业务资源限度内配置资源需求。
依据本发明的另一方面,提供了一种资源分配方法,其中,该方法应用于分布式计算系统中的从节点上,所述分布式计算系统部署在分布式集群中,且各从节点对应部署在分布式集群的一个物理节点上,该方法包括:
获取各计算任务的标准资源限度和本物理节点上可使用的物理资源总量;
当接收到下发的计算任务时,根据所述计算任务中配置的资源需求和/或标准资源限度,在所述标准资源限度内为所述计算任务分配资源,将分配的资源记录为已分配资源;
在所述计算任务结束后,释放相应的已分配资源;
当接收到可用资源获取请求时,根据记录的已分配资源和在该物理节点上可用的资源总量,确定该物理节点当前的可用资源并上报。
可选地,所述获取各计算任务的标准资源限度包括:
接收下发的Cgroup limit配置文件副本,所述Cgroup limit配置文件副本中写有本物理节点上可使用的资源总量及各计算任务可使用的标准资源限度;
所述在所述标准资源限度内为所述计算任务分配资源包括:以Cgroup limit方式启动所述计算任务。
可选地,该方法还包括:
统计各计算任务在预定时间内对相应的已分配资源的资源利用率;
根据所述资源利用率调整各计算任务的已分配资源,和/或在接收到下发的计算任务时,根据与该计算任务同业务类型的计算任务的资源利用率和所述计算任务中配置的资源需求,在所述标准资源限度内为所述计算任务分配资源。
依据本发明的又一方面,提供了一种资源分配主装置,其中,该装置应用于分布式计算系统的主节点上,所述分布式计算系统部署在分布式集群中,该装置包括:
资源总量确定单元,适于获取在所述分布式集群的各物理节点上可使用的资源总量;
资源限度确定单元,适于为各计算任务设置标准资源限度;
资源分配单元,适于将各物理节点上可使用的资源总量和所述标准资源限度下发到相应物理节点上的资源分配从装置中;以及适于当接收到提交的计算任务时,获取各物理节点上当前的可用资源,根据该计算任务提交的计算任务中配置的资源需求和/或标准资源限度,以及各物理节点上当前的可用资源,确定可运行该计算任务的资源充足的物理节点,将所述计算任务分配到资源充足的物理节点上,由所述资源充足的物理节点上的资源分配从装置在所述标准资源限度内为该计算任务分配资源。
可选地,所述分布式集群的各物理节点被多个分布式系统复用,所述分布式计算系统是所述多个分布式系统中的一个;
所述分布式计算系统在所述分布式集群的各物理节点上可使用的资源是根据各分布式系统的资源需求量确定的。
可选地,所述资源包括如下的一种或多种:
CPU资源、内存资源、网卡资源。
可选地,所述资源限度确定单元,适于在Cgroup limit配置文件中写入各计算任务可使用的标准资源限度;
所述资源分配单元,适于为各物理节点生成对应的在Cgroup limit配置文件副本,在各Cgroup limit配置文件副本中写入在相应的物理节点上可使用的资源总量,将所述Cgroup limit配置文件副本下发到各资源分配从装置。
可选地,所述资源限度确定单元,还适于按计算任务的业务类型,为各计算任务设置业务资源限度;
所述提交的计算任务在提交前,在相应的业务资源限度内配置资源需求。
依据本发明的再一方面,提供了一种资源分配从装置,其中,该装置应用于分布式计算系统中的从节点上,所述分布式计算系统部署在分布式集群中,且各从节点分别与分布式集群的一个物理节点对应,该装置包括:
资源预分配单元,适于获取各计算任务的标准资源限度和本物理节点上可使用的物理资源总量;
资源分配单元,适于当接收到下发的计算任务时,根据所述计算任务中配置的资源需求和/或标准资源限度,在所述标准资源限度内为所述计算任务分配资源,将分配的资源记录为已分配资源;以及在所述计算任务结束后,释放相应的已分配资源;
所述资源预分配单元,还适于当接收到可用资源获取请求时,根据记录的已分配资源和在该物理节点上可用的资源总量,确定该物理节点当前的可用资源并上报。
可选地,所述资源预分配单元,适于接收下发的Cgroup limit配置文件副本,所述Cgroup limit配置文件副本中写有本物理节点上可使用的资源总量及各计算任务可使用的标准资源限度;
所述资源分配单元,适于以Cgroup limit方式启动所述计算任务。
可选地,该装置还包括:
统计单元,适于统计各计算任务在预定时间内对相应的已分配资源的资源利用率;
所述资源分配单元,适于根据所述资源利用率调整各计算任务的已分配资源,和/或适于在接收到下发的计算任务时,根据与该计算任务同业务类型的计算任务的资源利用率和所述计算任务中配置的资源需求,在所述标准资源限度内为所述计算任务分配资源。
依据本发明的再一方面,提供了一种分布式计算系统,包括一个主节点和至少一个从节点,每个主节点上部署有如上述任一项所述的资源分配主装置,每个从节点上部署有如上述任一项所述的资源分配从装置。
由上述可知,本发明的技术方案,通过为各计算任务设置标准资源限度,将标准资源限度和各物理节点上可使用的资源总量下发到相应物理节点上的资源分配从装置中,在接收到提交的计算任务时,先获取各物理节点上当前的可用资源来确定资源充足的物理节点,将计算任务分配到这样的物理节点上,由这些物理节点上的资源分配从装置在标准资源限度内分配资源。该技术方案能够保证为各计算任务分配的计算资源互不冲突,同时满足了资源调度的需求,避免出现多个计算任务争抢同一计算资源导致效率低下的问题。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了根据本发明一个实施例的一种资源分配方法的流程示意图;
图2示出了根据本发明一个实施例的另一种资源分配方法的流程示意图;
图3示出了根据本发明一个实施例的一种资源分配主装置的结构示意图;
图4示出了根据本发明一个实施例的一种资源分配从装置的结构示意图;
图5示出了根据本发明一个实施例的一种分布式计算系统的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
以分布式计算系统Storm为例,其能够支持流式计算的实时处理,但是不支持利用Yarn进行资源的调度。提交到Storm中的计算任务称为Topology,Topology又由Spout和Bolt构成。Storm中存在两种组件,Nimbus和Supervisor,其中Nimbus全局只有一个,负责将任务的代码发送到多个Supervisor上。因此Nimbus相当于主节点,Supervisor相当于从节点。分布式集群中的各物理节点上可以分别启动一个Supervisor,用于监听分配给它所在的物理节点的工作,根据需要启动或关闭工作进程Worker。Worker会利用计算资源来处理相应的计算任务,因此现有技术中,往往通过控制Worker的数量来实现资源的分配,例如令一个Supervisor最多只能启动四个Worker。但是这种方式存在的问题是,对于图像识别等计算任务来说,其耗费的计算资源是巨大的;相对地,有一些计算任务耗费的计算资源很小。这样就可能出现一个Supervisor启动了三个Worker,这三个Worker已经使用了全部的计算资源,但是由于预设的是一个Supervisor可以启动四个Worker,那么还可能出现令这个Supervisor再启动一个Worker,执行另一个计算任务;那么这个计算任务可能被饿死。
下面本发明各实施例所示出的技术方案可以在一定程度上避免这样的事情发生。图1示出了根据本发明一个实施例的一种资源分配方法的流程示意图,其中,该方法应用于分布式计算系统的主节点上,所述分布式计算系统部署在分布式集群中,该方法包括:
步骤S110,获取在分布式集群的各物理节点上可使用的资源总量。本实施例和其他实施例中的资源可以是CPU资源、内存资源、网卡资源中的一种或多种。
当分布式集群中只部署了本分布式计算系统时,那么各物理节点上可使用的资源总量就是相应的物理节点上的所有资源。
步骤S120,为各计算任务设置标准资源限度。
在本步骤中,并不是如同现有技术一样设置可在各物理节点上运行的计算任务的数量,而是为各计算任务设置一个标准资源限度,例如,对于一个Spout,只允许其使用3个CPU核心。
步骤S130,将各物理节点上可使用的资源总量和标准资源限度下发到相应物理节点上的资源分配从装置中。
步骤S140,当接收到提交的计算任务时,获取各物理节点上当前的可用资源。
因为此时,如果一个物理节点上已有运行的计算任务,那么该物理节点上当前的可用资源就小于该物理节点上可使用的资源总量。然后执行步骤S150,根据该计算任务提交的计算任务中配置的资源需求和/或标准资源限度,以及各物理节点上当前的可用资源,确定可运行该计算任务的资源充足的物理节点。
例如,计算任务需求使用2个CPU核心,而物理节点1上只有1个CPU核心空闲,那么物理节点1就不是一个资源充足的物理节点。假如物理节点2上有3个CPU核心空闲,那么物理节点2就是一个资源充足的物理节点。
步骤S160,将计算任务分配到资源充足的物理节点上,由资源充足的物理节点上的资源分配从装置在标准资源限度内为该计算任务分配资源。
这里可以考虑按照计算任务中配置的资源需求为该计算任务分配资源,例如虽然一个计算任务的标准资源限度是3个CPU核心,但是实际提交的一个计算任务只需求2个CPU核心,那么可以分配给该计算任务2个CPU核心。如果计算任务中没有配置资源需求,那么也可以按照标准资源限度,分配给该计算任务3个CPU核心。
可见,图1所示的方法,通过为各计算任务设置标准资源限度,将标准资源限度和各物理节点上可使用的资源总量下发到相应物理节点上的资源分配从装置中,在接收到提交的计算任务时,先获取各物理节点上当前的可用资源来确定资源充足的物理节点,将计算任务分配到这样的物理节点上,由这些物理节点上的资源分配从装置在标准资源限度内分配资源。该技术方案能够保证为各计算任务分配的计算资源互不冲突,同时满足了资源调度的需求,避免出现多个计算任务争抢同一计算资源导致效率低下的问题。
上面的实施例中提及,当分布式集群中只部署了本分布式计算系统时,那么各物理节点上可使用的资源总量就是相应的物理节点上的所有资源。然而事实上,分布式集群往往是被多个分布式系统复用的。因此在本发明的一个实施例中,上述方法中,分布式集群的各物理节点被多个分布式系统复用,分布式计算系统是多个分布式系统中的一个;分布式计算系统在分布式集群的各物理节点上可使用的资源是根据各分布式系统的资源需求量确定的。
例如,Hadoop和Storm如果在同一分布式集群中部署,Hadoop可以由Yarn进行调度,Strom则不行,那么二者中的计算任务就会争抢计算资源。在本实施例中,可以根据各分布式系统的资源需求量来确定各分布式系统在各物理节点上可使用的资源。例如,一个物理节点上有24个CPU核心,那么可以将CPU0~CPU9分配给Storm,CPU10~CPU23分配给Hadoop。
在本发明的一个实施例中,上述方法中,为各计算任务设置标准资源限度包括:在Cgroup limit配置文件中写入各计算任务可使用的标准资源限度;将各物理节点上可使用的资源总量和标准资源限度下发到相应物理节点上的资源分配从装置中包括:为各物理节点生成对应的在Cgroup limit配置文件副本,在各Cgroup limit配置文件副本中写入在相应的物理节点上可使用的资源总量,将Cgroup limit配置文件副本下发到各资源分配从装置。
Cgroup全称为Control Group,可以在Linux系统中实现资源调度,但并不十分好用。在本实施例中选取使用Cgroup limit配置文件的方式来限制各计算任务可使用的资源。
上面的实施例中,标准资源限度对各类型的计算任务可以都是一样的,也就是无论是什么计算任务,一视同仁。当然这也可能造成许多不需要利用太多计算资源的计算任务被申请了过多的计算资源。因此在本发明的一个实施例中,上述方法还包括:按计算任务的业务类型,为各计算任务设置业务资源限度;提交的计算任务在提交前,在相应的业务资源限度内配置资源需求。
也就是说,提交到分布式计算系统中的任务不能够随意地申请资源,这样在有标准资源限度的一道限制下,又增添了一道限制,可以减少出现资源利用率过低的情况。
上面的实施例可以应用在分布式计算系统的主节点上。图2示出了根据本发明一个实施例的另一种资源分配方法的流程示意图,其中,该方法应用于分布式计算系统中的从节点上,分布式计算系统部署在分布式集群中,且各从节点对应部署在分布式集群的一个物理节点上,该方法包括:
步骤S210,获取各计算任务的标准资源限度和本物理节点上可使用的物理资源总量。这些可以是主节点上的资源分配主装置下发的。
步骤S220,当接收到下发的计算任务时,根据计算任务中配置的资源需求和/或标准资源限度,在标准资源限度内为计算任务分配资源,将分配的资源记录为已分配资源。
步骤S230,在计算任务结束后,释放相应的已分配资源。
通过步骤S220和步骤S230就能够维护在本物理节点上已分配的资源总量,也就能计算出剩余的资源总量,这些就是该物理节点上可用的资源总量。因此在步骤S240,当接收到可用资源获取请求时,根据记录的已分配资源和在该物理节点上可用的资源总量,确定该物理节点当前的可用资源并上报。
这时主节点上的资源分配主装置可以按照前述实施例中的方法确定计算任务应该在哪些物理节点上执行,在此不再赘述。
在本发明的一个实施例中么,图2所示的方法中,获取各计算任务的标准资源限度包括:接收下发的Cgroup limit配置文件副本,Cgroup limit配置文件副本中写有本物理节点上可使用的资源总量及各计算任务可使用的标准资源限度;在标准资源限度内为计算任务分配资源包括:以Cgroup limit方式启动计算任务。
在前述实施例中介绍了使用Cgroup limit配置文件的方式来限制各计算任务使用的资源,在本实施例中,对Cgroup limit配置文件的利用方式为以Cgroup limit方式启动计算任务,这样就会加载相应的Cgroup limit配置文件副本。
虽然上述实施例能够提高计算任务的执行效率,但也可能出现为计算任务分配的资源过多或过少的情况,因此在本发明的一个实施例中,图2所示的方法还包括:统计各计算任务在预定时间内对相应的已分配资源的资源利用率;根据资源利用率调整各计算任务的已分配资源,和/或在接收到下发的计算任务时,根据与该计算任务同业务类型的计算任务的资源利用率和计算任务中配置的资源需求,在标准资源限度内为计算任务分配资源。
例如,计算任务A申请了3个CPU核心,但资源利用率不到10%,可令其只使用1个CPU核心;计算任务B申请了2个CPU核心,但长时间处于100%负载,那么可以在标准资源限度内容为其额外分配CPU核心,等等。
图3示出了跟根据本发明一个实施例的一种资源分配主装置的结构示意图,其中,该装置应用于分布式计算系统的主节点上,分布式计算系统部署在分布式集群中。如图3所示,资源分配主装置300包括:
资源总量确定单元310,适于获取在分布式集群的各物理节点上可使用的资源总量。
资源限度确定单元320,适于为各计算任务设置标准资源限度。
资源分配单元330,适于将各物理节点上可使用的资源总量和标准资源限度下发到相应物理节点上的资源分配从装置中;以及适于当接收到提交的计算任务时,获取各物理节点上当前的可用资源,根据该计算任务提交的计算任务中配置的资源需求和/或标准资源限度,以及各物理节点上当前的可用资源,确定可运行该计算任务的资源充足的物理节点,将计算任务分配到资源充足的物理节点上,由资源充足的物理节点上的资源分配从装置在标准资源限度内为该计算任务分配资源。
可见,图3所示的装置,通过各单元的相互配合,为各计算任务设置标准资源限度,将标准资源限度和各物理节点上可使用的资源总量下发到相应物理节点上的资源分配从装置中,在接收到提交的计算任务时,先获取各物理节点上当前的可用资源来确定资源充足的物理节点,将计算任务分配到这样的物理节点上,由这些物理节点上的资源分配从装置在标准资源限度内分配资源。该技术方案能够保证为各计算任务分配的计算资源互不冲突,同时满足了资源调度的需求,避免出现多个计算任务争抢同一计算资源导致效率低下的问题。
在本发明的一个实施例中,上述装置中,分布式集群的各物理节点被多个分布式系统复用,分布式计算系统是多个分布式系统中的一个;分布式计算系统在分布式集群的各物理节点上可使用的资源是根据各分布式系统的资源需求量确定的。
在本发明的一个实施例中,上述装置中,资源包括如下的一种或多种:CPU资源、内存资源、网卡资源。
在本发明的一个实施例中,上述装置中,资源限度确定单元320,适于在Cgrouplimit配置文件中写入各计算任务可使用的标准资源限度;资源分配单元330,适于为各物理节点生成对应的在Cgroup limit配置文件副本,在各Cgroup limit配置文件副本中写入在相应的物理节点上可使用的资源总量,将Cgroup limit配置文件副本下发到各资源分配从装置。
在本发明的一个实施例中,上述装置中,资源限度确定单元320,还适于按计算任务的业务类型,为各计算任务设置业务资源限度;提交的计算任务在提交前,在相应的业务资源限度内配置资源需求。
图4示出了根据本发明一个实施例的一种资源分配从装置的结构示意图,其中,该装置应用于分布式计算系统中的从节点上,分布式计算系统部署在分布式集群中,且各从节点分别与分布式集群的一个物理节点对应。如图4所示,资源分配从装置400包括:
资源预分配单元410,适于获取各计算任务的标准资源限度和本物理节点上可使用的物理资源总量。
资源分配单元420,适于当接收到下发的计算任务时,根据计算任务中配置的资源需求和/或标准资源限度,在标准资源限度内为计算任务分配资源,将分配的资源记录为已分配资源;以及在计算任务结束后,释放相应的已分配资源。
资源预分配单元410,还适于当接收到可用资源获取请求时,根据记录的已分配资源和在该物理节点上可用的资源总量,确定该物理节点当前的可用资源并上报。
在本发明的一个实施例中,图4所示的装置中,资源预分配单元410,适于接收下发的Cgroup limit配置文件副本,Cgroup limit配置文件副本中写有本物理节点上可使用的资源总量及各计算任务可使用的标准资源限度;资源分配单元420,适于以Cgroup limit方式启动计算任务。
在本发明的一个实施例中,图4所示的装置还包括:统计单元430,适于统计各计算任务在预定时间内对相应的已分配资源的资源利用率;资源分配单元420,适于根据资源利用率调整各计算任务的已分配资源,和/或适于在接收到下发的计算任务时,根据与该计算任务同业务类型的计算任务的资源利用率和计算任务中配置的资源需求,在标准资源限度内为计算任务分配资源。
需要说明的是,上述各装置实施例的具体实施方式分别与前述对应方法实施例的具体实施方式相同,在此不再赘述。
图5示出了根据本发明一个实施例的一种分布式计算系统的结构示意图,如图5所示,分布式计算系统500包括一个主节点510和至少一个从节点520,每个主节点510上部署有如上述任一实施例所述的资源分配主装置300,每个从节点上部署有如上述任一实施例所述的资源分配从装置400。
综上所述,本发明的技术方案,通过为各计算任务设置标准资源限度,将标准资源限度和各物理节点上可使用的资源总量下发到相应物理节点上的资源分配从装置中,在接收到提交的计算任务时,先获取各物理节点上当前的可用资源来确定资源充足的物理节点,将计算任务分配到这样的物理节点上,由这些物理节点上的资源分配从装置在标准资源限度内分配资源。该技术方案能够保证为各计算任务分配的计算资源互不冲突,同时满足了资源调度的需求,避免出现多个计算任务争抢同一计算资源导致效率低下的问题。
需要说明的是:
在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述,构造这类装置所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的资源分配主装置、从装置和分布式计算系统中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
本发明的实施例公开了A1、一种资源分配方法,其中,该方法应用于分布式计算系统的主节点上,所述分布式计算系统部署在分布式集群中,该方法包括:
获取在所述分布式集群的各物理节点上可使用的资源总量;
为各计算任务设置标准资源限度;
将各物理节点上可使用的资源总量和所述标准资源限度下发到相应物理节点上的资源分配从装置中;
当接收到提交的计算任务时,获取各物理节点上当前的可用资源;
根据该计算任务提交的计算任务中配置的资源需求和/或标准资源限度,以及各物理节点上当前的可用资源,确定可运行该计算任务的资源充足的物理节点;
将所述计算任务分配到资源充足的物理节点上,由所述资源充足的物理节点上的资源分配从装置在所述标准资源限度内为该计算任务分配资源。
A2、如A1所述的方法,其中,所述分布式集群的各物理节点被多个分布式系统复用,所述分布式计算系统是所述多个分布式系统中的一个;
所述分布式计算系统在所述分布式集群的各物理节点上可使用的资源是根据各分布式系统的资源需求量确定的。
A3、如A1所述的方法,其中,所述资源包括如下的一种或多种:
CPU资源、内存资源、网卡资源。
A4、如A1所述的方法,其中,所述为各计算任务设置标准资源限度包括:在Cgrouplimit配置文件中写入各计算任务可使用的标准资源限度;
所述将各物理节点上可使用的资源总量和所述标准资源限度下发到相应物理节点上的资源分配从装置中包括:为各物理节点生成对应的在Cgroup limit配置文件副本,在各Cgroup limit配置文件副本中写入在相应的物理节点上可使用的资源总量,将所述Cgroup limit配置文件副本下发到各资源分配从装置。
A5、如A1所述的方法,其中,该方法还包括:按计算任务的业务类型,为各计算任务设置业务资源限度;
所述提交的计算任务在提交前,在相应的业务资源限度内配置资源需求。
本发明的实施例还公开了B6、一种资源分配方法,其中,该方法应用于分布式计算系统中的从节点上,所述分布式计算系统部署在分布式集群中,且各从节点对应部署在分布式集群的一个物理节点上,该方法包括:
获取各计算任务的标准资源限度和本物理节点上可使用的物理资源总量;
当接收到下发的计算任务时,根据所述计算任务中配置的资源需求和/或标准资源限度,在所述标准资源限度内为所述计算任务分配资源,将分配的资源记录为已分配资源;
在所述计算任务结束后,释放相应的已分配资源;
当接收到可用资源获取请求时,根据记录的已分配资源和在该物理节点上可用的资源总量,确定该物理节点当前的可用资源并上报。
B7、如B6所述的方法,其中,所述获取各计算任务的标准资源限度包括:
接收下发的Cgroup limit配置文件副本,所述Cgroup limit配置文件副本中写有本物理节点上可使用的资源总量及各计算任务可使用的标准资源限度;
所述在所述标准资源限度内为所述计算任务分配资源包括:以Cgroup limit方式启动所述计算任务。
B8、如B6所述的方法,其中,该方法还包括:
统计各计算任务在预定时间内对相应的已分配资源的资源利用率;
根据所述资源利用率调整各计算任务的已分配资源,和/或在接收到下发的计算任务时,根据与该计算任务同业务类型的计算任务的资源利用率和所述计算任务中配置的资源需求,在所述标准资源限度内为所述计算任务分配资源。
本发明的实施例还公开了C9、一种资源分配主装置,其中,该装置应用于分布式计算系统的主节点上,所述分布式计算系统部署在分布式集群中,该装置包括:
资源总量确定单元,适于获取在所述分布式集群的各物理节点上可使用的资源总量;
资源限度确定单元,适于为各计算任务设置标准资源限度;
资源分配单元,适于将各物理节点上可使用的资源总量和所述标准资源限度下发到相应物理节点上的资源分配从装置中;以及适于当接收到提交的计算任务时,获取各物理节点上当前的可用资源,根据该计算任务提交的计算任务中配置的资源需求和/或标准资源限度,以及各物理节点上当前的可用资源,确定可运行该计算任务的资源充足的物理节点,将所述计算任务分配到资源充足的物理节点上,由所述资源充足的物理节点上的资源分配从装置在所述标准资源限度内为该计算任务分配资源。
C10、如C9所述的装置,其中,所述分布式集群的各物理节点被多个分布式系统复用,所述分布式计算系统是所述多个分布式系统中的一个;
所述分布式计算系统在所述分布式集群的各物理节点上可使用的资源是根据各分布式系统的资源需求量确定的。
C11、如C9所述的装置,其中,所述资源包括如下的一种或多种:
CPU资源、内存资源、网卡资源。
C12、如C9所述的装置,其中,
所述资源限度确定单元,适于在Cgroup limit配置文件中写入各计算任务可使用的标准资源限度;
所述资源分配单元,适于为各物理节点生成对应的在Cgroup limit配置文件副本,在各Cgroup limit配置文件副本中写入在相应的物理节点上可使用的资源总量,将所述Cgroup limit配置文件副本下发到各资源分配从装置。
C13、如C9所述的装置,其中,
所述资源限度确定单元,还适于按计算任务的业务类型,为各计算任务设置业务资源限度;
所述提交的计算任务在提交前,在相应的业务资源限度内配置资源需求。
本发明的实施例还公开了D14、一种资源分配从装置,其中,该装置应用于分布式计算系统中的从节点上,所述分布式计算系统部署在分布式集群中,且各从节点分别与分布式集群的一个物理节点对应,该装置包括:
资源预分配单元,适于获取各计算任务的标准资源限度和本物理节点上可使用的物理资源总量;
资源分配单元,适于当接收到下发的计算任务时,根据所述计算任务中配置的资源需求和/或标准资源限度,在所述标准资源限度内为所述计算任务分配资源,将分配的资源记录为已分配资源;以及在所述计算任务结束后,释放相应的已分配资源;
所述资源预分配单元,还适于当接收到可用资源获取请求时,根据记录的已分配资源和在该物理节点上可用的资源总量,确定该物理节点当前的可用资源并上报。
D15、如D14所述的装置,其中,
所述资源预分配单元,适于接收下发的Cgroup limit配置文件副本,所述Cgrouplimit配置文件副本中写有本物理节点上可使用的资源总量及各计算任务可使用的标准资源限度;
所述资源分配单元,适于以Cgroup limit方式启动所述计算任务。
D16、如D14所述的装置,其中,该装置还包括:
统计单元,适于统计各计算任务在预定时间内对相应的已分配资源的资源利用率;
所述资源分配单元,适于根据所述资源利用率调整各计算任务的已分配资源,和/或适于在接收到下发的计算任务时,根据与该计算任务同业务类型的计算任务的资源利用率和所述计算任务中配置的资源需求,在所述标准资源限度内为所述计算任务分配资源。
本发明的实施例还公开了E17、一种分布式计算系统,其中,该系统包括一个主节点和至少一个从节点,每个主节点上部署有如C9-C13中任一项所述的资源分配主装置,每个从节点上部署有如D14-D16中任一项所述的资源分配从装置。
Claims (10)
1.一种资源分配方法,其中,该方法应用于分布式计算系统的主节点上,所述分布式计算系统部署在分布式集群中,该方法包括:
获取在所述分布式集群的各物理节点上可使用的资源总量;
为各计算任务设置标准资源限度;
将各物理节点上可使用的资源总量和所述标准资源限度下发到相应物理节点上的资源分配从装置中;
当接收到提交的计算任务时,获取各物理节点上当前的可用资源;
根据该计算任务提交的计算任务中配置的资源需求和/或标准资源限度,以及各物理节点上当前的可用资源,确定可运行该计算任务的资源充足的物理节点;
将所述计算任务分配到资源充足的物理节点上,由所述资源充足的物理节点上的资源分配从装置在所述标准资源限度内为该计算任务分配资源。
2.如权利要求1所述的方法,其中,所述分布式集群的各物理节点被多个分布式系统复用,所述分布式计算系统是所述多个分布式系统中的一个;
所述分布式计算系统在所述分布式集群的各物理节点上可使用的资源是根据各分布式系统的资源需求量确定的。
3.一种资源分配方法,其中,该方法应用于分布式计算系统中的从节点上,所述分布式计算系统部署在分布式集群中,且各从节点对应部署在分布式集群的一个物理节点上,该方法包括:
获取各计算任务的标准资源限度和本物理节点上可使用的物理资源总量;
当接收到下发的计算任务时,根据所述计算任务中配置的资源需求和/或标准资源限度,在所述标准资源限度内为所述计算任务分配资源,将分配的资源记录为已分配资源;
在所述计算任务结束后,释放相应的已分配资源;
当接收到可用资源获取请求时,根据记录的已分配资源和在该物理节点上可用的资源总量,确定该物理节点当前的可用资源并上报。
4.如权利要求3所述的方法,其中,所述获取各计算任务的标准资源限度包括:
接收下发的Cgroup limit配置文件副本,所述Cgroup limit配置文件副本中写有本物理节点上可使用的资源总量及各计算任务可使用的标准资源限度;
所述在所述标准资源限度内为所述计算任务分配资源包括:以Cgroup limit方式启动所述计算任务。
5.一种资源分配主装置,其中,该装置应用于分布式计算系统的主节点上,所述分布式计算系统部署在分布式集群中,该装置包括:
资源总量确定单元,适于获取在所述分布式集群的各物理节点上可使用的资源总量;
资源限度确定单元,适于为各计算任务设置标准资源限度;
资源分配单元,适于将各物理节点上可使用的资源总量和所述标准资源限度下发到相应物理节点上的资源分配从装置中;以及适于当接收到提交的计算任务时,获取各物理节点上当前的可用资源,根据该计算任务提交的计算任务中配置的资源需求和/或标准资源限度,以及各物理节点上当前的可用资源,确定可运行该计算任务的资源充足的物理节点,将所述计算任务分配到资源充足的物理节点上,由所述资源充足的物理节点上的资源分配从装置在所述标准资源限度内为该计算任务分配资源。
6.如权利要求5所述的装置,其中,所述分布式集群的各物理节点被多个分布式系统复用,所述分布式计算系统是所述多个分布式系统中的一个;
所述分布式计算系统在所述分布式集群的各物理节点上可使用的资源是根据各分布式系统的资源需求量确定的。
7.如权利要求6所述的装置,其中,所述资源包括如下的一种或多种:
CPU资源、内存资源、网卡资源。
8.一种资源分配从装置,其中,该装置应用于分布式计算系统中的从节点上,所述分布式计算系统部署在分布式集群中,且各从节点分别与分布式集群的一个物理节点对应,该装置包括:
资源预分配单元,适于获取各计算任务的标准资源限度和本物理节点上可使用的物理资源总量;
资源分配单元,适于当接收到下发的计算任务时,根据所述计算任务中配置的资源需求和/或标准资源限度,在所述标准资源限度内为所述计算任务分配资源,将分配的资源记录为已分配资源;以及在所述计算任务结束后,释放相应的已分配资源;
所述资源预分配单元,还适于当接收到可用资源获取请求时,根据记录的已分配资源和在该物理节点上可用的资源总量,确定该物理节点当前的可用资源并上报。
9.如权利要求8所述的装置,其中,
所述资源预分配单元,适于接收下发的Cgroup limit配置文件副本,所述Cgrouplimit配置文件副本中写有本物理节点上可使用的资源总量及各计算任务可使用的标准资源限度;
所述资源分配单元,适于以Cgroup limit方式启动所述计算任务。
10.一种分布式计算系统,其中,该系统包括一个主节点和至少一个从节点,每个主节点上部署有如权利要求5-7中任一项所述的资源分配主装置,每个从节点上部署有如权利要求8-9中任一项所述的资源分配从装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710662725.0A CN107515786B (zh) | 2017-08-04 | 2017-08-04 | 资源分配方法、主装置、从装置和分布式计算系统 |
PCT/CN2018/079159 WO2019024508A1 (zh) | 2017-08-04 | 2018-03-15 | 资源分配方法、主装置、从装置和分布式计算系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710662725.0A CN107515786B (zh) | 2017-08-04 | 2017-08-04 | 资源分配方法、主装置、从装置和分布式计算系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107515786A true CN107515786A (zh) | 2017-12-26 |
CN107515786B CN107515786B (zh) | 2021-02-19 |
Family
ID=60722638
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710662725.0A Active CN107515786B (zh) | 2017-08-04 | 2017-08-04 | 资源分配方法、主装置、从装置和分布式计算系统 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN107515786B (zh) |
WO (1) | WO2019024508A1 (zh) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108804697A (zh) * | 2018-06-15 | 2018-11-13 | 中国平安人寿保险股份有限公司 | 基于Spark的数据同步方法、装置、计算机设备和存储介质 |
CN109062703A (zh) * | 2018-09-28 | 2018-12-21 | 北京城市网邻信息技术有限公司 | 任务执行资源的方法、装置、调度设备、执行设备及介质 |
CN109271447A (zh) * | 2018-09-04 | 2019-01-25 | 中国平安人寿保险股份有限公司 | 数据同步方法、装置、计算机设备和存储介质 |
WO2019024508A1 (zh) * | 2017-08-04 | 2019-02-07 | 北京奇虎科技有限公司 | 资源分配方法、主装置、从装置和分布式计算系统 |
CN109586970A (zh) * | 2018-12-13 | 2019-04-05 | 新华三大数据技术有限公司 | 资源分配方法、装置及系统 |
CN109656699A (zh) * | 2018-12-14 | 2019-04-19 | 平安医疗健康管理股份有限公司 | 分布式计算方法、装置、系统、设备及可读存储介质 |
CN110554910A (zh) * | 2018-05-30 | 2019-12-10 | 中国电信股份有限公司 | 优化分布式计算效能的方法和装置 |
CN111506419A (zh) * | 2020-03-11 | 2020-08-07 | 北京联创信安科技股份有限公司 | 一种gpu资源共享方法及装置 |
CN111813564A (zh) * | 2020-09-11 | 2020-10-23 | 北京达佳互联信息技术有限公司 | 集群资源管理方法、装置及容器集群管理系统 |
CN112073498A (zh) * | 2020-09-01 | 2020-12-11 | 北京字节跳动网络技术有限公司 | 一种资源分配方法及装置 |
CN112148469A (zh) * | 2019-06-28 | 2020-12-29 | 杭州海康威视数字技术股份有限公司 | 管理资源的方法、装置及计算机存储介质 |
CN113568746A (zh) * | 2021-07-27 | 2021-10-29 | 北京达佳互联信息技术有限公司 | 负载均衡方法、装置、电子设备及存储介质 |
CN109271447B (zh) * | 2018-09-04 | 2024-07-30 | 中国平安人寿保险股份有限公司 | 数据同步方法、装置、计算机设备和存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101957780A (zh) * | 2010-08-17 | 2011-01-26 | 中国电子科技集团公司第二十八研究所 | 一种基于资源状态信息的网格任务调度处理器及方法 |
CN103246570A (zh) * | 2013-05-20 | 2013-08-14 | 百度在线网络技术(北京)有限公司 | Hadoop的调度方法、系统及管理节点 |
CN103414761A (zh) * | 2013-07-23 | 2013-11-27 | 北京工业大学 | 一种基于Hadoop架构的移动终端云资源调度方法 |
US20140245298A1 (en) * | 2013-02-27 | 2014-08-28 | Vmware, Inc. | Adaptive Task Scheduling of Hadoop in a Virtualized Environment |
CN104050042A (zh) * | 2014-05-30 | 2014-09-17 | 北京先进数通信息技术股份公司 | Etl作业的资源分配方法及装置 |
CN104102548A (zh) * | 2014-08-04 | 2014-10-15 | 北京京东尚科信息技术有限公司 | 任务资源调度处理方法和系统 |
CN104461740A (zh) * | 2014-12-12 | 2015-03-25 | 国家电网公司 | 一种跨域集群计算资源聚合和分配的方法 |
CN104636199A (zh) * | 2015-03-13 | 2015-05-20 | 华存数据信息技术有限公司 | 一种基于分布式内存计算的大数据实时处理系统及方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101694633A (zh) * | 2009-09-30 | 2010-04-14 | 曙光信息产业(北京)有限公司 | 计算机作业调度设备、方法及系统 |
CN103365713B (zh) * | 2012-04-01 | 2017-06-20 | 华为技术有限公司 | 一种资源的调度和管理方法及装置 |
CN103491024B (zh) * | 2013-09-27 | 2017-01-11 | 中国科学院信息工程研究所 | 一种面向流式数据的作业调度方法及装置 |
CN104102543B (zh) * | 2014-06-27 | 2018-09-11 | 北京奇艺世纪科技有限公司 | 一种云计算环境中负载调整的方法和装置 |
CN105808346B (zh) * | 2014-12-30 | 2019-09-20 | 华为技术有限公司 | 一种任务调度方法与装置 |
CN107515786B (zh) * | 2017-08-04 | 2021-02-19 | 北京奇虎科技有限公司 | 资源分配方法、主装置、从装置和分布式计算系统 |
-
2017
- 2017-08-04 CN CN201710662725.0A patent/CN107515786B/zh active Active
-
2018
- 2018-03-15 WO PCT/CN2018/079159 patent/WO2019024508A1/zh active Application Filing
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101957780A (zh) * | 2010-08-17 | 2011-01-26 | 中国电子科技集团公司第二十八研究所 | 一种基于资源状态信息的网格任务调度处理器及方法 |
US20140245298A1 (en) * | 2013-02-27 | 2014-08-28 | Vmware, Inc. | Adaptive Task Scheduling of Hadoop in a Virtualized Environment |
CN103246570A (zh) * | 2013-05-20 | 2013-08-14 | 百度在线网络技术(北京)有限公司 | Hadoop的调度方法、系统及管理节点 |
CN103414761A (zh) * | 2013-07-23 | 2013-11-27 | 北京工业大学 | 一种基于Hadoop架构的移动终端云资源调度方法 |
CN104050042A (zh) * | 2014-05-30 | 2014-09-17 | 北京先进数通信息技术股份公司 | Etl作业的资源分配方法及装置 |
CN104102548A (zh) * | 2014-08-04 | 2014-10-15 | 北京京东尚科信息技术有限公司 | 任务资源调度处理方法和系统 |
CN104461740A (zh) * | 2014-12-12 | 2015-03-25 | 国家电网公司 | 一种跨域集群计算资源聚合和分配的方法 |
CN104636199A (zh) * | 2015-03-13 | 2015-05-20 | 华存数据信息技术有限公司 | 一种基于分布式内存计算的大数据实时处理系统及方法 |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019024508A1 (zh) * | 2017-08-04 | 2019-02-07 | 北京奇虎科技有限公司 | 资源分配方法、主装置、从装置和分布式计算系统 |
CN110554910A (zh) * | 2018-05-30 | 2019-12-10 | 中国电信股份有限公司 | 优化分布式计算效能的方法和装置 |
CN108804697A (zh) * | 2018-06-15 | 2018-11-13 | 中国平安人寿保险股份有限公司 | 基于Spark的数据同步方法、装置、计算机设备和存储介质 |
CN109271447A (zh) * | 2018-09-04 | 2019-01-25 | 中国平安人寿保险股份有限公司 | 数据同步方法、装置、计算机设备和存储介质 |
CN109271447B (zh) * | 2018-09-04 | 2024-07-30 | 中国平安人寿保险股份有限公司 | 数据同步方法、装置、计算机设备和存储介质 |
CN109062703A (zh) * | 2018-09-28 | 2018-12-21 | 北京城市网邻信息技术有限公司 | 任务执行资源的方法、装置、调度设备、执行设备及介质 |
CN109586970A (zh) * | 2018-12-13 | 2019-04-05 | 新华三大数据技术有限公司 | 资源分配方法、装置及系统 |
CN109656699A (zh) * | 2018-12-14 | 2019-04-19 | 平安医疗健康管理股份有限公司 | 分布式计算方法、装置、系统、设备及可读存储介质 |
CN112148469B (zh) * | 2019-06-28 | 2024-02-20 | 杭州海康威视数字技术股份有限公司 | 管理资源的方法、装置及计算机存储介质 |
CN112148469A (zh) * | 2019-06-28 | 2020-12-29 | 杭州海康威视数字技术股份有限公司 | 管理资源的方法、装置及计算机存储介质 |
CN111506419A (zh) * | 2020-03-11 | 2020-08-07 | 北京联创信安科技股份有限公司 | 一种gpu资源共享方法及装置 |
CN112073498A (zh) * | 2020-09-01 | 2020-12-11 | 北京字节跳动网络技术有限公司 | 一种资源分配方法及装置 |
CN112073498B (zh) * | 2020-09-01 | 2022-09-09 | 北京字节跳动网络技术有限公司 | 一种资源分配方法及装置 |
CN111813564A (zh) * | 2020-09-11 | 2020-10-23 | 北京达佳互联信息技术有限公司 | 集群资源管理方法、装置及容器集群管理系统 |
CN113568746A (zh) * | 2021-07-27 | 2021-10-29 | 北京达佳互联信息技术有限公司 | 负载均衡方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN107515786B (zh) | 2021-02-19 |
WO2019024508A1 (zh) | 2019-02-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107515786A (zh) | 资源分配方法、主装置、从装置和分布式计算系统 | |
US9916183B2 (en) | Scheduling mapreduce jobs in a cluster of dynamically available servers | |
CN107688492B (zh) | 资源的控制方法、装置和集群资源管理系统 | |
CN103309946B (zh) | 多媒体文件处理方法、装置及系统 | |
CN106326002B (zh) | 资源调度方法、装置及设备 | |
US9563474B2 (en) | Methods for managing threads within an application and devices thereof | |
US20180018197A1 (en) | Virtual Machine Resource Allocation Method and Apparatus | |
CN104881325A (zh) | 一种资源调度方法和资源调度系统 | |
WO2015154686A1 (en) | Scheduling method and apparatus for distributed computing system | |
CN103797462A (zh) | 一种创建虚拟机的方法和装置 | |
CN112463375B (zh) | 一种数据处理的方法和装置 | |
CN103761146B (zh) | 一种MapReduce动态设定slots数量的方法 | |
CN112114950A (zh) | 任务调度方法和装置、以及集群管理系统 | |
CN108701132B (zh) | 资源管理系统和方法 | |
CN108268317A (zh) | 一种资源分配方法及装置 | |
Soner et al. | Integer programming based heterogeneous cpu–gpu cluster schedulers for slurm resource manager | |
CN106790332B (zh) | 一种资源调度方法、系统及主节点 | |
EP3274859B1 (en) | Cluster computing service assurance apparatus and method | |
US20180239646A1 (en) | Information processing device, information processing system, task processing method, and storage medium for storing program | |
JP2008108261A (ja) | 予備計算容量の追加を選択的に制御するシステム及び方法 | |
CN115543615A (zh) | 一种资源分配方法、装置、电子设备及存储介质 | |
CN111078516A (zh) | 分布式性能测试方法、装置、电子设备 | |
CN109086120A (zh) | 虚拟机资源的管理方法、装置及计算设备 | |
CN108984105B (zh) | 对网络存储设备中的复制任务进行分配的方法和设备 | |
CN106095550A (zh) | 一种计算任务调度方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |