CN110647394B - 一种资源分配方法、装置及设备 - Google Patents
一种资源分配方法、装置及设备 Download PDFInfo
- Publication number
- CN110647394B CN110647394B CN201810682138.2A CN201810682138A CN110647394B CN 110647394 B CN110647394 B CN 110647394B CN 201810682138 A CN201810682138 A CN 201810682138A CN 110647394 B CN110647394 B CN 110647394B
- Authority
- CN
- China
- Prior art keywords
- resource
- service
- resources
- resource pool
- mixed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000013468 resource allocation Methods 0.000 title claims abstract description 52
- 238000007726 management method Methods 0.000 claims description 39
- 238000003860 storage Methods 0.000 claims description 19
- 238000010801 machine learning Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 description 85
- 238000010586 diagram Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 13
- 238000004590 computer program Methods 0.000 description 7
- 238000005457 optimization Methods 0.000 description 7
- 239000002699 waste material Substances 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/50—Indexing scheme relating to G06F9/50
- G06F2209/5011—Pool
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请提供一种资源分配方法、装置及设备,该方法包括:获取针对特定业务的资源申请请求,所述资源申请请求包括资源信息;根据所述资源信息从混合资源池中选择资源;将从混合资源池中选择的资源分配给所述特定业务;其中,所述混合资源池用于向至少两种业务提供资源。通过本申请的技术方案,实现资源的混合部署,达到提高资源利用率的目的,最终实现资源的共享。
Description
技术领域
本申请涉及互联网领域,尤其是涉及一种资源分配方法、装置及设备。
背景技术
随着人工智能、云计算、大数据分析等技术的发展,对大数据计算能力提出了更高的要求,对物理资源的需求越来越大,为此提出了集群管理系统。在集群管理系统中,通常需要部署大量计算资源,这些计算资源可以部署在多个物理机,且可以跨多个物理机来弹性调度计算资源,大幅提升资源利用率。
随着互联网技术的快速发展,业务类型越来越多,如在线业务、离线业务等,集群管理系统需要能够处理在线业务和离线业务,为此,可以将所有计算资源划分为用于处理在线业务的计算资源A、用于处理离线业务的计算资源B,这样,可以使用计算资源A处理在线业务,使用计算资源B处理离线业务。
但是,若某个时间段,在线业务较多,离线业务较少,会导致计算资源A无法满足业务需求,计算资源B空闲。在另一个时间段,若在线业务较少,离线业务较多,会导致计算资源B无法满足业务需求,而计算资源A空闲。
发明内容
本申请提供一种资源分配方法,所述方法包括:
获取针对特定业务的资源申请请求,所述资源申请请求包括资源信息;
根据所述资源信息从混合资源池中选择资源;
将从混合资源池中选择的资源分配给所述特定业务;
其中,所述混合资源池用于向至少两种业务提供资源。
本申请提供一种资源分配方法,所述方法包括:
获取针对特定业务的资源申请请求,所述资源申请请求包括资源信息;
将所述资源申请请求发送给混合调度器,以使所述混合调度器根据所述资源信息从混合资源池中选择资源,并将所述资源分配给所述特定业务;
其中,所述混合资源池用于向至少两种业务提供资源。
本申请提供一种资源分配装置,所述装置包括:
获取模块,用于获取针对特定业务的资源申请请求,所述资源申请请求包括资源信息;
选择模块,用于根据所述资源信息从混合资源池中选择资源;
分配模块,用于将从混合资源池中选择的资源分配给所述特定业务;
其中,所述混合资源池用于向至少两种业务提供资源。
本申请提供一种资源分配装置,所述装置包括:
获取模块,用于获取针对特定业务的资源申请请求,所述资源申请请求包括资源信息;
发送模块,用于将所述资源申请请求发送给混合调度器,以使所述混合调度器根据所述资源信息从混合资源池中选择资源,并将所述资源分配给所述特定业务;其中,所述混合资源池用于向至少两种业务提供资源。
本申请提供一种资源分配设备,包括处理器和机器可读存储介质,所述机器可读存储介质上存储有若干计算机指令,所述处理器执行所述计算机指令时进行如下处理:获取针对特定业务的资源申请请求,所述资源申请请求包括资源信息;根据所述资源信息从混合资源池中选择资源;将从混合资源池中选择的资源分配给特定业务;所述混合资源池用于向至少两种业务提供资源。
本申请提供一种资源分配设备,包括处理器和机器可读存储介质,所述机器可读存储介质上存储有若干计算机指令,所述处理器执行所述计算机指令时进行如下处理:获取针对特定业务的资源申请请求,所述资源申请请求包括资源信息;将所述资源申请请求发送给混合调度器,以使所述混合调度器根据所述资源信息从混合资源池中选择资源,并将所述资源分配给所述特定业务;其中,所述混合资源池用于向至少两种业务提供资源。
基于上述技术方案,本申请实施例中,可以部署混合资源池,并通过混合资源池向至少两种业务提供资源(如计算资源),如通过混合资源池向在线业务和离线业务提供资源。这样,在获取到针对在线业务的资源申请请求后,可以从混合资源池中为在线业务选择资源,并将混合资源池中的资源分配给在线业务;在获取到针对离线业务的资源申请请求后,可以从混合资源池中为离线业务选择资源,并将混合资源池中的资源分配给离线业务。综上所述,在某个时间段,若在线业务较多,离线业务较少,则可以将混合资源池中的多数资源分配给在线业务,将混合资源池中的少数资源分配给离线业务,从而满足在线业务的需求,且避免资源的浪费。在另一个时间段,若在线业务较少,离线业务较多,则可以将混合资源池中的多数资源分配给离线业务,将混合资源池中的少数资源分配给在线业务,从而满足离线业务的需求,且避免资源的浪费。
显然,在上述方式中,针对集群管理系统,若存在多个业务类型,则可以保留每个业务类型的调度系统,使得每个调度系统保留自身的资源管理能力和调度能力,而且,通过混合资源池向所有业务类型的调度系统提供共享的资源,从而在全局进行资源的优化与调度,实现集群管理系统的资源全局优化,实现资源的混合部署,从而达到提高资源利用率的目的,最终实现了资源的共享。
附图说明
为了更加清楚地说明本申请实施例或者现有技术中的技术方案,下面将对本申请实施例或者现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,还可以根据本申请实施例的这些附图获得其他的附图。
图1A-图1C是本申请一种实施方式中的应用场景示意图;
图2A和图2B是本申请一种实施方式中的资源分配方法的流程图;
图3A和图3B是本申请一种实施方式中的资源分配示意图;
图4A和图4B是本申请一种实施方式中的资源分配装置的结构图。
具体实施方式
在本申请实施例使用的术语仅仅是出于描述特定实施例的目的,而非限制本申请。本申请和权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其它含义。还应当理解,本文中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请实施例可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,此外,所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
本申请实施例中提出一种资源分配方法,可以应用于集群管理系统,在集群管理系统中,通常需要部署大量资源(如计算资源),这些资源可以部署在多个物理机,且可以跨多个物理机来弹性调度资源,大幅提升资源利用率。
其中,本实施例中的资源可以包括但不限于以下之一或者任意组合:CPU(CentralProcessing Unit,中央处理器)资源、内存资源、磁盘资源、带宽资源等,对此资源类型不做限制。为了方便描述,后续以CPU资源为例进行说明。
其中,本实施例中的物理机可以包括但不限于以下之一或者任意组合:服务器、PC(Personal Computer,个人计算机)、终端设备、智能电话/手机、平板电脑、个人数字助理(PDA)、膝上计算机、台式计算机、数据平台、电商平台、云主机等,对此物理机类型不做限制,后续以服务器为例进行说明。
基于此,集群管理系统可以部署大量服务器,如1000个以上的服务器,这些服务器提供大量CPU资源,如每个服务器提供8个CPU核,这样,集群管理系统可以使用这些CPU资源(如1000个服务器的所有CPU资源相当于一个整体)创建大量虚拟机和容器等,继而使用这些虚拟机和容器为用户提供服务。
随着互联网技术的快速发展,业务类型越来越多,如在线业务、离线业务、实时业务、机器学习业务等,对此业务类型不做限制,因此,集群管理系统需要能够处理多种业务类型的业务,这样,就可以在集群管理系统部署多个调度系统,即多个调度系统共存。例如,在集群管理系统部署在线业务的调度系统A、离线业务的调度系统B,以调度系统A和调度系统B为例,实际应用中,还可以部署实时业务的调度系统C、机器学习业务的调度系统D等,对此不做限制。
其中,调度系统A可以具有资源管理、调度等能力,能够为在线业务分配资源,调度系统B可以具有资源管理、调度等能力,能够为离线业务分配资源。
而且,调度系统A可以通过软件实现,也可以通过硬件实现,为了方便描述,后续以硬件实现为例,例如,通过在线业务调度器实现调度系统A的功能。类似的,调度系统B可以通过软件实现,也可以通过硬件实现,为了方便描述,后续以硬件实现为例,例如,通过离线业务调度器实现调度系统B的功能。
参见图1A所示,为本实施例的应用场景示意图,集群管理系统可以部署6个服务器,每个服务器提供8个CPU核,在实际应用中,服务器的数量可以远远大于6个。集群管理系统可以部署调度系统A和调度系统B,调度系统A和调度系统B可以部署在同一设备,也可以部署在不同设备,对此不做限制。
在一个例子中,参见图1B所示,可以将所有CPU资源划分为处理在线业务的资源、处理离线业务的资源。例如,可以将服务器101、服务器102和服务器103的CPU资源划分给在线业务,将服务器104、服务器105和服务器106的CPU资源划分给离线业务。基于此,调度系统A可以利用服务器101、服务器102和服务器103的CPU资源为在线业务分配资源,同理,调度系统B可以利用服务器104、服务器105和服务器106的CPU资源为离线业务分配资源。
但是上述方式中,若某个时间段,在线业务较多,离线业务较少,则服务器101、服务器102和服务器103的CPU资源无法满足在线业务需求,服务器104、服务器105和服务器106的CPU资源空闲。在另一时间段,若在线业务较少,离线业务较多,则服务器104、服务器105和服务器106的CPU资源无法满足离线业务需求,服务器101、服务器102和服务器103的CPU资源空闲。
针对上述发现,本实施例中,将所有CPU资源划分到3个资源池,即在线业务资源池、离线业务资源池、混合资源池。参见图1C所示,可以将服务器101的CPU资源划分到在线业务资源池,将服务器106的CPU资源划分到离线业务资源池,将服务器102、服务器103服务器104和服务器105的CPU资源划分到混合资源池。基于此,调度系统A可以利用在线业务资源池中的CPU资源(即服务器101的CPU资源)为在线业务分配资源,调度系统B可以利用离线业务资源池中的CPU资源(即服务器106的CPU资源)为离线业务分配资源。
本实施例中,通过部署混合资源池,则可以通过混合资源池向至少两种业务(如所有业务类型的业务)提供资源,后续以通过混合资源池向在线业务和离线业务提供资源为例进行说明。基于此,若某个时间段,在线业务较多,离线业务较少,则可以将混合资源池中的多数资源或者全部资源提供给在线业务,如将服务器102-服务器105的所有CPU资源均提供给在线业务,再加上在线业务资源池中的CPU资源,从而可以满足在线业务需求,且可以避免离线业务的CPU资源空闲。在另一时间段,若在线业务较少,离线业务较多,则可以将混合资源池中的多数资源或者全部资源提供给离线业务,如将服务器102-服务器105的所有CPU资源均提供给离线业务,再加上离线业务资源池中的CPU资源,从而可以满足离线业务需求,且可以避免在线业务的CPU资源空闲。
为了更好的控制混合资源池中的CPU资源,在调度系统A和调度系统B的基础上,还可以在集群管理系统中部署混合调度系统E,混合调度系统E可以具有资源管理、调度等能力,能够为在线业务和离线业务分配资源,且混合调度系统E能够利用混合资源池中的资源,为在线业务和离线业务分配资源。
混合调度系统E可以通过软件实现,也可以通过硬件实现,为了方便描述,后续以硬件实现为例,例如,通过混合调度器实现混合调度系统E的功能。混合调度系统E可以与调度系统A部署在同一设备,可以与调度系统B部署在同一设备,也可以与调度系统A和调度系统B部署在不同设备,对此不做限制。
在上述应用场景下,参见图2A所示,为本申请实施例中提出的资源分配方法的流程示意图,该方法可以应用于混合调度器,该方法可以包括:
步骤211,获取针对特定业务的资源申请请求,该资源申请请求可以包括资源信息,该资源申请请求可以是用于管理该特定业务的业务调度器发送的。
其中,该特定业务可以包括但不限于:在线业务、离线业务、实时业务或者机器学习业务。若特定业务为在线业务,则用于管理在线业务的在线业务调度器可以向混合调度器发送资源申请请求,该资源申请请求可以包括申请资源量和优先级等资源信息。若特定业务为离线业务,则用于管理离线业务的离线业务调度器可以向混合调度器发送资源申请请求,该资源申请请求可以包括申请资源量和优先级等资源信息。以此类推,对于其它特定业务不再重复赘述。
步骤212,根据该资源信息从混合资源池中选择资源。
其中,混合资源池用于向至少两种业务提供资源,且所述至少两种业务包括特定业务。例如,混合资源池用于向在线业务和离线业务提供资源,在获取到针对在线业务的资源申请请求后,根据资源信息从混合资源池中选择资源。
其中,根据该资源信息从混合资源池中选择资源,可以包括但不限于:获取混合资源池的资源视图,该资源视图包括可用资源量,从该资源信息中获取申请资源量。若该申请资源量小于等于该可用资源量,从混合资源池中选择与该申请资源量对应的资源;或者,若该申请资源量大于该可用资源量,从混合资源池中选择与该可用资源量对应的资源,或拒绝从混合资源池中选择资源。
在另一个例子中,若该申请资源量大于该可用资源量,则可以从该资源信息中获取优先级,基于该优先级,拒绝从混合资源池中选择资源;或者,基于该优先级,释放混合资源池中的已占用资源,并从混合资源池中选择与该申请资源量对应的资源。或者,基于该优先级,共享混合资源池中的已占用资源,并从混合资源池中选择与申请资源量对应的资源。
在一个例子中,基于该优先级,拒绝从混合资源池中选择资源,可以包括但不限于:若该优先级小于混合资源池中的已占用资源对应的优先级,则可以拒绝从混合资源池中选择资源,即不再从混合资源池中为特定业务分配资源。
在一个例子中,基于该优先级,释放混合资源池中的已占用资源,并从混合资源池中选择与该申请资源量对应的资源,可以包括但不限于:若该优先级大于混合资源池中的已占用资源对应的优先级,则可以释放混合资源池中的已占用资源,并根据所述已占用资源从混合资源池中选择与该申请资源量对应的资源;其中,所述已占用资源被所述特定业务独占。例如,假设业务A的优先级大于业务B的优先级,业务B已经占有混合资源池中的资源X。在需要为业务A分配资源时,由于业务A的优先级大于混合资源池中的已占用资源X对应的业务B的优先级,因此,可以释放混合资源池中的已占用资源X,并根据已占用资源X从混合资源池中选择与该申请资源量对应的资源Y(资源Y与该申请资源量的大小相同),该资源Y可以是已占用资源X的部分资源或者全部资源。需要注意的是,资源Y被业务A独占,即业务B不再使用资源Y。
在一个例子中,基于该优先级,共享混合资源池中的已占用资源,并从混合资源池中选择与该申请资源量对应的资源,可以包括但不限于:若该优先级等于混合资源池中的已占用资源对应的优先级,则可以共享混合资源池中的已占用资源,并根据所述已占用资源从混合资源池中选择与该申请资源量对应的资源;其中,所述已占用资源被所述特定业务和其它业务共享。例如,假设业务A的优先级等于业务B的优先级,业务B已经占有混合资源池中的资源X。在需要为业务A分配资源时,由于业务A的优先级等于混合资源池中的已占用资源X对应的业务B的优先级,因此,可以共享混合资源池中的已占用资源X,并根据已占用资源X从混合资源池中选择与该申请资源量对应的资源Y,该资源Y可以是已占用资源X的部分资源或者全部资源。需要注意的是,资源Y被业务A和业务B共享,在业务A需要使用资源Y时,需要优先保证业务A使用资源Y,在业务A不需要使用资源Y时,则业务B可以使用资源Y。
步骤213,将从混合资源池中选择的资源分配给该特定业务。
在一个例子中,在将从混合资源池中选择的资源分配给该特定业务后,还可以在混合资源池中对所述选择的资源进行资源预留,并将资源分配完成信息通知给业务调度器(即用于管理该特定业务的业务调度器),这样,业务调度器就可以利用该混合资源池中已预留的资源进行特定业务的资源配置。
在一个例子中,若接收到针对该特定业务的资源释放请求,则还可以从混合资源池中释放分配给该特定业务的资源,从而实现资源的回收和再利用。
在一个例子中,上述执行顺序只是为了方便描述给出的一个示例,在实际应用中,还可以改变步骤之间的执行顺序,对此执行顺序不做限制。而且,在其它实施例中,并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤,其方法所包括的步骤可以比本说明书所描述的更多或更少。此外,本说明书中所描述的单个步骤,在其它实施例中可能被分解为多个步骤进行描述;本说明书中所描述的多个步骤,在其它实施例也可能被合并为单个步骤进行描述。
在上述应用场景下,参见图2B所示,为本申请实施例中提出的资源分配方法的流程示意图,该方法可以应用于业务调度器,该方法可以包括:
步骤221,获取针对特定业务的资源申请请求,该资源申请请求可以包括资源信息。其中,该特定业务可以包括但不限于:在线业务、离线业务、实时业务或者机器学习业务。若特定业务为在线业务,则用于管理在线业务的在线业务调度器可以获取针对在线业务的资源申请请求,资源申请请求可以包括申请资源量和优先级等资源信息。若特定业务为离线业务,则用于管理离线业务的离线业务调度器可以获取针对离线业务的资源申请请求,资源申请请求可以包括申请资源量和优先级等资源信息。以此类推,对于其它特定业务不再赘述。
步骤222,将该资源申请请求发送给混合调度器,以使混合调度器根据该资源信息从混合资源池中选择资源,并将选择的资源分配给该特定业务。
其中,混合资源池用于向至少两种业务提供资源,且所述至少两种业务包括特定业务。例如,混合资源池用于向在线业务和离线业务提供资源,混合调度器接收到在线业务调度器发送的针对在线业务的资源申请请求后,可以根据该资源信息从混合资源池中选择资源,并将选择的资源分配给在线业务。
在一个例子中,将该资源申请请求发送给混合调度器,可以包括但不限于:判断是否从混合资源池中分配该特定业务的资源;如果是,则可以将资源申请请求发送给混合调度器。在另一例子中,在判断是否从混合资源池中分配该特定业务的资源后,如果否,则根据资源信息从特定业务的资源池中选择资源。
例如,在线业务调度器获取到针对在线业务的资源申请请求后,判断是否从混合资源池中分配该在线业务的资源。如果是,则可以将资源申请请求发送给混合调度器。如果否,则根据资源信息从在线业务的资源池中选择资源。
在一个例子中,在将该资源申请请求发送给混合调度器之后,还可以接收混合调度器发送的资源分配完成信息,并利用混合资源池中已预留的资源进行特定业务的资源配置,这样,可以为特定业务配置资源,实现特定业务的处理。
在一个例子中,上述执行顺序只是为了方便描述给出的一个示例,在实际应用中,还可以改变步骤之间的执行顺序,对此执行顺序不做限制。而且,在其它实施例中,并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤,其方法所包括的步骤可以比本说明书所描述的更多或更少。此外,本说明书中所描述的单个步骤,在其它实施例中可能被分解为多个步骤进行描述;本说明书中所描述的多个步骤,在其它实施例也可能被合并为单个步骤进行描述。
基于上述技术方案,本申请实施例中,可以部署混合资源池,并通过混合资源池向至少两种业务提供资源(如计算资源),如通过混合资源池向在线业务和离线业务提供资源。这样,在获取到针对在线业务的资源申请请求后,可以从混合资源池中为在线业务选择资源,并将混合资源池中的资源分配给在线业务;在获取到针对离线业务的资源申请请求后,可以从混合资源池中为离线业务选择资源,并将混合资源池中的资源分配给离线业务。综上所述,在某个时间段,若在线业务较多,离线业务较少,则可以将混合资源池中的多数资源分配给在线业务,将混合资源池中的少数资源分配给离线业务,从而满足在线业务的需求,且避免资源的浪费。在另一个时间段,若在线业务较少,离线业务较多,则可以将混合资源池中的多数资源分配给离线业务,将混合资源池中的少数资源分配给在线业务,从而满足离线业务的需求,且避免资源的浪费。
显然,在上述方式中,针对集群管理系统,若存在多个业务类型,则可以保留每个业务类型的调度系统,使得每个调度系统保留自身的资源管理能力和调度能力,而且,通过混合资源池向所有业务类型的调度系统提供共享的资源,从而在全局进行资源的优化与调度,实现集群管理系统的资源全局优化,实现资源的混合部署,从而达到提高资源利用率的目的,最终实现了资源的共享。
以下结合具体的应用场景,对上述资源分配方法进行说明。参见图3A所示,在集群管理系统部署在线业务的调度系统301、离线业务的调度系统302、混合调度系统303,在线业务调度器301实现调度系统301的功能,离线业务调度器302实现调度系统302的功能,混合调度器303实现混合调度系统303的功能。
参见图3A所示,在线业务调度器301可以由在线主功能模块3011和在线代理模块3012-在线代理模块3014组成,离线业务调度器302可以由离线主功能模块3021和离线代理模块3022-离线代理模块3024组成,混合调度器303可以由混合主功能模块3031和混合代理模块3032-混合代理模块3033组成。
在一个例子中,在线主功能模块3011、离线主功能模块3021、混合主功能模块3031可以部署在同一个设备,也可以部署在不同的设备,对此不做限制。
参见图3A所示,将所有CPU资源划分到在线业务资源池、离线业务资源池、混合资源池,以部署4个服务器,每个服务器提供8个CPU核为例,将服务器304的CPU资源划分到在线业务资源池,将服务器305的CPU资源划分到离线业务资源池,将服务器306和服务器307的CPU资源划分到混合资源池。
进一步的,在线代理模块3012部署在服务器304,通过在线主功能模块3011和在线代理模块3012的配合,使得在线业务调度器301能够利用在线业务资源池中的CPU资源为在线业务分配资源。此外,离线代理模块3022部署在服务器305,通过离线主功能模块3021和离线代理模块3022的配合,使得离线业务调度器302能够利用离线业务资源池中的CPU资源为离线业务分配资源。
在线代理模块3013、离线代理模块3023和混合代理模块3032部署在服务器306,在线代理模块3014、离线代理模块3024和混合代理模块3033部署在服务器307。基于此,通过在线主功能模块3011、在线代理模块3013、在线代理模块3014、混合主功能模块3031、混合代理模块3032、混合代理模块3033的配合,使得混合调度器303能够利用混合资源池中的CPU资源为在线业务分配资源。同理,通过离线主功能模块3021、离线代理模块3023、离线代理模块3024、混合主功能模块3031、混合代理模块3032、混合代理模块3033的配合,使得混合调度器303能够利用混合资源池中的CPU资源为离线业务分配资源。
混合主功能模块3031用于实现资源视图的管理;实现资源配置的下放和生效;通过向混合代理模块3032/混合代理模块3033提供API接口,以支持资源视图的采集,即混合代理模块3032/混合代理模块3033将采集到的资源信息发送给混合主功能模块3031,由混合主功能模块3031根据这些资源信息生成资源视图;通过向在线主功能模块3011/离线主功能模块3021提供API接口,以支持在线主功能模块3011/离线主功能模块3021从混合主功能模块3031进行资源申请、资源释放和资源视图获取等流程;通过向管控平台提供API接口,以支持管控平台进行集群划分、混合资源池的管理、服务器上下线管理、机器状态(如可用、只读、不可用等)管理、各调度器的集群资源管理等;用于实现混合资源池中CPU资源的分配和管理,可以接受各个调度系统的资源预约,进行仲裁和记账等操作,保存混合资源池的总资源、已分配资源、可分配资源。
混合代理模块3032/混合代理模块3033实现服务器资源的上报,如硬件资源总量、剩余资源量等,如CPU资源总量和剩余可用CPU资源;通过读取混合主功能模块3031的资源分配信息,实现在线业务、离线业务的资源实际分配。
在线主功能模块3011是在线业务的资源控制和分配模块,接受用户或应用的资源请求,完成资源分配,容器创建,名字服务注册,流量接入等在线服务,在资源分配时,与混合主功能模块3031进行资源预约,如果混合主功能模块3031的仲裁成功,在线主功能模块3011进行容器的创建等操作,如果混合主功能模块3031的仲裁失败,在线主功能模块3011进行重调度或返回资源申请失败。
在线代理模块3013/在线代理模块3014用于在线业务可用资源的发现、在线业务的容器在服务器上的托管,如创建,启停,故障转移等。通过在服务器创建在线应用,从而可以利用服务器的资源创建一个或者多个容器。
离线主功能模块3021是离线业务的资源控制和分配模块,接受用户或者应用的资源请求,完成资源分配、任务调度等离线服务,在进行资源分配时,与混合主功能模块3031进行资源预约,如果混合主功能模块3031的仲裁成功,则离线主功能模块3021进行任务的创建等操作,如果混合主功能模块3031的仲裁失败,则离线主功能模块3021进行重调度或者返回资源申请失败。
离线代理模块3023/离线代理模块3024用于离线业务可用资源的发现、离线任务在服务器上的托管,如创建,启停,故障转移等。通过在服务器创建离线任务,从而可以利用服务器的资源创建一个或者多个任务或者容器。
在上述应用场景下,参见图3B所示,为资源申请的流程示意图,本实施例以在线业务的资源申请过程为例,离线业务的资源申请过程类似,不再赘述。
步骤311,在线主功能模块3011从混合主功能模块3031获取资源视图。
其中,混合代理模块3032可以将服务器306的资源信息发送给在线主功能模块3011,如服务器306的总CPU资源是8核,可用CPU资源是2核,已用CPU资源是6核。混合代理模块3033可以将服务器307的资源信息发送给在线主功能模块3011,如服务器307的总CPU资源是8核,可用CPU资源是0核,已用CPU资源是8核。混合主功能模块3031可以利用上述信息获取混合资源池的资源视图,如资源视图可以包括总资源量(如16个核的CPU资源)、可用资源量(如2个核的CPU资源)、已用资源量(如14个核的CPU资源)。
进一步的,混合主功能模块3031可以将资源视图发送给在线主功能模块3011,在线主功能模块3011获取到总资源量、可用资源量、已用资源量等信息。
其中,混合主功能模块3031可以在资源视图发生变化时,将变化后的资源视图发送给在线主功能模块3011。或者,在线主功能模块3011可以周期性发送资源视图请求,混合主功能模块3031在接收到该资源视图请求后,可以将资源视图发送给在线主功能模块3011。当然,上述方式只是示例,对此不做限制。
步骤312,用户向在线主功能模块3011发起资源申请请求。
其中,用户在有扩容需求时,向在线主功能模块3011发起资源申请请求。
步骤313,在线主功能模块3011获取到资源申请请求后,判断是否从混合资源池中分配资源,例如,可以根据该资源申请请求和上述资源视图判断是否从混合资源池中分配资源。如果是,则执行步骤314;如果否,则可以根据该资源申请请求从在线业务的资源池中选择资源,对此资源分配过程不再赘述。
例如,资源申请请求可以携带申请资源量,且资源视图可以包括总资源量和可用资源量。基于此,若该申请资源量小于等于该可用资源量,则在线主功能模块3011可以确定从混合资源池中分配资源;若该申请资源量大于该可用资源量,则在线主功能模块3011可以确定不从混合资源池中分配资源。或者,若该申请资源量小于等于该总资源量,则在线主功能模块3011可以确定从混合资源池中分配资源;若该申请资源量大于该总资源量,则在线主功能模块3011可以确定不从混合资源池中分配资源。当然,上述方式只是示例,对此不做限制。
步骤314,在线主功能模块3011将资源申请请求发送给混合主功能模块3031,该资源申请请求可以包括资源信息,该资源信息可以包括申请资源量。
步骤315,混合主功能模块3031根据该资源信息从混合资源池中选择资源,并将选择的资源分配给在线业务,从而为在线业务实现资源的调度分配。
例如,混合主功能模块3031可以从混合资源池的资源视图中获取可用资源量,从该资源信息中获取申请资源量。基于此,若该申请资源量小于等于该可用资源量,则可以从混合资源池中选择与该申请资源量对应的资源;或者,若该申请资源量大于该可用资源量,则可以拒绝从混合资源池中选择资源。
本实施例中,以从混合资源池中选择与该申请资源量对应的资源为例,假设申请资源量为2个核的CPU资源,若服务器306的总CPU资源是8核,可用CPU资源是2核,则可以将服务器306的2个核的CPU资源分配给在线业务。
步骤316,混合主功能模块3031向混合代理模块3032发送资源分配信息,该资源分配信息表示将服务器306的2个核的CPU资源分配给在线业务。
步骤317,混合代理模块3032根据资源分配信息进行在线业务的资源分配。
例如,混合代理模块3032可以将服务器306的2个核的CPU资源预留给在线业务,例如,可以将这2个核的CPU资源设置为cgroup资源。
步骤318,混合代理模块3032向混合主功能模块3031发送资源分配完成信息,混合主功能模块3031向在线主功能模块3011发送资源分配完成信息。
步骤319,在线主功能模块3011通知在线代理模块3013进行资源配置。
步骤320,在线代理模块3013利用混合资源池中已预留的资源进行资源配置,即为在线业务配置资源,实现在线业务的处理。例如,可以利用混合资源池中已预留的资源创建容器,并可以通过这个容器实现在线业务的处理。
具体的,在线代理模块3013可以根据在线主功能模块3011的调度策略,进行容器级别的资源管理操作,实现容器的启动、停止、资源配置等操作。
步骤321,在线代理模块3013向在线主功能模块3011返回资源配置完成,在线主功能模块3011向用户返回资源配置完成,至此完成资源分配流程。
在一个例子中,若用户释放在线业务的资源,则在线主功能模块3011将资源释放请求发送给混合主功能模块3031,混合主功能模块3031向混合代理模块3032发送资源释放信息,该资源分配信息表示将服务器306的2个核的CPU资源释放。混合代理模块3032根据资源释放信息进行在线业务的资源释放,即从混合资源池中释放分配给在线业务的资源,从而实现资源的回收和再利用。
在一个例子中,资源信息还可以包括优先级(即资源优先级),而优先级表示资源的保障程度,高优先级的业务可以抢占低优先级业务的资源或者共享低优先级业务的资源,而低优先级的业务不能抢占高优先级业务的资源或者共享高优先级业务的资源。基于此优先级,在步骤315中,若申请资源量大于可用资源量,则可以从该资源信息中获取优先级。若该优先级小于混合资源池中的已占用资源对应的优先级(即已占用资源对应的业务的优先级),则可以拒绝从混合资源池中选择资源。若该优先级大于混合资源池中的已占用资源对应的优先级,则可以释放混合资源池中的已占用资源,并从混合资源池中选择与该申请资源量对应的资源,也就是说,可以释放低优先级业务的已占用资源,并将释放的资源提供给高优先级业务,从而实现资源的抢占。若该优先级等于混合资源池中的已占用资源对应的优先级(即已占用资源对应的业务的优先级),还可以共享混合资源池中的已占用资源,并从混合资源池中选择与该申请资源量对应的资源,也就是说,可以共享相同优先级业务的已占用资源,即相同优先级的业务均可以使用这部分资源,从而实现资源的共享。
本实施例中,可以将优先级划分为3个级别,当然,3个级别只是一个示例,对此不做限制。例如,优先级的3个级别分别为:S10、S20和S30。S10表示采用独占的CPU资源,优先保证CPU资源的使用,具有最高优先级,可以抢占S30级别的CPU资源。S20表示采用不独占的CPU资源,可以共享CPU资源,具有第二高的优先级,可以共享S30级别的CPU资源。S30具有最低优先级。
在一个例子中,假设混合资源池中的资源被S30级别的离线业务占用,若接收到S10级别的在线业务的资源申请请求,若混合资源池中的资源已经无法满足在线业务的资源需求,则可以释放混合资源池中的已占用资源,并将释放的资源提供给S10级别的在线业务,从而可以优先保证S10级别的在线业务。而且,在将释放的资源提供给S10级别的在线业务后,这部分资源被S10级别的在线业务独占,也就是说,离线业务等其它业务不再使用这部分资源。
进一步的,若S10级别的在线业务释放混合资源池中的资源,则还可以将释放的资源归还给S30级别的离线业务,从而满足离线业务的资源需求。
在一个例子中,假设混合资源池中的资源被S30级别的离线业务占用,若接收到S20级别的在线业务的资源申请请求,若混合资源池中的资源已经无法满足在线业务的资源需求,则可以共享混合资源池中的已占用资源,并将共享的资源提供给S20级别的在线业务,从而可以优先保证S20级别的在线业务。而且,在将共享的资源提供给S20级别的在线业务后,这部分资源被S20级别的在线业务和S30级别的离线业务共享,也就是说,S20级别的在线业务可以使用这部分资源,S30级别的离线业务也可以使用这部分资源,但是,需要保证在线业务优先使用这部分资源,也就是说,当在线业务需要使用这部分资源时,需要将这部分资源提供给在线业务,而不能提供给离线业务,当在线业务不需要使用这部分资源时,才将这部分资源提供给离线业务。
进一步的,若S20级别的在线业务不再共享混合资源池中的资源,则还可以将共享的资源归还给S30级别的离线业务,从而满足离线业务的资源需求。
假设混合资源池中的资源被S30级别的离线业务占用,若接收到S30级别的在线业务的资源申请请求,若混合资源池中的资源已经无法满足在线业务的资源需求,则可以共享混合资源池中的已占用资源,并将共享的资源提供给S30级别的在线业务,在将共享的资源提供给S30级别的在线业务后,这部分资源被S30级别的在线业务和S30级别的离线业务共享,也就是说,S30级别的在线业务可以使用这部分资源,S30级别的离线业务也可以使用这部分资源。
在一个例子中,还可以将多个调度系统的资源申请请求均转移到混合主功能模块3031,即混合主功能模块3031接收用户的资源申请请求。然后,混合主功能模块3031根据资源申请请求的类型将资源请求分配给不同的调度系统,例如,将在线业务的资源请求分配给在线主功能模块3011,将离线业务的资源请求分配给离线主功能模块3021,之后的其它流程参见上述实施例,不再赘述。
基于上述技术方案,本申请实施例中,可以部署混合资源池,并通过混合资源池向至少两种业务提供资源(如计算资源),如通过混合资源池向在线业务和离线业务提供资源。这样,在获取到针对在线业务的资源申请请求后,可以从混合资源池中为在线业务选择资源,并将混合资源池中的资源分配给在线业务;在获取到针对离线业务的资源申请请求后,可以从混合资源池中为离线业务选择资源,并将混合资源池中的资源分配给离线业务。综上所述,在某个时间段,若在线业务较多,离线业务较少,则可以将混合资源池中的多数资源分配给在线业务,将混合资源池中的少数资源分配给离线业务,从而满足在线业务的需求,且避免资源的浪费。在另一个时间段,若在线业务较少,离线业务较多,则可以将混合资源池中的多数资源分配给离线业务,将混合资源池中的少数资源分配给在线业务,从而满足离线业务的需求,且避免资源的浪费。
显然,在上述方式中,针对集群管理系统,若存在多个业务类型,则可以保留每个业务类型的调度系统,使得每个调度系统保留自身的资源管理能力和调度能力,而且,通过混合资源池向所有业务类型的调度系统提供共享的资源,从而在全局进行资源的优化与调度,实现集群管理系统的资源全局优化,实现资源的混合部署,从而达到提高资源利用率的目的,最终实现了资源的共享。
通过构造混合调度系统来控制和协调多个调度系统共享的状态信息,如混合资源池的机器元数据信息、机器部署信息、状态信息和资源划分信息等,通过最小化的资源实时状态共享,避免混合调度系统感知过于详细的调度状态信息,只共享必要信息,使得每个调度系统尽量保留原有的系统架构和功能,并最大程度减少混合调度系统资源冲突的可能,降低多个调度系统之间的耦合,降低了复杂度,提高可靠性,并发挥了各自调度系统的优势,实现资源优化。
基于与上述方法同样的申请构思,本申请实施例还提供一种资源分配装置,如图4A所示,为所述资源分配装置的结构图,所述装置具体包括:
获取模块401,用于获取针对特定业务的资源申请请求,所述资源申请请求包括资源信息;
选择模块402,用于根据所述资源信息从混合资源池中选择资源;
分配模块403,用于将从混合资源池中选择的资源分配给所述特定业务;
其中,所述混合资源池用于向至少两种业务提供资源。
所述选择模块402根据所述资源信息从混合资源池中选择资源时具体用于:
获取所述混合资源池的资源视图,所述资源视图包括可用资源量;
从所述资源信息中获取申请资源量;若所述申请资源量小于等于所述可用资源量,则从所述混合资源池中选择与所述申请资源量对应的资源。
所述选择模块402还用于:
若所述申请资源量大于所述可用资源量,则从所述混合资源池中选择与所述可用资源量对应的资源,或者,拒绝从所述混合资源池中选择资源;或者,
若所述申请资源量大于所述可用资源量,则从所述资源信息中获取优先级;基于所述优先级,拒绝从所述混合资源池中选择资源;或者,基于所述优先级,释放所述混合资源池中的已占用资源,从所述混合资源池中选择与所述申请资源量对应的资源;或者,基于所述优先级,共享所述混合资源池中的已占用资源,从所述混合资源池中选择与所述申请资源量对应的资源。
基于与上述方法同样的申请构思,本申请实施例还提供一种资源分配设备,包括处理器和机器可读存储介质,所述机器可读存储介质上存储有若干计算机指令,所述处理器执行所述计算机指令时进行如下处理:获取针对特定业务的资源申请请求,所述资源申请请求包括资源信息;根据所述资源信息从混合资源池中选择资源;将从混合资源池中选择的资源分配给特定业务;所述混合资源池用于向至少两种业务提供资源。
基于与上述方法同样的申请构思,本申请实施例还提供一种机器可读存储介质,所述机器可读存储介质上存储有若干计算机指令,所述计算机指令被执行时进行如下处理:获取针对特定业务的资源申请请求,所述资源申请请求包括资源信息;根据所述资源信息从混合资源池中选择资源;将从混合资源池中选择的资源分配给特定业务;所述混合资源池用于向至少两种业务提供资源。
基于与上述方法同样的申请构思,本申请实施例还提供一种资源分配装置,如图4B所示,为所述资源分配装置的结构图,所述装置具体包括:
获取模块411,用于获取针对特定业务的资源申请请求,所述资源申请请求包括资源信息;
发送模块412,用于将所述资源申请请求发送给混合调度器,以使所述混合调度器根据所述资源信息从混合资源池中选择资源,并将所述资源分配给所述特定业务;其中,所述混合资源池用于向至少两种业务提供资源。
基于与上述方法同样的申请构思,本申请实施例还提供一种资源分配设备,包括处理器和机器可读存储介质,所述机器可读存储介质上存储有若干计算机指令,所述处理器执行所述计算机指令时进行如下处理:获取针对特定业务的资源申请请求,所述资源申请请求包括资源信息;将所述资源申请请求发送给混合调度器,以使所述混合调度器根据所述资源信息从混合资源池中选择资源,并将所述资源分配给所述特定业务;其中,所述混合资源池用于向至少两种业务提供资源。
基于与上述方法同样的申请构思,本申请实施例还提供一种机器可读存储介质,所述机器可读存储介质上存储有若干计算机指令,所述计算机指令被执行时进行如下处理:获取针对特定业务的资源申请请求,所述资源申请请求包括资源信息;将所述资源申请请求发送给混合调度器,以使所述混合调度器根据所述资源信息从混合资源池中选择资源,并将所述资源分配给所述特定业务;其中,所述混合资源池用于向至少两种业务提供资源。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机,计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可以由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
而且,这些计算机程序指令也可以存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或者多个流程和/或方框图一个方框或者多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上,使得在计算机或者其它可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (21)
1.一种资源分配方法,其特征在于,所述方法包括:
获取针对特定业务的资源申请请求,所述资源申请请求包括资源信息;
根据所述资源信息从混合资源池中选择资源;
将从混合资源池中选择的资源分配给所述特定业务;
其中,集群管理系统包括第一业务资源池、第二业务资源池和所述混合资源池,所述混合资源池用于向至少两种业务提供资源,所述至少两种业务至少包括第一业务和第二业务,所述第一业务资源池用于向所述第一业务提供资源,所述第二业务资源池用于向所述第二业务提供资源;
其中,所述资源申请请求是用于管理所述特定业务的业务调度器发送的,若所述特定业务为所述第一业务,则所述资源申请请求由第一业务调度器发送,若所述特定业务为所述第二业务,则所述资源申请请求由第二业务调度器发送。
2.根据权利要求1所述的方法,其特征在于,
所述根据所述资源信息从混合资源池中选择资源,包括:
获取所述混合资源池的资源视图,所述资源视图包括可用资源量;
从所述资源信息中获取申请资源量;若所述申请资源量小于等于所述可用资源量,则从所述混合资源池中选择与所述申请资源量对应的资源。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
若所述申请资源量大于所述可用资源量,则从所述混合资源池中选择与所述可用资源量对应的资源,或者,拒绝从所述混合资源池中选择资源。
4.根据权利要求2所述的方法,其特征在于,所述方法还包括:
若所述申请资源量大于所述可用资源量,则从所述资源信息中获取优先级;
基于所述优先级,拒绝从所述混合资源池中选择资源;或者,
基于所述优先级,释放所述混合资源池中的已占用资源,从所述混合资源池中选择与所述申请资源量对应的资源;或者,
基于所述优先级,共享所述混合资源池中的已占用资源,从所述混合资源池中选择与所述申请资源量对应的资源。
5.根据权利要求4所述的方法,其特征在于,
基于所述优先级,拒绝从所述混合资源池中选择资源,包括:
若所述优先级小于所述混合资源池中的已占用资源对应的优先级,则拒绝从所述混合资源池中选择资源。
6.根据权利要求4所述的方法,其特征在于,
所述基于所述优先级,释放所述混合资源池中的已占用资源,从所述混合资源池中选择与所述申请资源量对应的资源,包括:
若所述优先级大于所述混合资源池中的已占用资源对应的优先级,则释放所述已占用资源,并根据所述已占用资源从所述混合资源池中选择与所述申请资源量对应的资源;其中,所述已占用资源被所述特定业务独占。
7.根据权利要求4所述的方法,其特征在于,
所述基于所述优先级,共享所述混合资源池中的已占用资源,从所述混合资源池中选择与所述申请资源量对应的资源,包括:
若所述优先级等于所述混合资源池中的已占用资源对应的优先级,则共享所述已占用资源,并根据所述已占用资源从所述混合资源池中选择与所述申请资源量对应的资源;其中,所述已占用资源被所述特定业务和其它业务共享。
8.根据权利要求1所述的方法,其特征在于,所述将从混合资源池中选择的资源分配给所述特定业务之后,所述方法还包括:
在所述混合资源池中对所述选择的资源进行资源预留;
将资源分配完成信息通知给业务调度器,以使所述业务调度器利用所述混合资源池中已预留的资源进行所述特定业务的资源配置。
9.根据权利要求1所述的方法,其特征在于,所述方法还包括:
接收针对所述特定业务的资源释放请求;
从所述混合资源池中释放分配给所述特定业务的资源。
10.根据权利要求1所述的方法,其特征在于,所述特定业务包括:
在线业务、离线业务、实时业务或者机器学习业务。
11.一种资源分配方法,其特征在于,所述方法包括:
获取针对特定业务的资源申请请求,所述资源申请请求包括资源信息;
将所述资源申请请求发送给混合调度器,以使所述混合调度器根据所述资源信息从混合资源池中选择资源,并将所述资源分配给所述特定业务;
其中,集群管理系统包括第一业务资源池、第二业务资源池和所述混合资源池,所述混合资源池用于向至少两种业务提供资源,所述至少两种业务至少包括第一业务和第二业务,所述第一业务资源池用于向所述第一业务提供资源,所述第二业务资源池用于向所述第二业务提供资源;
其中,若所述特定业务为所述第一业务,则由第一业务调度器将所述资源申请请求发送给混合调度器,若所述特定业务为所述第二业务,则由第二业务调度器将所述资源申请请求发送给混合调度器。
12.根据权利要求11所述的方法,其特征在于,
所述将所述资源申请请求发送给混合调度器,包括:
判断是否从混合资源池中分配所述特定业务的资源;
如果是,则将所述资源申请请求发送给混合调度器。
13.根据权利要求12所述的方法,其特征在于,所述判断是否从混合资源池中分配所述特定业务的资源之后,所述方法还包括:
如果否,则根据所述资源信息从所述特定业务的资源池中选择资源。
14.根据权利要求11所述的方法,其特征在于,
所述将所述资源申请请求发送给混合调度器之后,所述方法还包括:
接收所述混合调度器发送的资源分配完成信息;
利用混合资源池中已预留的资源进行所述特定业务的资源配置。
15.根据权利要求11所述的方法,其特征在于,所述特定业务包括:
在线业务、离线业务、实时业务或者机器学习业务。
16.一种资源分配装置,其特征在于,所述装置包括:
获取模块,用于获取针对特定业务的资源申请请求,所述资源申请请求包括资源信息;
选择模块,用于根据所述资源信息从混合资源池中选择资源;
分配模块,用于将从混合资源池中选择的资源分配给所述特定业务;
其中,集群管理系统包括第一业务资源池、第二业务资源池和所述混合资源池,所述混合资源池用于向至少两种业务提供资源,所述至少两种业务至少包括第一业务和第二业务,所述第一业务资源池用于向所述第一业务提供资源,所述第二业务资源池用于向所述第二业务提供资源;
其中,所述资源申请请求是用于管理所述特定业务的业务调度器发送的,若所述特定业务为所述第一业务,则所述资源申请请求由第一业务调度器发送,若所述特定业务为所述第二业务,则所述资源申请请求由第二业务调度器发送。
17.根据权利要求16所述的装置,其特征在于,
所述选择模块根据所述资源信息从混合资源池中选择资源时具体用于:
获取所述混合资源池的资源视图,所述资源视图包括可用资源量;
从所述资源信息中获取申请资源量;若所述申请资源量小于等于所述可用资源量,则从所述混合资源池中选择与所述申请资源量对应的资源。
18.根据权利要求17所述的装置,其特征在于,所述选择模块还用于:
若所述申请资源量大于所述可用资源量,则从所述混合资源池中选择与所述可用资源量对应的资源,或者,拒绝从所述混合资源池中选择资源;或者,
若所述申请资源量大于所述可用资源量,则从所述资源信息中获取优先级;基于所述优先级,拒绝从所述混合资源池中选择资源;或者,基于所述优先级,释放所述混合资源池中的已占用资源,从所述混合资源池中选择与所述申请资源量对应的资源;或者,基于所述优先级,共享所述混合资源池中的已占用资源,从所述混合资源池中选择与所述申请资源量对应的资源。
19.一种资源分配装置,其特征在于,所述装置包括:
获取模块,用于获取针对特定业务的资源申请请求,所述资源申请请求包括资源信息;
发送模块,用于将所述资源申请请求发送给混合调度器,以使所述混合调度器根据所述资源信息从混合资源池中选择资源,并将所述资源分配给所述特定业务;其中,集群管理系统包括第一业务资源池、第二业务资源池和所述混合资源池,所述混合资源池用于向至少两种业务提供资源,所述至少两种业务至少包括第一业务和第二业务,所述第一业务资源池用于向所述第一业务提供资源,所述第二业务资源池用于向所述第二业务提供资源;
其中,若所述特定业务为所述第一业务,则由第一业务调度器将所述资源申请请求发送给混合调度器,若所述特定业务为所述第二业务,则由第二业务调度器将所述资源申请请求发送给混合调度器。
20.一种资源分配设备,其特征在于,包括处理器和机器可读存储介质,所述机器可读存储介质上存储有若干计算机指令,所述处理器执行所述计算机指令时进行如下处理:获取针对特定业务的资源申请请求,所述资源申请请求包括资源信息;根据所述资源信息从混合资源池中选择资源;将从混合资源池中选择的资源分配给特定业务;集群管理系统包括第一业务资源池、第二业务资源池和所述混合资源池,所述混合资源池用于向至少两种业务提供资源,所述至少两种业务至少包括第一业务和第二业务,所述第一业务资源池用于向所述第一业务提供资源,所述第二业务资源池用于向所述第二业务提供资源;
其中,所述资源申请请求是用于管理所述特定业务的业务调度器发送的,若所述特定业务为所述第一业务,则所述资源申请请求由第一业务调度器发送,若所述特定业务为所述第二业务,则所述资源申请请求由第二业务调度器发送。
21.一种资源分配设备,其特征在于,包括处理器和机器可读存储介质,所述机器可读存储介质上存储有若干计算机指令,所述处理器执行所述计算机指令时进行如下处理:获取针对特定业务的资源申请请求,所述资源申请请求包括资源信息;将所述资源申请请求发送给混合调度器,以使所述混合调度器根据所述资源信息从混合资源池中选择资源,并将所述资源分配给所述特定业务;其中,集群管理系统包括第一业务资源池、第二业务资源池和所述混合资源池,所述混合资源池用于向至少两种业务提供资源,所述至少两种业务至少包括第一业务和第二业务,所述第一业务资源池用于向所述第一业务提供资源,所述第二业务资源池用于向所述第二业务提供资源;
其中,若所述特定业务为所述第一业务,则由第一业务调度器将所述资源申请请求发送给混合调度器,若所述特定业务为所述第二业务,则由第二业务调度器将所述资源申请请求发送给混合调度器。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810682138.2A CN110647394B (zh) | 2018-06-27 | 2018-06-27 | 一种资源分配方法、装置及设备 |
PCT/CN2019/091668 WO2020001320A1 (zh) | 2018-06-27 | 2019-06-18 | 一种资源分配方法、装置及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810682138.2A CN110647394B (zh) | 2018-06-27 | 2018-06-27 | 一种资源分配方法、装置及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110647394A CN110647394A (zh) | 2020-01-03 |
CN110647394B true CN110647394B (zh) | 2022-03-11 |
Family
ID=68986132
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810682138.2A Active CN110647394B (zh) | 2018-06-27 | 2018-06-27 | 一种资源分配方法、装置及设备 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN110647394B (zh) |
WO (1) | WO2020001320A1 (zh) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113315719B (zh) * | 2020-02-27 | 2024-09-13 | 阿里巴巴集团控股有限公司 | 流量调度方法、设备、系统及存储介质 |
CN113365116B (zh) * | 2020-03-04 | 2022-12-13 | Vidaa(荷兰)国际控股有限公司 | 音视频资源管理方法及装置 |
CN112199194B (zh) * | 2020-10-14 | 2024-04-19 | 广州虎牙科技有限公司 | 基于容器集群的资源调度方法、装置、设备和存储介质 |
CN112269641B (zh) * | 2020-11-18 | 2023-09-15 | 网易(杭州)网络有限公司 | 一种调度方法、装置、电子设备及存储介质 |
CN113296936A (zh) * | 2020-12-01 | 2021-08-24 | 阿里巴巴集团控股有限公司 | 资源分配方法及装置 |
CN112667392B (zh) * | 2020-12-09 | 2024-01-23 | 南方电网数字电网研究院有限公司 | 云计算资源分配方法、装置、计算机设备和存储介质 |
CN112559182B (zh) * | 2020-12-16 | 2024-04-09 | 北京百度网讯科技有限公司 | 资源分配方法、装置、设备及存储介质 |
CN112491740B (zh) * | 2020-12-18 | 2024-02-20 | 中国卫通集团股份有限公司 | 一种卫星转发器的资源分配方法及装置 |
US11593178B2 (en) * | 2021-01-13 | 2023-02-28 | Dell Products, L.P. | ML-to-ML orchestration system and method for system wide information handling system (IHS) optimization |
CN112783659B (zh) * | 2021-02-01 | 2023-08-04 | 北京百度网讯科技有限公司 | 一种资源分配方法、装置、计算机设备及存储介质 |
CN113157418B (zh) * | 2021-04-25 | 2023-08-25 | 腾讯科技(深圳)有限公司 | 服务器资源分配方法和装置、存储介质及电子设备 |
CN115481309A (zh) * | 2021-05-31 | 2022-12-16 | 中兴通讯股份有限公司 | 业务处理方法、装置、设备、电子设备和可读存储介质 |
CN113407343A (zh) * | 2021-06-23 | 2021-09-17 | 中国工商银行股份有限公司 | 一种基于资源分配的业务处理方法、装置及设备 |
CN113590317B (zh) * | 2021-07-27 | 2024-07-19 | 杭州网易数之帆科技有限公司 | 离线业务的调度方法、装置、介质和计算设备 |
CN113672347A (zh) * | 2021-08-09 | 2021-11-19 | 新华三大数据技术有限公司 | 一种容器组调度方法及装置 |
CN114629960B (zh) * | 2022-03-14 | 2023-09-19 | 抖音视界有限公司 | 资源调度方法、装置、系统、设备、介质和程序产品 |
CN115454598B (zh) * | 2022-09-09 | 2023-06-06 | 苏州大学 | 部分解耦数据中心的业务部署和资源分配方法 |
CN115865924B (zh) * | 2023-02-16 | 2023-04-21 | 天翼云科技有限公司 | 一种集群部署方法、装置、设备、介质及产品 |
CN116456496B (zh) * | 2023-06-15 | 2023-11-14 | 阿里巴巴(中国)有限公司 | 资源调度的方法、存储介质及电子设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101441580A (zh) * | 2008-12-09 | 2009-05-27 | 华北电网有限公司 | 分布式并行计算平台系统及其计算任务分配方法 |
CN106095550A (zh) * | 2016-06-07 | 2016-11-09 | 百度在线网络技术(北京)有限公司 | 一种计算任务调度方法和装置 |
CN107968810A (zh) * | 2016-10-20 | 2018-04-27 | 阿里巴巴集团控股有限公司 | 一种服务器集群的资源调度方法、装置和系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102958166B (zh) * | 2011-08-29 | 2017-07-21 | 华为技术有限公司 | 一种资源分配方法及资源管理平台 |
-
2018
- 2018-06-27 CN CN201810682138.2A patent/CN110647394B/zh active Active
-
2019
- 2019-06-18 WO PCT/CN2019/091668 patent/WO2020001320A1/zh active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101441580A (zh) * | 2008-12-09 | 2009-05-27 | 华北电网有限公司 | 分布式并行计算平台系统及其计算任务分配方法 |
CN106095550A (zh) * | 2016-06-07 | 2016-11-09 | 百度在线网络技术(北京)有限公司 | 一种计算任务调度方法和装置 |
CN107968810A (zh) * | 2016-10-20 | 2018-04-27 | 阿里巴巴集团控股有限公司 | 一种服务器集群的资源调度方法、装置和系统 |
Also Published As
Publication number | Publication date |
---|---|
WO2020001320A1 (zh) | 2020-01-02 |
CN110647394A (zh) | 2020-01-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110647394B (zh) | 一种资源分配方法、装置及设备 | |
CN109564528B (zh) | 分布式计算中计算资源分配的系统和方法 | |
CN107018091B (zh) | 资源请求的调度方法和装置 | |
CN108462656B (zh) | 基于容器的业务融合部署的资源调度方法及装置 | |
CN113918270A (zh) | 基于Kubernetes的云资源调度方法及系统 | |
WO2016039963A2 (en) | Resource sharing between two resource allocation systems | |
CN112463375B (zh) | 一种数据处理的方法和装置 | |
CN111798113B (zh) | 资源分配方法、装置、存储介质和电子设备 | |
CN112052068A (zh) | 一种Kubernetes容器平台CPU绑核的方法与装置 | |
CN109213567B (zh) | 一种管理vnf实例化的方法和设备 | |
US20230037293A1 (en) | Systems and methods of hybrid centralized distributive scheduling on shared physical hosts | |
CN111163140A (zh) | 资源获取和分配的方法、装置和计算机可读存储介质 | |
CN115063282A (zh) | 一种gpu资源调度方法、装置、设备及存储介质 | |
CN113760549B (zh) | 一种pod部署方法及装置 | |
CN110795234A (zh) | 一种资源调度方法及装置 | |
US20170344266A1 (en) | Methods for dynamic resource reservation based on classified i/o requests and devices thereof | |
CN112114958A (zh) | 资源隔离方法、分布式平台、计算机设备和存储介质 | |
EP2843548B1 (en) | Method, system, and program for scheduling jobs in a computing system | |
Wu et al. | ABP scheduler: Speeding up service spread in docker swarm | |
CN113301087A (zh) | 资源调度方法、装置、计算设备和介质 | |
CN111475277A (zh) | 一种资源分配方法、系统、设备及机器可读存储介质 | |
CN116260876A (zh) | 基于K8s的AI应用调度方法、装置及电子设备 | |
CN115766582A (zh) | 流量控制方法、装置和系统、介质和计算机设备 | |
CN111813564B (zh) | 集群资源管理方法、装置及容器集群管理系统 | |
WO2017133421A1 (zh) | 一种多租户资源共享的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |