CN109656691A - 计算资源的处理方法、装置以及电子设备 - Google Patents
计算资源的处理方法、装置以及电子设备 Download PDFInfo
- Publication number
- CN109656691A CN109656691A CN201710943178.3A CN201710943178A CN109656691A CN 109656691 A CN109656691 A CN 109656691A CN 201710943178 A CN201710943178 A CN 201710943178A CN 109656691 A CN109656691 A CN 109656691A
- Authority
- CN
- China
- Prior art keywords
- task
- computing node
- tasks
- computing
- load
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title abstract description 16
- 238000012545 processing Methods 0.000 claims description 47
- 238000000034 method Methods 0.000 claims description 33
- 230000003190 augmentative effect Effects 0.000 claims description 16
- 238000012544 monitoring process Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 238000004891 communication Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 239000003795 chemical substances by application Substances 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 6
- 230000005236 sound signal Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 239000002699 waste material Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 206010033799 Paralysis Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
- G06F9/5022—Mechanisms to release resources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
- G06F2009/45562—Creating, deleting, cloning virtual machine instances
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/48—Indexing scheme relating to G06F9/48
- G06F2209/484—Precedence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/50—Indexing scheme relating to G06F9/50
- G06F2209/5021—Priority
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Telephonic Communication Services (AREA)
Abstract
本发明实施例提供了一种计算资源的处理方法、装置以及电子设备,所述方法包括:监控任务队列中待处理任务的负载情况;如果所述任务队列中的任务的负载大于预设的第一负载,则创建扩充计算节点,并向所述扩充计算节点下发所述任务队列中的任务以执行;或者,如果所述任务队列中的任务的负载小于预设的第二负载,则在所述扩充计算节点执行完成当前任务后,释放所述扩充计算节点。本发明提供的方案能够根据用户作业情况弹性伸缩计算资源,提高了用户作业运行的效率。
Description
技术领域
本发明涉及计算机技术领域,尤其涉及一种计算资源的处理方法、装置以及电子设备。
背景技术
在云计算服务中,用户向云计算服务中的任务调度器提交任务,调度器会将提交的任务分配到能够满足计算该任务时相应资源需求的计算节点(虚拟机)进行任务处理。在现有技术中,物理机在初始状态会预先创建若干个虚拟机作为计算节点,基于用户提交的任务不同,相应的计算该任务的资源需求也不同,因此调度器的任务则是根据当前各计算节点上的计算资源使用情况,为不同源需求的任务指定适合的计算节点进行任务计算。
在部署虚拟机时,用户提交的任务量即对应的资源需求是较难预料的。当大量任务并发被提交到调度器时,如果未能预先创建足够数量且能够满足相应任务资源需求的计算节点,则极易造成大量任务排队拥堵,降低用户作业运行的效率,甚至引起服务器瘫痪;情况相反的,如果原始创建的计算节点的数量较多,则可能造成部分计算节点闲置,降低了资源的使用率。
发明内容
本发明提供了一种计算资源的处理方法、装置以及电子设备,能够根据用户作业情况弹性伸缩计算资源,提高了用户作业运行的效率。
为达到上述目的,本申请的实施例采用如下技术方案:
第一方面,提供了一种计算资源的处理方法,包括:
监控任务队列中待处理任务的负载情况;
如果所述任务队列中的任务的负载大于预设的第一负载,则创建扩充计算节点,并向所述扩充计算节点下发所述任务队列中的任务以执行;或者,
如果所述任务队列中的任务的负载小于预设的第二负载,则在所述扩充计算节点执行完成当前任务后,释放所述扩充计算节点。
第二方面,提供了一种计算资源的处理装置,包括:
任务管理模块,用于监控任务队列中待处理任务的负载情况;
资源管理模块,用于如果所述任务队列中的任务的负载大于预设的第一负载,则创建扩充计算节点,并向所述扩充计算节点下发所述任务队列中的任务以执行;或者,
如果所述任务队列中的任务的负载小于预设的第二负载,则在所述扩充计算节点执行完成当前任务后,释放所述扩充计算节点。
第三方面,提供了一种电子设备,包括:
存储器,用于存储程序;
处理器,耦合至所述存储器,用于执行所述程序,以用于:
监控任务队列中待处理任务的负载情况;
如果所述任务队列中的任务的负载大于预设的第一负载,则创建扩充计算节点,并向所述扩充计算节点下发所述任务队列中的任务以执行;或者,
如果所述任务队列中的任务的负载小于预设的第二负载,则在所述扩充计算节点执行完成当前任务后,释放所述扩充计算节点。
本发明提供的计算资源的处理方法、装置以及电子设备,通过监控任务队列中待处理任务的负载情况,并根据负载情况动态创建或释放扩充计算节点,以此能够根据用户作业情况弹性伸缩计算资源,提高了用户作业运行的效率。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1a为本发明实施例提供的计算资源的处理逻辑示意图;
图1b为本发明实施例提供的计算资源的处理系统架构图;
图2a为本发明实施例提供的计算资源的处理方法流程图一;
图2b为本发明实施例提供的计算资源的处理方法流程图二;
图3为本发明实施例提供的计算资源的处理方法流程图三;
图4为本发明实施例提供的计算资源的处理方法流程图四;
图5为本发明实施例提供的计算资源的处理方法流程图五;
图6a为本发明实施例提供的计算资源的处理装置结构图一;
图6b为本发明实施例提供的计算资源的处理装置结构图二;
图7为本发明实施例提供的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
首先,对本发明涉及的技术术语进行举例或说明如下:
Agent,部署于计算节点,用于将计算节点中的资源使用情况和任务执行情况上报给调度器,并从调度器接收任务并拉起任务执行。
Hypervisor,也称虚拟机监视器,用于给每一台虚拟机分配适量的内存、CPU、网络和磁盘等资源。
云中心管理API,用于与Hypervisor配合,共同创建虚拟机。
计算节点,每一个计算节点其实质即为上述一个虚拟机。
基础计算节点,即在初始化状态下已预先创建,并且不可被动态创建或释放的计算节点。
扩充计算节点,即在初始化状态下未预先创建,之后根据待处理任务的负载情况,动态创建或释放的计算节点。
在云计算架构中,传统的调度器可用于接收用户提交的任务,并根据计算该任务时的资源需求,将任务分发给与该资源需求相匹配的计算节点完成任务执行过程,当待处理任务量较大或预先创建的计算节点不能满足当前任务的资源需求时,当前任务只能在调度器中排队,待能够满足其资源需求的计算节点闲置后,再由调度器分配资源以执行当前任务。由于用户提交任务的情况较难准确预料,当用户短时间内提交的任务量较大时,预先设置的计算节点很难满足其计算需求,因此极易造成大量任务排队拥堵,降低用户作业运行的效率;相反,当用户提交的作业量较少时,又极易造成计算节点闲置,导致系统资源的浪费。
本发明克服了现有技术的这一缺陷,其核心思想在于,实时或定时监控调度器中的任务队列中待处理任务的负载情况,例如任务的数量和任务的资源需求等情况,并根据该情况动态创建或释放扩充计算节点,从而实现根据用户作业情况弹性伸缩计算资源,提高用户作业运行的效率。
图1a为本发明实施例提供的计算资源的处理逻辑示意图,如图1a所示,初始状态可预先创建基础计算节点,基础计算节点的个数和每个基础计算节点中的资源数可结合实际需要具体设置,该基础计算节点包括但不限于如图1a所示的计算节点1和计算节点2,上述基础计算节点中的计算资源可具体包括CPU、图形处理器GPU、现场可编程门阵列FPGA、内存、磁盘以及网络带宽等。同时,为每个基础计算节点部署Agent,用于实时或定时将当前计算节点的资源和任务执行情况上报给调度器。当用户将任务提交给调度器时,每个任务均已携带其对资源的具体需求量信息,调度器首先为用户提交的任务建立任务队列,然后根据基础计算节点的各个计算节点中部署的Agent上报的资源和任务情况,将待处理任务分配给能够满足任务的资源需求的计算节点执行,未能获得资源的任务则仍留在调度器的任务队列中排队。
当调度器的任务队列中待处理任务量较大和/或可用资源不足,且已达到预设负载程度,调度器向云中心管理API发起调用,云中心管理API与Hypervisor配合,共同在云服务器的物理机上创建扩充计算节点,并在计算节点中部署Agent,该扩充计算节点包括但不限于图1所示的计算节点3和计算节点4,用于执行任务队列中的待处理任务;当扩充计算节点中的任务已经执行完毕,且调度器的任务队列中待处理任务的负载已降低,例如待处理任务的数量小于指定数量和/或当前基础计算节点上的可用资源已经足够满足待处理任务的需求时,调度器向云中心管理API发起调用,云中心管理API则将该扩充计算节点释放掉。
基于图1a所示的计算资源的处理逻辑示意图,如图1b所示,本发明实施例还提供了一种计算资源的处理系统架构图,如图1b所示,该系统架构中包括:调度器、计算节点、和云中心管理API,其中:
在调度器中包括任务管理模块110、资源管理模块120和云中心管理模块130,分别用于具体执行上述计算资源的处理方法步骤。其中,任务管理模块110可用于存储、监控任务队列中的任务情况;资源管理模块120可用于控制云中心管理模块130创建或释放扩充计算节点,还可用于具体分配任务给基础计算节点和/或扩充计算节点处理;云中心管理模块130可用于根据资源管理模块120的控制命令,调用云中心管理接口,例如图1b所示的云中心管理API(也称云中心管理接口),以创建或释放扩充计算节点。与上述各模块相配合的,如图1b所示,Agent部署于计算节点中,可用于将计算节点中可用的资源情况和任务执行情况上报给资源管理模块120,并从资源管理模块120接收任务并拉起任务执行;云中心管理API可用于接收云中心管理模块130的调用,以创建或释放扩充计算节点,并在创建的扩充计算节点上部署Agent。
本发明实施例提供的计算资源的处理方案,通过监控任务队列中待处理任务的负载情况,并根据负载情况动态创建或释放扩充计算节点,以此能够根据用户作业情况弹性伸缩计算资源,提高了用户作业运行的效率。
下面通过多个实施例来进一步说明本申请的技术方案。
实施例一
图2a为本发明实施例提供的计算资源的处理方法流程图一,如图2a所示,该方法的执行主体可为图1a和图1b中所示的云计算架构中的调度器,如图2a所示,该计算资源的处理方法包括如下步骤:
S210,监控任务队列中待处理任务的负载情况。
通常情况下,用户将任务提交给调度器后,调度器首先建立任务队列,然后结合任务对资源的需求情况和现有的计算节点情况,将任务队列中待处理任务分配到指定的计算节点上进行计算处理。对于未能分配到计算节点执行的任务只能暂时留在任务队列中排队等待。此时,调度器可实时或定时监控任务队列中待处理任务的负载情况,即待处理任务的负荷程度,例如任务量的多少和/或任务对资源需求量的大小等,以对任务队列中的负载情况进行很好的掌握。
S220,如果任务队列中的任务的负载大于预设的第一负载,则创建扩充计算节点,并向扩充计算节点下发任务队列中的任务以执行。
如果任务队列中任务的负载不断增大,调度器监控到该负载情况并且确认其已经大于预设第一负载时,则可以但不局限于调用云中心管理接口在云服务器中创建扩充计算节点。
其中,云中心管理接口指能够被调用以创建或释放扩充计算节点的程序或函数,例如云中心管理API,同时,该扩充计算节点可以根据任务队列中待处理任务的资源需求量(例如CPU、磁盘、内存、网络带宽、GPU卡数、FPGA卡数等)具体创建,还可以根据该资源需要同步创建一个或多个扩充计算节点,然后调度器将该待处理任务分配给扩充计算节点执行。
其中,评价任务量的多少可包括任务具体数量,以及任务被执行计算过程时所需计算资源的量。例如,任务数量越多,任务被执行计算过程时所需计算资源的量越大则说明任务对应的负载越重(关于任务数量作为负载主要针对的是任务队列中可能存在多个任务的情况,从任务队列的层面评价任务量)。
上述第一负载为衡量任务量多少的一个边界值,该边界值在本方案中的定义为,当任务队列中的任务的负载大于该边界值时,表征此时任务负载较重,需要创建扩充节点去执行任务队列中的待处理任务,以缓解当前已工作的各计算节点的计算压力。
S230,如果任务队列中的任务的负载小于预设的第二负载,则在扩充计算节点执行完成当前任务后,释放扩充计算节点。
如果任务队列中任务的负载不断减小或者任务队列中待处理任务为空,调度器监控到该负载情况并且确认其已小于预设第二负载,则可以但不局限于调用云中心管理接口在扩充计算节点执行完当前任务后释放该扩充计算节点。
其中,关于如何评价任务量的多少已在上述内容中说明。所谓第二负载为衡量任务量多少的另一个边界值,该边界值在本方案中的定义为,当任务队列中的任务的负载小于该边界值时,表征此时任务负载较轻,不再需要已创建的扩充节点去执行任务队列中的待处理任务。扩充节点在完成当前节点上的计算任务后可以被释放,任务队列中的任务仅由初始状态下时创建的计算节点就可以完成。所谓的计算节点被释放指将计算节点对应的虚拟机在物理机上释放掉。
在实际应用场景中,如图1所示,假设初始状态预先创建两个计算节点,如图1所示的计算节点1和计算节点2,当用户提交任务给调度器,调度器根据任务对资源的需求和计算节点中任务的执行情况,将任务分配给计算节点1或计算节点2处理,如图1所示,任务1分配给计算节点1执行,任务2分配给计算节点2执行。当用户提交新的任务,如图1所示的任务3和任务4,由于当前计算节点1和计算节点2无法满足上述任务的资源需求,因此,任务3和任务4只能在调度器任务队列中排队,以等待调度器分配计算资源。假设系统设置第一负载为当任务队列中待处理任务数量为1,则任务数量大于1时创建扩充计算节点,此时,调度器监控到任务队列中待处理任务数量大于1,故调用云中心管理接口创建扩充计算节点,例如图1所示,调用云中心管理API创建计算节点3和计算节点4,调度器根据任务3和任务4的资源需求,将其分配给计算节点3和计算节点4处理。假设系统设置第二负载为当任务队列中待处理任务数量为0,则任务数量小于0时释放扩充计算节点,当任务3和任务4执行完毕,且相应扩充计算节点中的任务均已执行完毕时,调度器可调用云中心管理API释放扩充计算节点。
进一步地,图2b为本发明实施例提供的计算资源的处理方法流程图二,如图2b所示,在图2a所示步骤的基础上,进行了如下改变,具体包括如下步骤:
首先,将S220细化变为S221:如果任务队列中的任务的负载大于预设的第一负载,则调用云中心管理接口在云服务器中创建扩充计算节点,并向扩充计算节点下发任务队列中的任务以执行。
其次,将S230细化变为S231:如果任务队列中的任务的负载小于预设的第二负载,则调用云中心管理接口在扩充计算节点执行完成当前任务后,释放扩充计算节点。
最后,在执行完成步骤S230之后,还可继续执行如下步骤:
S240,根据基础计算节点和/或扩充计算节点上的可用的计算资源,从任务队列中选择待执行任务并下发到指定计算节点以执行该任务。
具体地,当尚未创建扩充计算节点或者已创建的扩充计算节点已经全部被释放时,现有的计算节点仅包括基础计算节点;当已创建了扩充计算节点且扩充计算节点尚未被全部释放时,现有的计算节点则包括基础计算节点和扩充计算节点。调度器根据现有的计算节点上可用的计算资源,从任务队列中选择待处理任务并分配给相应的计算节点执行。
本发明实施例提供的计算资源的处理方法,通过监控任务队列中待处理任务的负载情况,并根据负载情况动态创建或释放扩充计算节点,以此能够根据用户作业情况弹性伸缩计算资源,提高了用户作业运行的效率。
实施例二
基于上述计算资源的处理方法,在本实施例中,将对其内容进行进一步细化。图3为本发明实施例提供的计算资源的处理方法流程图三,在云服务器中还包括基础计算节点,任务队列中的任务的负载可包括任务的数量和/或计算任务的资源需求,鉴于此,如图3所示,该计算资源的处理方法包括如下步骤:
S310,监控任务队列中待处理任务的负载情况。该步骤与上一实施例中步骤S210的内容相同。
S320,如果任务队列中的任务的负载大于预设的创建扩充计算节点所需的任务队列中未处理的最小任务数和/或,基础计算节点和已创建的扩充计算节点上的可用的计算资源的最大资源数,则调用云中心管理接口在云服务器中创建扩充计算节点,并向扩充计算节点下发任务队列中的任务以执行。
本步骤主要针对上一实施例中步骤S220中的第一负载进行了进一步具体限定。具体地,任务队列中任务的负载情况既可以包括任务队列中待处理任务的数量,还可以包括待处理任务的资源需求量。相应地,第一负载既可以包括创建扩充计算节点所对应的任务队列中待处理的最小任务数,即任务队列中待处理的任务只有大于该最小任务数时,调度器才对云中心管理接口发起调用,创建扩充计算节点,该最小任务数可以根据实际情况预先设定为1个、2个或3个等任意数值;同时,第一负载还可以包括预设的基础计算节点和已创建的扩充计算节点上的可用的计算资源的最大资源数,该计算资源可包括CPU、GPU、FPGA、磁盘、内存、网络带宽等,最大资源数即指上述资源可用量的最高值,当任务队列中待处理任务对资源的需求大于预设的现有的计算节点上可用的最大资源数时,调度器也可对云中心管理接口发起调用,创建扩充计算节点。例如,该最大资源数中的CPU的使用率预设规定为20%,即当计算节点上的可用资源中CPU使用量最大为20%,且当任务队列中的任务在执行时所需要的CPU的使用量超过20%的计算节点上CPU的资源量,则认为当前计算节点无法满足待处理任务在CPU使用量上的资源需求,需要创建扩充节点。
S330,如果任务队列中的任务的负载小于预设的释放扩充计算节点所需的任务队列中未处理的最大任务数和/或,基础计算节点上的可用的计算资源的最小资源数,则调用云中心管理接口在扩充计算节点执行完成当前任务后,释放扩充计算节点。
本步骤主要针对上一实施例中步骤S230中的第二负载进行进一步限具体定。具体地,任务队列中任务的负载情况既可以包括任务队列中待处理任务的数量,还可以包括待处理任务的资源需求量。相应地,第二负载既可以包括释放扩充计算节点所需的任务队列中待处理的最大任务数,即当任务队列中待处理任务的任务量小于该预设的最大任务数时,调度器调用云中心管理接口,释放该扩充计算节点,该最大任务数可以根据实际情况预先设定为1个、2个或3个等任意数值;同时,第二负载还可以包括预设的基础计算节点上的可用的计算资源的最小资源数,该计算资源可包括CPU、磁盘、内存、网络带宽等,该最小资源数即指上述资源可用量的最低值,当任务队列中待处理任务对资源的需求小于预设的基础计算节点上可用的最小资源数时,调度器也可调用云中心管理接口,释放扩充计算节点。例如,该最小资源数中的CPU的使用率预设规定为5%,即当前计算节点上的可用资源中CPU使用量最小为5%或以上,且当任务队列中的任务在执行时所需要的CPU的使用量小于计算节点上CPU的5%的资源量,则认为当前计算节点可以满足待处理任务在CPU使用量上的资源需求,不需要扩充节点计算任务,可以释放掉该扩充节点的资源。需要说明的是,在依据可用的计算资源的最小资源数判断是否释放扩充计算节点时,该可用的计算资源仅包括基础计算节点中的资源。由于扩充计算节点在本步骤完成后很可能被释放掉,因此如果在统计可用的计算资源过程中已将扩充计算节点的资源包括在内,当扩充计算节点被释放之后,现有的可用的计算资源数很可能小于任务队列中待处理任务对计算资源的需求,从而导致误释放。
在实际应用场景中,假设在初始状态下预设创建扩充计算节点所需的任务队列中未处理的最小任务数为5,即只要任务队列中待处理的任务数量大于5时,调度器即发起调用创建扩充计算节点;假设在初始状态下预设释放扩充计算节点所需的任务队列中未处理的最大任务数为2,即只要任务队列中待处理的任务数量小于2,调度器即发起调用释放扩充计算节点;基于计算资源可包括CPU、磁盘、内存、网络带宽等,在此以磁盘容量为例,假设在初始状态下预设创建扩充节点的条件包括基础计算节点和已创建的扩充计算节点上的可用的计算资源的最大磁盘容量值为80%,即只要任务队列中待处理的任务对磁盘容量的需求大于当前已有计算资源的80%,调度器即发起调用创建扩充计算节点;假设在初始状态下预设释放扩充节点的条件包括基础计算节点上的可用的计算资源的最小磁盘容量值为20%,即只要任务队列中待处理的任务对磁盘容量的需求小于当前已有计算资源的20%,调度器即发起调用释放扩充计算节点。
进一步地,图4为本发明实施例提供的计算资源的处理方法流程图四,如图4所示,在图2所述方法的基础上,在执行步骤S210之后,且执行步骤S220、S230之前还可包括如下步骤:
S410,获取基础计算节点和/或扩充计算节点上的任务执行状态和资源利用情况的数据。
具体地,上述获取任务执行状态和资源利用情况可以采用多种方式,例如调度器可以自行查询和读取计算节点中任务执行和资源利用情况,也可以由计算节点将其任务执行和资源利用情况主动上报给调度器。
在实际应用场景中,每当调度器调用云中心管理接口创建一个新的扩充计算节点,还可在该扩充计算节点上部署一个Agent,用于将当前计算节点的资源和任务执行情况上报给调度器,调度器可据此决定是否分配新的任务给该扩充计算节点,或者据此判断在任务队列中待处理任务小于第二负载时,释放该扩充计算节点。
在执行步骤S410之后,还可继续执行步骤S220和/或步骤S230。
进一步地,图5为本发明实施例提供的计算资源的处理方法流程图五,如图5所示,在图2或图3所示方法步骤的基础上,该计算资源的处理方法中,针对上述步骤S220或步骤S320示出了一种具体实现方式,以图2所示方法为例,包括:
S510,如果任务队列中的任务的负载大于预设的第一负载,则根据任务队列中待处理任务的资源需求,创建具有与执行任务所需计算资源相匹配的扩充计算节点,并向扩充计算节点下发任务队列中的任务以执行。
具体地,计算资源可包括CPU、GPU、FPGA、磁盘、内存、网络带宽等,不同的任务对资源的需求也各不相同,例如用户提交的任务复杂度较大,所需要的计算资源也相应较多,则需要创建与之资源需求相匹配的扩充计算节点,如果用户提交的任务处理复杂度较小,所需要的计算资源也相应较少,则只需创建与之相匹配的较小资源数的扩充计算节点,如此避免计算资源的浪费。
在实际应用场景中,根据用户提交的任务类型不同,其对资源的需求也不同,例如强计算型任务通常比弱计算型任务需要的CPU资源更大,强磁盘型任务通常比弱磁盘型任务需要的内存及磁盘资源更多,而强通信型任务通常比弱通信型任务对网络带宽的资源需求更高。因此,调度器需要根据用户提交任务类型的不同,在具体资源的供给上创建与任务需求相匹配的扩充计算节点,以达到资源利用率最大化或者用户作业运行效率最高化。
具体地,上述创建具有与执行任务所需计算资源相匹配的扩充计算节点中:被创建的所述计算资源满足利用该计算资源进行任务处理的处理时间小于预设时间,和/或在满足基本任务处理要求的前提下,计算资源的成本最低。
在实际应用场景中,创建扩充计算节点时可以择一或同时满足两个原则,一个是效率优先原则,即以最快时间处理任务为前提,为当前任务创建与之资源需求相匹配的扩充计算节点,该扩充计算节点的计算资源应大于当前任务的资源需求,例如,当前任务至少需要双核的CPU处理,则调度器可根据效率优先原则为其创建包括四核或核数更大的多核CPU的计算节点,以达到最快的处理效率。另一个是成本优先原则,即以满足资源最大利用率为前提,为当前任务创建与之资源需求相匹配的扩充计算节点,该扩充计算节点的计算资源能够刚好满足当前任务的资源需求即可,以避免资源的浪费,例如,当前任务至少需要双核的CPU处理,则调度器为其创建包括双核CPU的扩充计算节点即可。
本发明实施例提供的计算资源的处理方法,通过监控任务队列中待处理任务的负载情况,并根据负载情况动态创建或释放扩充计算节点,以此能够根据用户作业情况弹性伸缩计算资源,提高了用户作业运行的效率。
进一步地,根据用户提交任务对资源的需求不同,以效率最优或成本最优为原则,为任务创建与之资源需求相匹配的扩充计算节点,如此能够进一步提高任务处理效率,避免了计算资源的浪费。
实施例三
图6a为本发明实施例提供的计算资源的处理装置结构图一,如图6a所示,该计算资源的处理装置可为图1、图2中所示的调度器,可用于执行实施例1及实施例二中所示的方法步骤,包括:任务管理模块110和资源管理模块120;
任务管理模块110,用于监控任务队列中待处理任务的负载情况;
资源管理模块120,用于如果任务队列中的任务的负载大于预设的第一负载,则创建扩充计算节点,并向扩充计算节点下发任务队列中的任务以执行;或者,
如果任务队列中的任务的负载小于预设的第二负载,则在扩充计算节点执行完成当前任务后,释放扩充计算节点。
进一步地,如图6b所示,上述装置还可包括云中心管理模块130,
资源管理模块120,具体用于触发云中心管理模块130调用云中心管理接口在云服务器中创建扩充计算节点;以及,触发云中心管理模块130调用云中心管理接口释放扩充计算节点。
进一步地,上述计算资源的处理装置中,云服务器中还包括基础计算节点,任务队列中的任务的负载包括任务的数量和/或计算任务的资源需求;
第一负载可包括:创建扩充节点所需的任务队列中未处理的最大任务数和/或,基础计算节点和已创建的扩充节点上的可用的计算资源的最小资源数;
第二负载可包括:释放扩充节点所需的任务队列中规定的最大待处理任务数和/或,基础计算节点上的可用的计算资源的最小资源数。
进一步地,上述计算资源的处理装置中,资源管理模块120还可用于:
获取基础计算节点和/或扩充节点上的任务执行状态和资源利用情况的数据。
进一步地,上述计算资源的处理装置中,资源管理模块120具体可用于:
根据任务队列中待处理任务的资源需求,触发云中心管理模块130创建具有与执行任务所需计算资源相匹配的扩充节点。
进一步地,上述计算资源的处理装置中,创建具有与执行任务所需计算资源相匹配的扩充节点中:
被创建的计算资源满足利用该计算资源进行任务处理的处理时间小于预设时间,和/或在满足基本任务处理要求的前提下,计算资源的成本最低。
进一步地,上述计算资源的处理装置中,资源管理模块120还可用于:
根据基础计算节点和/或扩充计算节点上的可用的计算资源,从任务队列中选择待执行任务并下发到指定计算节点以执行该任务。
进一步地,上述计算资源包括:CPU、GPU、FPGA、内存、磁盘、网络带宽。
本发明实施例提供的计算资源的处理装置,通过监控任务队列中待处理任务的负载情况,并根据负载情况动态创建或释放扩充计算节点,以此能够根据用户作业情况弹性伸缩计算资源,提高了用户作业运行的效率。
实施例四
前面实施例三描述了计算资源的处理装置的整体架构,该装置的功能可借助一种电子设备实现完成,如图7所示,其为本发明实施例的电子设备的结构示意图,具体包括:存储器710和处理器720。
存储器710,用于存储程序。
除上述程序之外,存储器710还可被配置为存储其它各种数据以支持在电子设备上的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。
存储器710可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
处理器720,耦合至存储器710,用于执行存储器710中的程序,以用于:
监控任务队列中待处理任务的负载情况;
如果任务队列中的任务的负载大于预设的第一负载,则创建扩充计算节点,并向扩充计算节点下发任务队列中的任务以执行;或者,
如果任务队列中的任务的负载小于预设的第二负载,则在扩充计算节点执行完成当前任务后,释放扩充计算节点。
上述的具体处理操作已经在前面实施例中进行了详细说明,在此不再赘述。
进一步,如图7所示,电子设备还可以包括:通信组件730、电源组件740、音频组件750、显示器760等其它组件。图7中仅示意性给出部分组件,并不意味着电子设备只包括图7所示组件。
通信组件730被配置为便于电子设备和其他设备之间有线或无线方式的通信。电子设备可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件730经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,通信组件730还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
电源组件740,为电子设备的各种组件提供电力。电源组件740可以包括电源管理系统,一个或多个电源,及其他与为电子设备生成、管理和分配电力相关联的组件。
音频组件750被配置为输出和/或输入音频信号。例如,音频组件750包括一个麦克风(MIC),当电子设备处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器710或经由通信组件730发送。在一些实施例中,音频组件750还包括一个扬声器,用于输出音频信号。
显示器760包括屏幕,其屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与触摸或滑动操作相关的持续时间和压力。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (17)
1.一种计算资源的处理方法,其特征在于,包括:
监控任务队列中待处理任务的负载情况;
如果所述任务队列中的任务的负载大于预设的第一负载,则创建扩充计算节点,并向所述扩充计算节点下发所述任务队列中的任务以执行;或者,
如果所述任务队列中的任务的负载小于预设的第二负载,则在所述扩充计算节点执行完成当前任务后,释放所述扩充计算节点。
2.根据权利要求1所述的方法,其特征在于,
所述创建扩充计算节点包括:
调用云中心管理接口在云服务器中创建所述扩充计算节点;
所述释放所述扩充计算节点包括:
调用所述云中心管理接口释放所述扩充计算节点。
3.根据权利要求2所述的方法,其特征在于,所述云服务器中还包括基础计算节点,所述任务队列中的任务的负载包括任务的数量和/或计算任务的资源需求;
所述第一负载包括:创建所述扩充计算节点所需的所述任务队列中未处理的最小任务数和/或,所述基础计算节点和已创建的所述扩充计算节点上的可用的计算资源的最大资源数;
所述第二负载包括:释放所述扩充计算节点所需的所述任务队列中未处理的最大任务数和/或,所述基础计算节点上的可用的计算资源的最小资源数。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
获取所述基础计算节点和/或扩充计算节点上的任务执行状态和资源利用情况的数据。
5.根据权利要求3所述的方法,其特征在于,所述调用云中心管理接口在云服务器中创建扩充计算节点包括:
根据所述任务队列中待处理任务的资源需求,创建具有与执行所述任务所需计算资源相匹配的扩充计算节点。
6.根据权利要求5所述的方法,其特征在于,所述创建具有与执行所述任务所需计算资源相匹配的扩充计算节点中:
被创建的所述计算资源满足利用该计算资源进行任务处理的处理时间小于预设时间,和/或在满足基本任务处理要求的前提下,计算资源的成本最低。
7.根据权利要求1-6任一项所述的方法,其特征在于,所述方法还包括:
根据所述基础计算节点和/或所述扩充计算节点上的可用的计算资源,从任务队列中选择待执行任务并下发到指定计算节点以执行该任务。
8.根据权利要求3所述的方法,其特征在于,所述计算资源包括:CPU、GPU、FPGA、内存、磁盘、网络带宽。
9.一种计算资源的处理装置,其特征在于,包括:任务管理模块,用于监控任务队列中待处理任务的负载情况;
资源管理模块,用于如果所述任务队列中的任务的负载大于预设的第一负载,则创建扩充计算节点,并向所述扩充计算节点下发所述任务队列中的任务以执行;或者,
如果所述任务队列中的任务的负载小于预设的第二负载,则在所述扩充计算节点执行完成当前任务后,释放所述扩充计算节点。
10.根据权利要求9所述的装置,其特征在于,所述装置还包括云中心管理模块,
所述资源管理模块,具体用于触发所述云中心管理模块调用云中心管理接口在云服务器中创建所述扩充计算节点;以及,触发所述云中心管理模块调用所述云中心管理接口释放所述扩充计算节点。
11.根据权利要求10所述的装置,其特征在于,所述云服务器中还包括基础计算节点,所述任务队列中的任务的负载包括任务的数量和/或计算任务的资源需求;
所述第一负载包括:创建所述扩充计算节点所需的所述任务队列中未处理的最大任务数和/或,所述基础计算节点和已创建的所述扩充计算节点上的可用的计算资源的最小资源数;
所述第二负载包括:释放所述扩充计算节点所需的所述任务队列中规定的最大待处理任务数和/或,所述基础计算节点上的可用的计算资源的最小资源数。
12.根据权利要求11所述的装置,其特征在于,所述资源管理模块还用于:
获取所述基础计算节点和/或扩充计算节点上的任务执行状态和资源利用情况的数据。
13.根据权利要求11所述的装置,其特征在于,所述资源管理模块具体用于:
根据所述任务队列中待处理任务的资源需求,触发所述云中心管理模块创建具有与执行所述任务所需计算资源相匹配的扩充计算节点。
14.根据权利要求13所述的装置,其特征在于,所述创建具有与执行所述任务所需计算资源相匹配的扩充计算节点中:
被创建的所述计算资源满足利用该计算资源进行任务处理的处理时间小于预设时间,和/或在满足基本任务处理要求的前提下,计算资源的成本最低。
15.根据权利要求9-14任一项所述的装置,其特征在于,所述资源管理模块还用于:
根据所述基础计算节点和/或所述扩充计算节点上的可用的计算资源,从任务队列中选择待执行任务并下发到指定计算节点以执行该任务。
16.根据权利要求11所述的装置,其特征在于,所述计算资源包括:CPU、GPU、FPGA、内存、磁盘、网络带宽。
17.一种电子设备,其特征在于,包括:
存储器,用于存储程序;
处理器,耦合至所述存储器,用于执行所述程序,以用于:
监控任务队列中待处理任务的负载情况;
如果所述任务队列中的任务的负载大于预设的第一负载,则创建扩充计算节点,并向所述扩充计算节点下发所述任务队列中的任务以执行;或者,
如果所述任务队列中的任务的负载小于预设的第二负载,则在所述扩充计算节点执行完成当前任务后,释放所述扩充计算节点。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710943178.3A CN109656691A (zh) | 2017-10-11 | 2017-10-11 | 计算资源的处理方法、装置以及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710943178.3A CN109656691A (zh) | 2017-10-11 | 2017-10-11 | 计算资源的处理方法、装置以及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109656691A true CN109656691A (zh) | 2019-04-19 |
Family
ID=66109673
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710943178.3A Pending CN109656691A (zh) | 2017-10-11 | 2017-10-11 | 计算资源的处理方法、装置以及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109656691A (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110096367A (zh) * | 2019-05-14 | 2019-08-06 | 宁夏融媒科技有限公司 | 一种基于多gpu的全景实时视频流处理方法 |
CN110489221A (zh) * | 2019-08-16 | 2019-11-22 | 南京云帐房网络科技有限公司 | 一种自动化任务数量动态调整计算资源的方法及系统 |
CN110888727A (zh) * | 2019-11-26 | 2020-03-17 | 北京达佳互联信息技术有限公司 | 并发无锁队列实现方法、装置及存储介质 |
CN111400045A (zh) * | 2020-03-16 | 2020-07-10 | 杭州海康威视系统技术有限公司 | 一种负载均衡方法及装置 |
CN112052087A (zh) * | 2020-07-14 | 2020-12-08 | 中科院计算所西部高等技术研究院 | 动态资源调整与迁移的深度学习训练系统及方法 |
CN112288198A (zh) * | 2019-07-22 | 2021-01-29 | 北京车和家信息技术有限公司 | 任务处理系统及方法 |
CN112311832A (zh) * | 2019-07-31 | 2021-02-02 | 杭州萤石软件有限公司 | 一种任务处理方法、系统及节点 |
CN112416534A (zh) * | 2020-11-23 | 2021-02-26 | 北京中电普华信息技术有限公司 | 一种基于Agent的任务管理方法及装置 |
CN114356567A (zh) * | 2021-12-30 | 2022-04-15 | 阿里巴巴(中国)有限公司 | 一种slurm集群的伸缩方法、系统及设备 |
CN114416315A (zh) * | 2022-01-18 | 2022-04-29 | 上海金融期货信息技术有限公司 | 持续集成系统中的任务动态调度方法和系统 |
CN115225506A (zh) * | 2022-06-02 | 2022-10-21 | 慧壹科技(上海)有限公司 | 基于云平台的数据处理方法、系统、电子设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110167421A1 (en) * | 2010-01-04 | 2011-07-07 | Vmware, Inc. | Dynamic Scaling of Management Infrastructure in Virtual Environments |
US20130191843A1 (en) * | 2011-08-23 | 2013-07-25 | Infosys Limited | System and method for job scheduling optimization |
CN103279390A (zh) * | 2012-08-21 | 2013-09-04 | 中国科学院信息工程研究所 | 一种面向小作业优化的并行处理系统 |
CN103560915A (zh) * | 2013-11-07 | 2014-02-05 | 浪潮(北京)电子信息产业有限公司 | 管理云计算系统中资源的方法和系统 |
CN106375395A (zh) * | 2016-08-30 | 2017-02-01 | 厦门中学西渐信息科技有限公司 | 节点服务器的负载均衡方法和系统 |
-
2017
- 2017-10-11 CN CN201710943178.3A patent/CN109656691A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110167421A1 (en) * | 2010-01-04 | 2011-07-07 | Vmware, Inc. | Dynamic Scaling of Management Infrastructure in Virtual Environments |
US20130191843A1 (en) * | 2011-08-23 | 2013-07-25 | Infosys Limited | System and method for job scheduling optimization |
CN103279390A (zh) * | 2012-08-21 | 2013-09-04 | 中国科学院信息工程研究所 | 一种面向小作业优化的并行处理系统 |
CN103560915A (zh) * | 2013-11-07 | 2014-02-05 | 浪潮(北京)电子信息产业有限公司 | 管理云计算系统中资源的方法和系统 |
CN106375395A (zh) * | 2016-08-30 | 2017-02-01 | 厦门中学西渐信息科技有限公司 | 节点服务器的负载均衡方法和系统 |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110096367A (zh) * | 2019-05-14 | 2019-08-06 | 宁夏融媒科技有限公司 | 一种基于多gpu的全景实时视频流处理方法 |
CN112288198A (zh) * | 2019-07-22 | 2021-01-29 | 北京车和家信息技术有限公司 | 任务处理系统及方法 |
CN112311832B (zh) * | 2019-07-31 | 2022-08-05 | 杭州萤石软件有限公司 | 一种任务处理方法、系统及节点 |
CN112311832A (zh) * | 2019-07-31 | 2021-02-02 | 杭州萤石软件有限公司 | 一种任务处理方法、系统及节点 |
CN110489221A (zh) * | 2019-08-16 | 2019-11-22 | 南京云帐房网络科技有限公司 | 一种自动化任务数量动态调整计算资源的方法及系统 |
CN110489221B (zh) * | 2019-08-16 | 2023-10-20 | 云帐房网络科技有限公司 | 一种自动化任务数量动态调整计算资源的方法及系统 |
CN110888727A (zh) * | 2019-11-26 | 2020-03-17 | 北京达佳互联信息技术有限公司 | 并发无锁队列实现方法、装置及存储介质 |
CN111400045A (zh) * | 2020-03-16 | 2020-07-10 | 杭州海康威视系统技术有限公司 | 一种负载均衡方法及装置 |
CN111400045B (zh) * | 2020-03-16 | 2023-09-05 | 杭州海康威视系统技术有限公司 | 一种负载均衡方法及装置 |
CN112052087B (zh) * | 2020-07-14 | 2023-06-13 | 中科院计算所西部高等技术研究院 | 动态资源调整与迁移的深度学习训练系统及方法 |
CN112052087A (zh) * | 2020-07-14 | 2020-12-08 | 中科院计算所西部高等技术研究院 | 动态资源调整与迁移的深度学习训练系统及方法 |
CN112416534A (zh) * | 2020-11-23 | 2021-02-26 | 北京中电普华信息技术有限公司 | 一种基于Agent的任务管理方法及装置 |
CN114356567A (zh) * | 2021-12-30 | 2022-04-15 | 阿里巴巴(中国)有限公司 | 一种slurm集群的伸缩方法、系统及设备 |
CN114416315A (zh) * | 2022-01-18 | 2022-04-29 | 上海金融期货信息技术有限公司 | 持续集成系统中的任务动态调度方法和系统 |
CN115225506A (zh) * | 2022-06-02 | 2022-10-21 | 慧壹科技(上海)有限公司 | 基于云平台的数据处理方法、系统、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109656691A (zh) | 计算资源的处理方法、装置以及电子设备 | |
US10628216B2 (en) | I/O request scheduling method and apparatus by adjusting queue depth associated with storage device based on hige or low priority status | |
US10437631B2 (en) | Operating system hot-switching method and apparatus and mobile terminal | |
CN111406250B (zh) | 无服务器计算环境中的使用经预取的数据的配设 | |
CN108984264B (zh) | 虚拟gpu的实现方法、装置及系统 | |
KR101798369B1 (ko) | 휴대용 디바이스에서 동기적 태스크 디스패치를 위한 시스템 및 방법 | |
CN108628684B (zh) | 一种基于dpdk的报文处理方法及计算机设备 | |
KR101799253B1 (ko) | 다중 클러스터 이종 프로세서 아키텍처에서 동적 캐시 확장을 제공하기 위한 시스템 및 방법 | |
EP3698247B1 (en) | An apparatus and method for providing a performance based packet scheduler | |
CN110300328B (zh) | 一种视频播放控制方法、装置及可读存储介质 | |
US9389921B2 (en) | System and method for flexible device driver resource allocation | |
US20220058772A1 (en) | Image Processing Method and Device | |
CN108415772B (zh) | 一种基于容器的资源调整方法、装置和介质 | |
JP7100154B2 (ja) | プロセッサコアのスケジューリング方法、装置、端末及び記憶媒体 | |
WO2022247105A1 (zh) | 一种任务调度方法、装置、计算机设备和存储介质 | |
CN109213596B (zh) | 一种分配终端内存的方法和设备 | |
CN114138439A (zh) | 任务调度方法及装置、电子设备和存储介质 | |
CN111586140A (zh) | 一种数据交互的方法及服务器 | |
CN114155026A (zh) | 一种资源分配方法、装置、服务器及存储介质 | |
CN115640149A (zh) | Rdma事件管理方法、设备及存储介质 | |
CN113419865B (zh) | 云资源处理方法、相关装置及计算机程序产品 | |
CN104184817A (zh) | 一种下载优化方法及装置、终端 | |
WO2022160628A1 (zh) | 命令处理装置、方法、电子设备以及计算机可读存储介质 | |
US10901491B2 (en) | Sleep management method and device, and computer storage medium | |
CN111813541B (zh) | 一种任务调度方法、装置、介质和设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190419 |