CN113806050A - 一种计算资源的处理方法、装置、电子设备及存储介质 - Google Patents
一种计算资源的处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113806050A CN113806050A CN202111107663.XA CN202111107663A CN113806050A CN 113806050 A CN113806050 A CN 113806050A CN 202111107663 A CN202111107663 A CN 202111107663A CN 113806050 A CN113806050 A CN 113806050A
- Authority
- CN
- China
- Prior art keywords
- computing resource
- resource usage
- computing
- target
- usage amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title abstract description 9
- 238000000034 method Methods 0.000 claims abstract description 48
- 238000004364 calculation method Methods 0.000 claims description 40
- 238000012545 processing Methods 0.000 claims description 25
- 238000004891 communication Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 8
- 238000012544 monitoring process Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 239000002699 waste material Substances 0.000 description 3
- 230000003111 delayed effect Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请公开了一种计算资源的处理方法、装置、电子设备及存储介质。包括:获取待分配计算资源的目标作业,以及目标作业对应的初始计算资源使用量;按照初始计算资源使用量向目标作业分配计算资源,以使目标作业在当前周期内运行;检测目标作业在当前周期内运行时对应的实际计算资源使用量,并基于初始计算资源使用量以及实际计算资源使用量,计算目标作业在当前周期内的计算资源使用率;根据计算资源使用率确定在下一周期内向目标作业分配的目标计算资源使用量。本申请通过周期性统计目标作业的计算资源使用率,并根据计算资源使用率分配目标作业在下一周期内的计算资源使用量。以此避免出现计算资源浪费,以及计算资源不能满足计算需要的情况。
Description
技术领域
本申请涉及计算机作业调度领域,尤其涉及一种计算资源的处理方法、装置、电子设备及存储介质。
背景技术
高性能计算集群通常是指为了解决科学、工程或商业上的大问题而将计算能力聚集在一起形成集群,从而提供比传统数据中心提供更高的性能。高性能计算提供给物理化学、油气勘探、生命科学、气象环保和CAE仿真等领域。各领域的计算需求一般以上传应用计算作业到HPC实现,这些作业称为HPC作业。各领域不同的HPC作业所需要的计算资源类型不一,多少不一,计算时间长短不一。为了充分利用HPC集群中的计算资源,减少计算资源浪费,本发明提供一种动态分配计算资源的方法及装置。
当前HPC分配计算资源的方式一般为,从资源池中分配一定量的计算资源供此作业使用。这些已经分配的计算资源具有排他性,直到本作业计算完成将其释放前,不能被其他作业使用。在这个过程中,分配给本作业的计算资源不会一直保持被充分利用的状态,而是随着作业运行情况,计算资源的使用量也会上下波动,会存在以下问题:
分配给作业的计算资源大于作业运行所需,导致计算资源浪费。或者,分配给作业的计算资源不能满足作业计算需要,导致作业运行效率下降,造成计算结果延误。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题,本申请提供了一种计算资源的处理方法、装置、电子设备及存储介质。
根据本申请实施例的一个方面,提供了一种计算资源的处理方法,包括:
获取待分配计算资源的目标作业,以及所述目标作业对应的初始计算资源使用量;
按照所述初始计算资源使用量向所述目标作业分配计算资源,以使所述目标作业在当前周期内运行;
检测所述目标作业在当前周期内运行时对应的实际计算资源使用量,并基于所述初始计算资源使用量以及所述实际计算资源使用量,计算所述目标作业在当前周期内的计算资源使用率;
根据所述计算资源使用率确定在下一周期内向所述目标作业分配的目标计算资源使用量。
进一步地,在按照所述初始计算资源使用量向所述目标作业分配计算资源,以使所述目标作业在当前周期内运行之前,所述方法还包括:
获取计算集群在当前周期内的未使用计算资源;
在所述未使用计算资源不满足所述初始计算资源使用量的情况下,将所述目标作业存储至作业队列。
进一步地,在将所述目标作业存储至作业队列之后,所述方法还包括:
监听在当前周期内已运行作业的计算资源使用数据;
在根据所述计算资源使用数据确定存在释放计算资源的情况下,获取计算资源释放量;
将所述计算资源释放量发送至所述作业队列,以使所述作业队列对比所述计算资源释放量和所述初始计算资源使用量,并在所述计算资源释放量满足所述初始计算资源使用量的情况下,提交所述目标作业。
进一步地,所述按照所述初始计算资源使用量向所述目标作业分配计算资源,以使所述目标作业在当前周期内运行,包括:
在所述未使用计算资源不满足所述初始计算资源使用量的情况下,按照所述初始计算资源使用量向所述目标作业分配计算资源,以使所述目标作业在当前周期内运行。
进一步地,所述根据所述计算资源使用率确定在下一周期内向所述目标作业分配的目标计算资源使用量,包括:
在所述计算资源使用率大于预设资源使用率的情况下,获取预设资源使用率与计算资源使用量之间的第一对应关系;
基于所述第一对应关系,确定所述计算资源使用率对应的新增计算资源使用量;
根据所述初始计算资源使用量和所述新增计算资源使用量,确定所述目标计算资源使用量。
进一步地,所述根据所述计算资源使用率确定在下一周期内向所述目标作业分配的目标计算资源使用量,包括:
在所述计算资源使用率小于预设资源使用率的情况下,获取预设资源使用率与计算资源使用量之间的第二对应关系;
基于所述第二对应关系,确定所述计算资源使用率对应的缩减计算资源使用量;
根据所述初始计算资源使用量和所述缩减计算资源使用量,确定所述目标计算资源使用量。
进一步地,在根据所述计算资源使用率确定在下一周期内向所述目标作业分配的目标计算资源使用量之后,所述方法还包括:
获取所述目标作业在当前周期结束时的运行进度;
根据所述目标计算资源使用量和所述运行进度预测所述目标作业的剩余运行时间;
在所述剩余运行时间小于所述下一周期对应的时间长度的情况下,增加所述目标作业在下一周期内的目标计算资源使用量。
根据本申请实施例的另一个方面,还提供了一种计算资源的处理装置,包括:
获取模块,用于获取待分配计算资源的目标作业,以及所述目标作业对应的初始计算资源使用量;
分配模块,用于按照所述初始计算资源使用量向所述目标作业分配计算资源,以使所述目标作业在当前周期内运行;
检测模块,用于检测所述目标作业在当前周期内运行时对应的实际计算资源使用量,并基于所述初始计算资源使用量以及所述实际计算资源使用量,计算所述目标作业在当前周期内的计算资源使用率;
处理模块,用于根据所述计算资源使用率确定在下一周期内向所述目标作业分配的计算资源。
根据本申请实施例的另一方面,还提供了一种存储介质,该存储介质包括存储的程序,程序运行时执行上述的步骤。
根据本申请实施例的另一方面,还提供了一种电子装置,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;其中:存储器,用于存放计算机程序;处理器,用于通过运行存储器上所存放的程序来执行上述方法中的步骤。
本申请实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述方法中的步骤。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点:本申请通过周期性统计目标作业的计算资源使用率,并根据计算资源使用率动态分配目标作业在下一周期内的目标计算资源使用量。以此避免出现计算资源浪费,以及计算资源不能满足作业计算需要,导致作业运行效率下降,造成计算结果延误的情况。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种计算资源的处理方法的流程图;
图2为本申请另一实施例提供的一种计算资源的处理方法的流程图;
图3为本申请另一实施例提供的一种计算资源的处理方法的流程图;
图4为本申请实施例提供的一种计算资源的处理装置的框图;
图5为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请的一部分实施例,而不是全部的实施例,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个类似的实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本申请实施例提供了一种计算资源的处理方法、装置、电子设备及存储介质。本发明实施例所提供的方法可以应用于任意需要的电子设备,例如,可以为服务器、终端等电子设备,在此不做具体限定,为描述方便,后续简称为电子设备。
根据本申请实施例的一方面,提供了一种计算资源的处理方法的方法实施例。图1为本申请实施例提供的一种计算资源的处理方法的流程图,如图1所示,该方法包括:
步骤S11,获取待分配计算资源的目标作业,以及目标作业对应的初始计算资源使用量。
本申请实施例提供的计算资源的处理方法应用于高性能计算集群,高性能计算集群用于为上传的各个领域的作业提供高性能计算,例如:物理化学、油气勘探、生命科学以及气象环保等领域。其中,目标作业可以是物理化学领域的作业,油气勘探领域的作业等等。
在本申请实施例中,在上传目标作业之前,用户会指定目标作业对应的初始计算资源使用量,其中,初始计算资源使用量可以理解为目标作业在运行过程中需要的最小计算资源使用量。
步骤S12,按照初始计算资源使用量向目标作业分配计算资源,以使目标作业在当前周期内运行。
在本申请实施例中,步骤S12,按照初始计算资源使用量向目标作业分配计算资源,以使目标作业在当前周期内运行,包括以下步骤A1-A2:
步骤A1,获取计算集群在当前周期内的未使用计算资源。
在本申请实施例中,高性能计算集群再向目标作业分配计算资源之前,需要获取高性能计算集群在当前周期内的未使用计算资源,需要说明的是,此时的未使用计算资源包括:在当前周期内一直未使用的计算资源,以及当前被释放的计算资源。
步骤A2,在未使用计算资源不满足初始计算资源使用量的情况下,按照初始计算资源使用量向目标作业分配计算资源,以使目标作业在当前周期内运行。
在本申请实施例中,对比未使用计算资源和初始计算资源使用量,在未使用计算资源满足初始计算资源使用量的情况下,从未使用计算资源中调用初始计算资源使用量对应计算资源分配给目标作业,以使目标作业在当前周期内运行。
步骤S13,检测目标作业在当前周期内运行时对应的实际计算资源使用量,并基于初始计算资源使用量以及实际计算资源使用量,计算目标作业在当前周期内的计算资源使用率。
在本申请实施例中,在目标作业在当前周期内运行之后,对目标作业的运行情况进行检测,从而确定目标作业在当前周期内运行时对应的实际计算资源使用量。然后在得到实际计算资源使用量之后,计算实际计算资源使用量与初始计算资源使用量之间的比值,将该比值确定未目标作业在当前周期内的计算资源使用率。
步骤S14,根据计算资源使用率确定在下一周期内向目标作业分配的目标计算资源使用量。
本申请通过周期性统计目标作业的计算资源使用率,并根据计算资源使用率动态分配目标作业在下一周期内的目标计算资源使用量。以此避免出现计算资源浪费,以及计算资源不能满足作业计算需要,导致作业运行效率下降,造成计算结果延误的情况。
在本申请实施例中,步骤S14,根据计算资源使用率确定在下一周期内向目标作业分配的目标计算资源使用量,包括以下步骤B1-B3:
步骤B1,在计算资源使用率大于预设资源使用率的情况下,获取预设资源使用率与计算资源使用量之间的第一对应关系。
在本申请实施例中,计算资源使用率大于预设资源使用率则表示,当前分配的计算资源并不能满足目标作业在当前周期内的运行。为了保证目标作业在下一周期内有充足的计算资源,因此本申请实施例在计算资源使用率大于预设资源使用率的情况下,建立了预设资源使用率与计算资源使用量之间的第一对应关系,第一对应关系中包括:多个预设资源使用率区间,以及每个预设资源使用率区间对应的计算资源使用量。
步骤B2,基于第一对应关系,确定计算资源使用率对应的新增计算资源使用量。
在本申请实施例中,从第一对应关系中查询计算资源使用率对应的计算资源使用量,将该计算资源使用量确定为新增计算资源使用量。
步骤B3,根据初始计算资源使用量和新增计算资源使用量,确定目标计算资源使用量。
在本申请实施例中,计算初始计算资源使用量和新增计算资源使用量的和值,将该和值确定为下一周期内向目标作业分配的目标计算资源使用量。
在本申请实施例中,在计算资源使用率大于预设资源使用率的情况下,通过增加目标作业在下一周期内的计算资源使用量,能够提高目标作业在下一周期内的运行效率,以使目标作业快速完成,并释放计算资源。
在本申请实施例中,步骤S14,根据计算资源使用率确定在下一周期内向目标作业分配的目标计算资源使用量,包括以下步骤C1-C3:
步骤C1,在计算资源使用率小于预设资源使用率的情况下,获取预设资源使用率与计算资源使用量之间的第二对应关系。
在本申请实施例中,计算资源使用率小于预设资源使用率则表示,当前分配的计算资源能够满足目标作业在当前周期内的运行。为了避免目标作业在下一周期内出现计算资源浪费的情况,因此本申请实施例在计算资源使用率小于预设资源使用率的情况下,建立了预设资源使用率与计算资源使用量之间的第二对应关系,第二对应关系中包括:多个预设资源使用率区间,以及每个预设资源使用率区间对应的计算资源使用量。
步骤C2,基于第二对应关系,确定计算资源使用率对应的缩减计算资源使用量。
在本申请实施例中,从第二对应关系中查询计算资源使用率对应的计算资源使用量,将该计算资源使用量确定为缩减计算资源使用量。
步骤C3,根据初始计算资源使用量和缩减计算资源使用量,确定目标计算资源使用量。
在本申请实施例中,计算初始计算资源使用量和缩减计算资源使用量的差值,将该差值确定为下一周期内向目标作业分配的目标计算资源使用量。
本申请实施例在计算资源使用率小于预设资源使用率的情况下,降低目标作业在下一周期内的计算资源使用量,避免出现目标作业浪费计算资源的情况。
在本申请实施例中,在按照初始计算资源使用量向目标作业分配计算资源,以使目标作业在当前周期内运行之前,如图2所示,方法还包括:
步骤S21,获取计算集群在当前周期内的未使用计算资源。
步骤S22,在未使用计算资源不满足初始计算资源使用量的情况下,将目标作业存储至作业队列。
在本申请实施例中,高性能计算集群再向目标作业分配计算资源之前,需要获取高性能计算集群在当前周期内的未使用计算资源,需要说明的是,此时的未使用计算资源包括:在当前周期内一直未使用的计算资源,以及当前被释放的计算资源。
在本申请实施例中,对比未使用计算资源和初始计算资源使用量,在未使用计算资源不满足初始计算资源使用量的情况下,则将目标作业存储至作业队列,以等待其它作业运行完成并释放计算资源后,作业队列会收集计算资源释放信息,此时作业队列会按照顺序递交待运行的作业。
在本申请实施例中,在将目标作业存储至作业队列之后,方法还包括以下步骤D1-D3:
步骤D1,监听在当前周期内已运行作业的计算资源使用数据。
在本申请实施例中,高性能计算集群监听当前周期内已运行作业的计算资源使用数据,例如:监听当前周期内已运行作业是否在运行完成后,释放其所占用的计算资源。
步骤D2,在根据计算资源使用数据确定存在释放计算资源的情况下,获取计算资源释放量。
在本申请实施例中,如果计算资源使用数据中存在被释放的计算资源时,统计被释放计算资源对应的计算资源释放量。
步骤D3,将计算资源释放量发送至作业队列,以使作业队列对比计算资源释放量和初始计算资源使用量,并在计算资源释放量满足初始计算资源使用量的情况下,提交目标作业。
在本申请实施例中,在得到计算资源释放量之后,会将计算资源释放量发送到作业队列,以使作业队列对比计算资源释放量和初始计算资源使用量,在计算资源释放量满足初始计算资源使用量,将目标作业提交至高性能计算集群,以使高性能计算集群为目标作业分配计算资源。
在本申请实施例中,在根据计算资源使用率确定在下一周期内向目标作业分配的目标计算资源使用量,包括以下步骤E1-E3:
步骤E1,获取目标作业在当前周期结束时的运行进度。
步骤E2,根据目标计算资源使用量和运行进度预测目标作业的剩余运行时间。
步骤E3,在剩余运行时间小于下一周期对应的时间长度的情况下,增加目标作业在下一周期内的目标计算资源使用量。
在本申请实施例中,通过目标作业的运行进度以及目标计算资源使用量预测目标作业的剩余运行时间,对比剩余运行时间和下一周期对应的时间长度,如果剩余运行时间小于下一周期对应的时间长度,则表示目标作业会在下一周期内运行完毕,此时可以增加目标作业在下一周期内的目标计算资源使用量,以此保证目标作业能够快速运行完毕,并释放计算资源。其中,增加目标作业在下一周期内的计算资源使用量,可以是按照预设比例增加计算资源使用量。
图3为本申请实施例提供的一种计算资源的处理方法的流程图,该方法应用于作业队列,如图3所示,该方法包括:
步骤S31,获取目标作业,以及目标作业对应的初始计算资源使用量。
步骤S32,监听计算资源释放事件,基于计算资源释放事件确定计算资源释放量。
步骤S33,在计算资源释放量大于初始计算资源使用量的情况下,将目标作业释放。
在本申请实施例中,在未使用计算资源不满足初始计算资源使用量的情况下,将目标作业存储至作业队列,能够保证作业不会丢失,同时通过监听计算资源释放事件确定计算资源释放量,根据计算资源释放量,确定是否满足提交作业的条件,以此保证在计算资源被释放后,及时提交目标作业至高性能计算集群。
图4为本申请实施例提供的一种计算资源的处理装置的框图,该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图4所示,该装置包括:
获取模块41,用于获取待分配计算资源的目标作业,以及目标作业对应的初始计算资源使用量;
分配模块42,用于按照初始计算资源使用量向目标作业分配计算资源,以使目标作业在当前周期内运行;
检测模块43,用于检测目标作业在当前周期内运行时对应的实际计算资源使用量,并基于初始计算资源使用量以及实际计算资源使用量,计算目标作业在当前周期内的计算资源使用率;
处理模块44,用于根据计算资源使用率确定在下一周期内向目标作业分配的计算资源。
在本申请实施例中,计算资源的处理装置还包括:对比模块,用于获取计算集群在当前周期内的未使用计算资源;在未使用计算资源不满足初始计算资源使用量的情况下,将目标作业存储至作业队列。
在本申请实施例中,计算资源的处理装置还包括:监听模块,用于监听在当前周期内已运行作业的计算资源使用数据;在根据计算资源使用数据确定存在释放计算资源的情况下,获取计算资源释放量;将计算资源释放量发送至作业队列,以使作业队列对比计算资源释放量和初始计算资源使用量,并在计算资源释放量满足初始计算资源使用量的情况下,提交目标作业。
在本申请实施例中,分配模块42,用于在未使用计算资源不满足初始计算资源使用量的情况下,按照初始计算资源使用量向目标作业分配计算资源,以使目标作业在当前周期内运行。
在本申请实施例中,处理模块44,用于在计算资源使用率大于预设资源使用率的情况下,获取预设资源使用率与计算资源使用量之间的第一对应关系;基于第一对应关系,确定计算资源使用率对应的新增计算资源使用量;根据初始计算资源使用量和新增计算资源使用量,确定目标计算资源使用量。
在本申请实施例中,处理模块44,用于在计算资源使用率小于预设资源使用率的情况下,获取预设资源使用率与计算资源使用量之间的第二对应关系;基于第二对应关系,确定计算资源使用率对应的缩减计算资源使用量;根据初始计算资源使用量和缩减计算资源使用量,确定目标计算资源使用量。
在本申请实施例中,计算资源的处理装置还包括:预测模块,用于获取目标作业在当前周期结束时的运行进度;根据目标计算资源使用量和运行进度预测目标作业的剩余运行时间;在剩余运行时间小于下一周期对应的时间长度的情况下,增加目标作业在下一周期内的目标计算资源使用量。
本申请实施例还提供一种电子设备,如图5所示,电子设备可以包括:处理器1501、通信接口1502、存储器1503和通信总线1504,其中,处理器1501,通信接口1502,存储器1503通过通信总线1504完成相互间的通信。
存储器1503,用于存放计算机程序;
处理器1501,用于执行存储器1503上所存放的计算机程序时,实现上述实施例的步骤。
上述终端提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述终端与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,简称RAM),也可以包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital Signal Processing,简称DSP)、专用集成电路(Application SpecificIntegrated Circuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述实施例中任一所述的计算资源的处理方法。
在本申请提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一所述的计算资源的处理方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘SolidState Disk)等。
以上所述仅为本申请的较佳实施例而已,并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本申请的保护范围内。
以上所述仅是本申请的具体实施方式,使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种计算资源的处理方法,其特征在于,包括:
获取待分配计算资源的目标作业,以及所述目标作业对应的初始计算资源使用量;
按照所述初始计算资源使用量向所述目标作业分配计算资源,以使所述目标作业在当前周期内运行;
检测所述目标作业在当前周期内运行时对应的实际计算资源使用量,并基于所述初始计算资源使用量以及所述实际计算资源使用量,计算所述目标作业在当前周期内的计算资源使用率;
根据所述计算资源使用率确定在下一周期内向所述目标作业分配的目标计算资源使用量。
2.根据权利要求1所述的方法,其特征在于,在按照所述初始计算资源使用量向所述目标作业分配计算资源,以使所述目标作业在当前周期内运行之前,所述方法还包括:
获取计算集群在当前周期内的未使用计算资源;
在所述未使用计算资源不满足所述初始计算资源使用量的情况下,将所述目标作业存储至作业队列。
3.根据权利要求2所述的方法,其特征在于,在将所述目标作业存储至作业队列之后,所述方法还包括:
监听在当前周期内已运行作业的计算资源使用数据;
在根据所述计算资源使用数据确定存在释放计算资源的情况下,获取计算资源释放量;
将所述计算资源释放量发送至所述作业队列,以使所述作业队列对比所述计算资源释放量和所述初始计算资源使用量,并在所述计算资源释放量满足所述初始计算资源使用量的情况下,提交所述目标作业。
4.根据权利要求2所述的方法,其特征在于,所述按照所述初始计算资源使用量向所述目标作业分配计算资源,以使所述目标作业在当前周期内运行,包括:
在所述未使用计算资源不满足所述初始计算资源使用量的情况下,按照所述初始计算资源使用量向所述目标作业分配计算资源,以使所述目标作业在当前周期内运行。
5.根据权利要求1所述的方法,其特征在于,所述根据所述计算资源使用率确定在下一周期内向所述目标作业分配的目标计算资源使用量,包括:
在所述计算资源使用率大于预设资源使用率的情况下,获取预设资源使用率与计算资源使用量之间的第一对应关系;
基于所述第一对应关系,确定所述计算资源使用率对应的新增计算资源使用量;
根据所述初始计算资源使用量和所述新增计算资源使用量,确定所述目标计算资源使用量。
6.根据权利要求1所述的方法,其特征在于,所述根据所述计算资源使用率确定在下一周期内向所述目标作业分配的目标计算资源使用量,包括:
在所述计算资源使用率小于预设资源使用率的情况下,获取预设资源使用率与计算资源使用量之间的第二对应关系;
基于所述第二对应关系,确定所述计算资源使用率对应的缩减计算资源使用量;
根据所述初始计算资源使用量和所述缩减计算资源使用量,确定所述目标计算资源使用量。
7.根据权利要求1所述的方法,其特征在于,在根据所述计算资源使用率确定在下一周期内向所述目标作业分配的目标计算资源使用量之后,所述方法还包括:
获取所述目标作业在当前周期结束时的运行进度;
根据所述目标计算资源使用量和所述运行进度预测所述目标作业的剩余运行时间;
在所述剩余运行时间小于所述下一周期对应的时间长度的情况下,增加所述目标作业在下一周期内的目标计算资源使用量。
8.一种计算资源的处理装置,其特征在于,包括:
获取模块,用于获取待分配计算资源的目标作业,以及所述目标作业对应的初始计算资源使用量;
分配模块,用于按照所述初始计算资源使用量向所述目标作业分配计算资源,以使所述目标作业在当前周期内运行;
检测模块,用于检测所述目标作业在当前周期内运行时对应的实际计算资源使用量,并基于所述初始计算资源使用量以及所述实际计算资源使用量,计算所述目标作业在当前周期内的计算资源使用率;
处理模块,用于根据所述计算资源使用率确定在下一周期内向所述目标作业分配的计算资源。
9.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,所述程序运行时执行上述权利要求1至7中任一项所述的方法步骤。
10.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;其中:
存储器,用于存放计算机程序;
处理器,用于通过运行存储器上所存放的程序来执行权利要求1-7中任一项所述的方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111107663.XA CN113806050A (zh) | 2021-09-22 | 2021-09-22 | 一种计算资源的处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111107663.XA CN113806050A (zh) | 2021-09-22 | 2021-09-22 | 一种计算资源的处理方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113806050A true CN113806050A (zh) | 2021-12-17 |
Family
ID=78939973
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111107663.XA Pending CN113806050A (zh) | 2021-09-22 | 2021-09-22 | 一种计算资源的处理方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113806050A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114866556A (zh) * | 2022-05-25 | 2022-08-05 | 上海众源网络有限公司 | 一种服务器资源请求方法、装置、电子设备及存储介质 |
-
2021
- 2021-09-22 CN CN202111107663.XA patent/CN113806050A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114866556A (zh) * | 2022-05-25 | 2022-08-05 | 上海众源网络有限公司 | 一种服务器资源请求方法、装置、电子设备及存储介质 |
CN114866556B (zh) * | 2022-05-25 | 2024-04-19 | 上海众源网络有限公司 | 一种服务器资源请求方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11032212B2 (en) | Systems and methods for provision of a guaranteed batch | |
CN107343023B (zh) | 一种Mesos管理集群中的资源分配方法、装置及电子设备 | |
CN107295090B (zh) | 一种资源调度的方法和装置 | |
WO2017166643A1 (zh) | 一种任务资源的量化方法和装置 | |
CN112667376A (zh) | 任务调度处理方法、装置、计算机设备及存储介质 | |
CN108173905B (zh) | 一种资源配置方法、装置及电子设备 | |
CN108829512B (zh) | 一种云中心硬件加速计算力的分配方法、系统和云中心 | |
CN106874100B (zh) | 计算资源分配方法及装置 | |
WO2015101091A1 (zh) | 一种分布式资源调度方法及装置 | |
CN105022668B (zh) | 一种作业调度方法及系统 | |
US20130305245A1 (en) | Methods for managing work load bursts and devices thereof | |
CN112148468A (zh) | 一种资源调度方法、装置、电子设备及存储介质 | |
CN106020984B (zh) | 电子设备中进程的创建方法及装置 | |
CN113886069A (zh) | 一种资源分配方法、装置、电子设备及存储介质 | |
CN111381970A (zh) | 集群任务的资源分配方法及装置、计算机装置及存储介质 | |
CN111176833A (zh) | 一种多处理节点的任务分配方法及系统 | |
CN114490078A (zh) | 一种微服务的动态缩扩容方法、装置及设备 | |
CN112667405A (zh) | 信息处理方法、装置、设备及存储介质 | |
JP6237170B2 (ja) | 割当判定装置、制御方法、及びプログラム | |
CN113806050A (zh) | 一种计算资源的处理方法、装置、电子设备及存储介质 | |
CN109992408B (zh) | 一种资源分配方法、装置、电子设备和存储介质 | |
CN113703975A (zh) | 模型分配方法、装置、电子设备及计算机可读存储介质 | |
CN113590274A (zh) | 任务分配方法及装置、任务处理系统 | |
CN112463361A (zh) | 一种分布式计算的弹性资源分配的方法和设备 | |
CN116483546A (zh) | 分布式训练任务调度方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |