CN117785487A - 一种算力资源调度方法、装置、设备和介质 - Google Patents
一种算力资源调度方法、装置、设备和介质 Download PDFInfo
- Publication number
- CN117785487A CN117785487A CN202410211030.0A CN202410211030A CN117785487A CN 117785487 A CN117785487 A CN 117785487A CN 202410211030 A CN202410211030 A CN 202410211030A CN 117785487 A CN117785487 A CN 117785487A
- Authority
- CN
- China
- Prior art keywords
- task
- priority
- determining
- tasks
- computing power
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000005540 biological transmission Effects 0.000 claims abstract description 42
- 230000006870 function Effects 0.000 claims abstract description 25
- 238000011084 recovery Methods 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 10
- 238000005516 engineering process Methods 0.000 abstract description 3
- 230000000694 effects Effects 0.000 abstract description 2
- 238000004364 calculation method Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 14
- 238000012937 correction Methods 0.000 description 6
- 238000007405 data analysis Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Supply And Distribution Of Alternating Current (AREA)
Abstract
本申请涉及及数据处理技术领域,尤其涉及一种算力资源调度方法、装置、设备和介质,方法包括:获取预设时长内的所有任务各自对应的任务性质,任务性质为基于任务功能和任务数据传输信息确定的;基于所有任务各自对应的任务性质确定所有任务各自对应的第一任务优先级;获取所有任务各自对应的需求算力资源量、空闲算力资源量和待释放算力资源量;基于需求算力资源量、空闲算力资源量和待释放算力资源量,确定所有任务各自对应的第二任务优先级;基于所有任务各自对应的第一任务优先级和各自对应的第二任务优先级,确定下一待执行任务。本申请具有提高算力资源利用率的效果。
Description
技术领域
本申请涉及数据处理的技术领域,尤其是涉及一种算力资源调度方法、装置、设备和介质。
背景技术
当前随着科学技术的进步和发展,人工智能算法在人们的生产和生活中有着越来越重要的作用,在为人们生产和生活带来更多便利的同时也推动着经济的进步和发展。而在人工智能算法发展的过程中,以CPU、GPU和 FPGA为主的算力资源也随之发展,算力资源的合理调度影响着设备中任务的执行,即当该任务的算力资源越强大时,该任务的执行速度越快,可见,算力资源的调度对影响着任务的执行。
相关技术中,会根据任务类型确定任务的优先级,如,任务类型为客户端请求处理任务,则对应高优先级,任务类型为数据分析任务时,则对应低优先级,客户端请求处理任务可能需要大量的资源才可以完成执行,数据分析任务只需要较少的资源即可完成执行,在当前可用算力资源可以支撑数据分析任务的完成,无法支撑客户端请求处理任务完成的情况下,无法直接执行处理任务以及分析任务,只有等待释放算资源后的可用算力资源达到处理对应的需求资源后才可执行处理,需要花费较长时间等待,且此时可用算力资源无法得到有效利用,可见,相关技术中容易导致算力资源利用率降低的问题。
发明内容
为了实现提高算力资源利用率,本申请提供一种算力资源调度方法、装置、设备和介质。
第一方面,本申请提供一种算力资源调度方法,采用如下的技术方案:
一种算力资源调度方法,包括:
获取预设时长内的所有任务各自对应的任务信息,所述任务信息包括:任务功能和任务数据传输信息;
基于所述所有任务各自对应的所述任务信息确定所述所有任务各自对应的第一任务优先级;
获取所述所有任务各自对应的需求算力资源量、空闲算力资源量和待释放算力资源量;
基于所述需求算力资源量、所述空闲算力资源量和待释放算力资源量,确定所述所有任务各自对应的第二任务优先级;
基于所述所有任务各自对应的所述第一任务优先级和各自对应的所述第二任务优先级,确定下一待执行任务。
本申请在一较佳示例中可以进一步配置为,所述基于所述所有任务各自对应的所述第一任务优先级和各自对应的所述第二任务优先级,确定下一待执行任务,包括:
获取与所述第一任务优先级对应的第一权重值和与所述第二任务优先级对应的第二权重值;
基于所述第一任务优先级、所述第一权重值、所述第二任务优先级和所述第二权重值,确定所述所有任务各自对应的推荐评分;
基于所述所有任务各自对应的推荐评分确定与最大推荐评分对应的目标任务,并将所述目标任务确定为所述下一待执行任务。
本申请在一较佳示例中可以进一步配置为,所述基于所述所有任务各自对应的所述任务信息确定所述所有任务各自对应的第一任务优先级,包括:
基于预设的任务功能和优先级的对应关系和所述任务功能,确定与所述任务功能对应的第一子优先级;
获取所述所有任务各自对应的历史延迟频次,并基于所述任务数据传输信息和所述历史延迟频次,确定所述所有任务各自对应的第二子优先级;
基于所述第一子优先级和所述第二子优先级确定平均优先级,并将所述平均优先级确定为所述所有任务各自对应的第一任务优先级。
本申请在一较佳示例中可以进一步配置为,所述任务数据传输信息至少包括:任务数据传输量,所述基于所述任务数据传输信息和所述历史延迟频次,确定所述所有任务各自对应的第二子优先级,包括:
获取每一历史延迟频次对应的延迟时长,并基于所述延迟时长和所述历史延迟频次,确定与所述延迟时长对应的第三权重值;
基于所述任务数据传输量,确定所述任务数据传输量对应的第三子优先级;
基于所述历史延迟频次,确定所述历史延迟频次对应的第四子优先级;
获取所述任务数据传输量的第四权重值,并基于所述第三权重值、所述第三子优先级、所述第四权重值和所述第四子优先级,确定所述所有任务各自对应的第二子优先级。
本申请在一较佳示例中可以进一步配置为,所述基于所述第一子优先级和所述第二子优先级确定平均优先级之后,还包括:
获取所述所有任务各自对应的网络带宽值;
基于所述网络带宽值和第一对应关系,确定所述网络带宽值对应的第五子优先级,所述第一对应关系为所述网络带宽值和优先级的对应关系;
基于所述第五子优先级对所述平均优先级进行修正,得到修正后的平均优先级;
相应的,所述将所述平均优先级确定为所述所有任务各自对应的第一任务优先级,包括:
将所述修正后的平均优先级确定为所述所有任务各自对应的第一任务优先级。
本申请在一较佳示例中可以进一步配置为,所述获取需求算力资源量,包括:
获取所述所有任务各自对应的待存储量和运行环境;
基于所述待存储量和第二对应关系,确定所述待存储量对应的第一需求算力资源量,所述第二对应关系表征所述待存储量和所述需求算力资源量的对应关系;
基于所述运行环境和第三对应关系,确定所述运行环境对应的第二需求算力资源量,所述第三对应关系表征所述运行环境和所述需求算力资源量的对应关系;
基于所述第一需求算力资源量和所述第二需求算力资源量,确定所述所有任务各自对应的需求算力资源量。
本申请在一较佳示例中可以进一步配置为,所述算力资源调度方法,还包括:
实时获取所述所有任务各自对应的执行进度,并判断所述执行进度是否不小于预设执行进度阈值;
若是,则获取任务标识,并基于所述任务标识生成算力资源回收信号,所述算力资源回收信号用于回收提醒。
第二方面,本申请提供一种算力资源调度装置,采用如下的技术方案:
一种算力资源调度装置,包括:
第一获取模块,用于获取预设时长内的所有任务各自对应的任务信息,所述任务信息包括:任务功能和任务数据传输信息;
第一任务优先级确定模块,用于基于所有任务各自对应的任务信息确定所有任务各自对应的第一任务优先级;
第二获取模块,用于获取所有任务各自对应的需求算力资源量、空闲算力资源量和待释放算力资源量;
第二任务优先级确定模块,用于基于所述需求算力资源量、所述空闲算力资源量和待释放算力资源量,确定所有任务各自对应的第二任务优先级;
下一待执行任务确定模块,用于基于所有任务各自对应的所述第一任务优先级和各自对应的所述第二任务优先级,确定下一待执行任务。
第三方面,本申请提供一种电子设备,采用如下的技术方案:
至少一个处理器;
存储器;
至少一个应用程序,其中至少一个应用程序被存储在存储器中并被配置为由至少一个处理器执行,所述至少一个应用程序配置用于:执行如第一方面任一项所述的算力资源调度方法。
第四方面,本申请提供一种计算机可读存储介质,采用如下的技术方案:
一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序在计算机中执行时,令所述计算机执行如第一方面任一项所述的算力资源调度方法。
综上所述,本申请包括一下有益技术效果:
获取预设时长内所有任务各自对应的任务信息,当任务的任务功能不同时需要花费的算力资源量不同,而随着任务数据传输量的增大该任务的算力资源量也随之增大,因而根据所有任务各自对应的任务信息确定第一任务优先级,以有效提高了第一任务优先级确定的精准度;再获取需求算力资源量、空闲算力资源量和待释放算力资源量,以便从任务的需求算力资源量维度确定任务的优先级,因而根据需求算力资源量、空闲算力资源量和待释放算力资源量确定第二任务优先级以有效提高了第二任务优先级确定的精准度;再结合第一任务优先级和第二任务优先级确定下一待执行任务,通过从多个维度确定下一待执行任务,以有效减少了算力资源需求量的浪费,提高了算力资源需求量的利用率。
附图说明
图1为本申请实施例提供的一种算力资源调度场景示意图。
图2为本申请实施例提供的一种算力资源调度方法的流程示意图。
图3为本申请实施例提供的一种算力资源调度装置的结构示意图。
图4为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
以下结合附图1至附图4对本申请作进一步详细说明。
本具体实施例仅仅是对本申请的解释,其并不是对本申请的限制,本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改,但只要在本申请的范围内都受到专利法的保护。
为使本申请实施例的目的、技术方案和优点更加清楚,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
另外,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,如无特殊说明,一般表示前后关联对象是一种“或”的关系。
如图1所示,为本申请实施例提供的一种算力资源调度场景示意图,多个用户分别在各自对应的用户侧设备发送调度请求,电子设备接收到调度请求后获取任务信息和算力资源量,以确定下一待执行任务。
下面结合说明书附图对本申请实施例作进一步详细描述。
本申请实施例提供了一种算力资源调度方法,由电子设备执行,该电子设备可以为服务器也可以为终端设备,其中,该服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云计算服务的云服务器。终端设备可以是智能手机、平板电脑、笔记本电脑、台式计算机等,但并不局限于此,该终端设备以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请实施例在此不做限制,如图2所示,该方法包括步骤S101、步骤S102、步骤S103、步骤S104以及步骤S105,其中:
步骤S101:获取预设时长内的所有任务各自对应的任务信息,任务信息包括:任务功能和任务数据传输信息。
具体地,可以是在接收到调度请求后获取设备状态,电子设备中预先集成有监视程序,监视程序用于对调度请求的触发行为进行监视,一旦监视到调度请求被触发了,则获取设备状态。当用户确定调度后,会自动生成获取指令,其中,确认获取的方式可以包括:用户在用户侧设备点击获取按钮的方式确认获取。可以从预设任务信息库中获取所有任务各自对应的任务信息。其中,任务数据传输信息包括:任务传输数据量。本申请实施例不对预设时长进行限定。
步骤S102:基于所有任务各自对应的任务信息确定所有任务各自对应的第一任务优先级。
具体地,根据所有任务各自对应的任务信息确定所有任务各自对应的第一任务优先级的具体过程可参照下述实施例。可以理解的是,不同功能的任务在执行的过程中需要的算力资源不同,而任务的数据传输量也影响着任务的需求算力资源,当任务的数据传输量较大时对应需要更多的算力资源量,而当任务的数据传输量较小时对应需要较少的算力资源量,因而根据任务信息确定所有任务各自对应的第一任务优先级以有效提高了第一任务优先级确定的精准度。
步骤S103:获取所有任务各自对应的需求算力资源量、空闲算力资源量和待释放算力资源量。
具体地,所有任务各自对应的需求算力资源量的获取可参照下述实施例。空闲算力资源量为当前未使用的算力资源量。待释放算力资源量的获取过程包括:获取所有正在执行任务各自对应的任务执行需求时间,任务执行需求时间表征距离任务完成所需要的时间,将所有任务各自对应的任务执行需求时间进行比较,并按照降序的顺序进行排序,进一步地,可以将排序为第一位的任务对应的需求算力资源量确定为待释放算力资源量。
步骤S104:基于需求算力资源量、空闲算力资源量和待释放算力资源量,确定所有任务各自对应的第二任务优先级。
具体地,根据需求算力资源量、空闲算力资源量和待释放算力资源量确定所有任务各自对应的第二任务优先级的具体过程包括:基于空闲算力资源量和待释放算力资源量计算算力资源量总和,并比较算力资源量总和和需求算力资源量的算力资源需求量差值,即算力资源需求量差值=算力资源量总和-需求算力资源量,随着算力资源需求量差值的减小该任务的优先级越高,进而将与最小算力资源需求量差值对应的任务的优先级确定为第二任务优先级。
步骤S105:基于所有任务各自对应的第一任务优先级和各自对应的第二任务优先级,确定下一待执行任务。
具体地,根据所有任务各自对应的第一任务优先级和各自对应的第二任务优先级确定下一待执行任务的具体过程可参照下述实施例。可以理解的是,根据第一任务优先级和第二任务优先级实现了从任务信息维度和任务需求资源量维度对下一待执行任务的综合确定,以有效提高了下一待执行任务的精准度。
在本申请实施例中,获取预设时长内所有任务各自对应的任务信息,当任务的任务功能不同时需要花费的算力资源量不同,而随着任务数据传输量的增大该任务的算力资源量也随之增大,因而根据所有任务各自对应的任务信息确定第一任务优先级,以有效提高了第一任务优先级确定的精准度;再获取需求算力资源量、空闲算力资源量和待释放算力资源量,以便从任务的需求算力资源量维度确定任务的优先级,因而根据需求算力资源量、空闲算力资源量和待释放算力资源量确定第二任务优先级以有效提高了第二任务优先级确定的精准度;再结合第一任务优先级和第二任务优先级确定下一待执行任务,通过从多个维度确定下一待执行任务,以有效减少了算力资源需求量的浪费,提高了算力资源需求量的利用率。
本申请实施例的一种可能的实现方式,步骤S105基于所有任务各自对应的第一任务优先级和各自对应的第二任务优先级,确定下一待执行任务,包括:
获取与第一任务优先级对应的第一权重值和与第二任务优先级对应的第二权重值;
基于第一任务优先级、第一权重值、第二任务优先级和第二权重值,确定所有任务各自对应的推荐评分;
基于所有任务各自对应的推荐评分确定与最大推荐评分对应的目标任务,并将目标任务确定为下一待执行任务。
具体地,第一权重值和第二权重值均为技术人员预先设定并输入至电子设备中的,第一权重值表征任务信息对下一待执行任务确定的重要程度,第二权重值表征算力资源需求量对下一待执行任务确定的重要程度。根据第一任务优先级、第一权重值、第二任务优先级和第二权重值确定推荐评分的具体过程包括:根据任务优先级和评分值的对应关系确定第一任务优先级对应的第一评分值,以及确定第二任务优先级对应的第二评分值,再根据计算公式确定推荐评分,推荐评分=第一权重值*第一评分值+第二权重值*第二评分值。再根据所有任务各自对应的推荐评分从所有任务重筛选出与最大推荐评分对应的目标任务,并作为下一待执行任务。
在本申请实施例中,获取第一任务优先级对应的第一权重值和第二任务优先级对应的第二权重值,以便有针对性的确定下一待执行任务;再根据第一任务优先级、第一权重值、第二任务优先级和第二权重值确定所有任务各自对应的推荐评分,以有效提高了推荐评分的精准度;再根据所有任务各自对应的推荐评分确定与最大推荐评分对应的目标任务,并作为下一待执行任务,以有效提高了下一待执行任务的精准度。
本申请实施例的一种可能的实现方式,步骤S102基于所有任务各自对应的任务信息确定所有任务各自对应的第一任务优先级,包括:
基于预设的任务功能和优先级的对应关系和任务功能,确定与任务功能对应的第一子优先级;
获取所有任务各自对应的历史延迟频次,并基于任务数据传输信息和历史延迟频次,确定所有任务各自对应的第二子优先级;
基于第一子优先级和第二子优先级确定平均优先级,并将平均优先级确定为所有任务各自对应的第一任务优先级。
具体地,任务功能和优先级的对应关系为技术人员预先设定并输入至电子设备中的,进而可以得到该任务的第一子优先级。可以从历史信息库中获取任务的历史延迟频次,历史延迟频次为预设时长内的,本申请实施例不对预设时长进行限定;基于任务数据传输信息和历史延迟频次,确定任务对应的第二子优先级的过程可参照下述实施例。确定平均优先级的过程包括:基于优先级和数值的对应关系确定与第一子优先级对应的第一数值和第二子优先级对应的第二数值,并根据第一数值和第二数值确定平均数值,再根据数值和优先级的对应关系和平均数值,确定与平均数值对应的平均优先级,再将平均优先级确定为该任务对应的第一任务优先级。
在本申请实施例中,任务功能影响任务的执行,任务的执行影响算力资源的利用率,因而根据对应关系和任务功能确定第一子优先级,以有效提高了第一子优先级的精准度;获取任务的历史延迟频次,当该任务有着较高的历史延迟频次时,会对后续其他任务或紧急程度较高的任务的执行产生影响,而任务数据传输信息影响任务执行的速度,优先执行有着较高执行速度的任务时可以释放更多算力资源,提高算力资源利用率,因而从任务数据传输信息和历史延迟频次维度确定第二子优先级,以有效提高了第二子优先级确定的精准度;再根据第一子优先级和第二子优先级得到更准确的所有任务各自对应的第一任务优先级。
本申请实施例的一种可能的实现方式,任务数据传输信息至少包括:任务数据传输量,步骤S102基于任务数据传输信息和历史延迟频次,确定所有任务各自对应的第二子优先级,包括:
获取每一历史延迟频次对应的延迟时长,并基于延迟时长和历史延迟频次,确定与延迟时长对应的第三权重值;
基于任务数据传输量,确定任务数据传输量对应的第三子优先级;
基于历史延迟频次,确定历史延迟频次对应的第四子优先级;
获取任务数据传输量的第四权重值,并基于第三权重值、第三子优先级、第四权重值和第四子优先级,确定所有任务各自对应的第二子优先级。
具体地,可以从历史延迟信息库中获取每一历史延迟对应的延迟时长。根据延迟时长和历史延迟频次,确定延迟时长对应的第三权重值的过程包括:基于所有延迟时长和历史延迟频次,确定平均延迟时长;判断平均延迟时长是否大于预设延迟时长阈值,或,判断历史延迟频次是否大于预设历史延迟频次阈值,本申请实施例不对预设延迟时长阈值和预设历史延迟频次阈值进行限定;当平均延迟时长大于预设延迟时长阈值,或,历史延迟频次大于预设历史延迟频次阈值时,则对应的权重值为第一子权重值;否则,对应的权重值为第二子权重值,在本申请实施例中,第二子权重值高于第一子权重值,并将第一子权重或第二子权重值确定为第三权重值。可以根据任务数据传输量和第三子优先级的对应关系确定第三子优先级,以及,根据历史延迟频次和第四子优先级的对应关系确定第四子优先级。任务数据传输量的第四权重值为预先设定的。在本申请实施例中,第三权重值、第四权重值、第三子优先级和第四子优先级均为数值,可以通过计算公式、第三权重值、第三子优先级、第四权重值和第四子优先级计算得到第二子优先级,计算公式为:,其中,S表征第二子优先级对应的数值,/>表征第三权重值对应的数值,/>表征第三子优先级对应的数值,/>表征第四权重值对应的数值,/>表征第四子优先级对应的数值。
在本申请实施例中,获取历史延迟频次对应的延迟时长,并基于延迟时长和历史延迟频次确定第三权重值,当延迟时长和历史延迟频次越高时,表明该任务的执行效率越慢,对后续其他任务的影响越大,因而对应的第三权重值更小;根据任务数据传输量确定第三子优先级,以及,根据历史延迟频次确定第四子优先级,并获取第四权重值,根据第三权重值、第三子优先级、第四权重值和第四子优先级确定所有任务各自对应的第二子优先级,通过有针对性的进行计算,以有效提高了第二子优先级确定的精准度。
本申请实施例的一种可能的实现方式,步骤S102基于第一子优先级和第二子优先级确定平均优先级之后,还包括:
获取所有任务各自对应的网络带宽值;
基于网络带宽值和第一对应关系,确定网络带宽值对应的第五子优先级,第一对应关系为网络带宽值和优先级的对应关系;
基于第五子优先级对平均优先级进行修正,得到修正后的平均优先级;
相应的,将平均优先级确定为所有任务各自对应的第一任务优先级,包括:
将修正后的平均优先级确定为所有任务各自对应的第一任务优先级。
具体地,网络带宽值可以为用户输入至电子设备中的。第一对应关系为技术人员根据工作经验设定的,本申请实施例不对第一对应关系的具体内容进行限定。根据第五子优先级对平均优先级进行修正的过程包括:根据优先级和优先级数值的对应关系,将第五子优先级和平均优先级转换为各自对应的优先级数值,计算第五子优先级的优先级数值,并根据优先级数值和修正系数的对应关系确定与优先级数值对应的目标修正系数,基于目标修正系数和平均优先级的优先级数值,确定修正后的优先级数值,并将修正后的优先级数值转换为对应的优先级,以作为修正后的平均优先级,并将修正后的平均优先级确定为所有任务各自对应的优先级。
在本申请实施例中,网络带宽值影响着算力资源释放的速度,因而需要根据网络带宽值确定第五子优先级,并根据第五子优先级对平均优先级进行修正,以得到修正后的平均优先级,而从网络带宽值维度进行修正,以有效提高了修正的精准度,进而实现了任务优先级精准度的进一步提升。
本申请实施例的一种可能的实现方式,步骤S103获取需求算力资源量,包括:
获取所有任务各自对应的待存储量和运行环境;
基于待存储量和第二对应关系,确定待存储量对应的第一需求算力资源量,第二对应关系表征待存储量和需求算力资源量的对应关系;
基于运行环境和第三对应关系,确定运行环境对应的第二需求算力资源量,第三对应关系表征运行环境和需求算力资源量的对应关系;
基于第一需求算力资源量和第二需求算力资源量,确定所有任务各自对应的需求算力资源量。
具体地,待存储量为完成该任务后需要存储的数据量,待存储量和运行环境均为技术人员预先设定的。运行环境包括:特定运行环境和非特定运行环境,其中,特定运行环境表征在执行该任务时需要特定的软件框架或工具包,如,Tensor Flow、PyTorch等,非特定运行环境表征不需要特定的软件框架或工具包。第二对应关系和第三对应关系均为技术人员根据工作经验设定并输入至电子设备中的。在本申请实施例中,随着待存储量的增加,该任务对应的需求算力资源量也随之增加,以便更好进行存储;且当该任务的运行环境为特定运行环境时,对应的需求算力资源量也随之增加,本申请实施例不对第三对应关系和第二对应关系的具体内容进行限定。根据第一需求算力资源量和第二需求算力资源量确定需求算力资源量之和,再根据需求算力资源量之和确定平均需求算力资源量,并将平均需求算力资源量确定为所有任务各自对应的需求算力资源量。可以理解的是,平均值可以更准确的反映数值的整体趋势,因而以平均需求算力资源量作为任务的需求算力资源量,以有效提高了需求算力资源量的精准度。
在本申请实施例中,获取所有任务各自对应的待存储量和运行环境,不同的运行环境对算力资源的需求不同,而合适的需求算力资源量才能够实现算力资源利用率的提升,而通过存储需求确定算力资源可以保证算力资源具备足够的处理能力和存储空间,因而根据待存储量和第二对应关系可以得到准确的第一需求算力资源量,根据运行环境和第三对应关系可以得到准确的第二需求算力资源量,再根据准确的第一需求算力资源量和第二需求算力资源量确定为所有任务各自对应的需求量,以有效提高了需求算力资源量确定的精准度。
本申请实施例的一种可能的实现方式,算力资源调度方法,还包括:
实时获取所有任务各自对应的执行进度,并判断执行进度是否不小于预设执行进度阈值;
若是,则获取任务标识,并基于任务标识生成算力资源回收信号,算力资源回收信号用于回收提醒。
具体地,具体地,可以通过读取任务执行进度条实现执行进度的获取。预设执行进度阈值为技术人员设定的,在本申请实施例中优选地预设执行进度阈值为100%,即当完成该任务的执行时,则回收算力资源。任务标识可以为任务名称;本申请实施例不对回收算力资源的具体过程进行限定,用户可自行设置。
在本申请实施例中,获取任务执行进度,并判断执行进度是否不小于预设执行进度阈值,当执行进度不小于预设执行进度阈值时,表明该任务已完成执行,此时获取任务标识,并根据任务标识生成算力资源回收信号以便及时对该任务标识对应的算力资源进行回收,实现算力资源的释放,进一步提高算力资源的利用率。
上述实施例从方法流程的角度介绍一种算力资源调度方法,下述实施例从虚拟模块或者虚拟单元的角度介绍了一种算力资源调度装置,具体详见下述实施例。
本申请实施例提供一种算力资源调度装置,如图3所示,该算力资源调度装置具体可以包括:
第一获取模块201,用于获取预设时长内的所有任务各自对应的任务信息,任务信息包括:任务功能和任务数据传输信息;
第一任务优先级确定模块202,用于基于所有任务各自对应的任务性质确定所有任务各自对应的第一任务优先级;
第二获取模块203,用于获取所有任务各自对应的需求算力资源量、空闲算力资源量和待释放算力资源量;
第二任务优先级确定模块204,用于基于需求算力资源量、空闲算力资源量和待释放算力资源量,确定所有任务各自对应的第二任务优先级;
下一待执行任务确定模块205,用于基于所有任务各自对应的第一任务优先级和各自对应的第二任务优先级,确定下一待执行任务。
本申请实施例的一种可能的实现方式,下一待执行任务确定模块205在执行基于所有任务各自对应的第一任务优先级和各自对应的第二任务优先级,确定下一待执行任务时,具体用于:
获取与第一任务优先级对应的第一权重值和与第二任务优先级对应的第二权重值;
基于第一任务优先级、第一权重值、第二任务优先级和第二权重值,确定所有任务各自对应的推荐评分;
基于所有任务各自对应的推荐评分确定与最大推荐评分对应的目标任务,并将目标任务确定为下一待执行任务。
本申请实施例的一种可能的实现方式,第一任务优先级确定模块202在执行基于所有任务各自对应的任务信息确定所有任务各自对应的第一任务优先级时,具体用于:
基于预设的任务功能和优先级的对应关系和任务功能,确定与任务功能对应的第一子优先级;
获取所有任务各自对应的历史延迟频次,并基于任务数据传输信息和历史延迟频次,确定所有任务各自对应的第二子优先级;
基于第一子优先级和第二子优先级确定平均优先级,并将平均优先级确定为所有任务各自对应的第一任务优先级。
本申请实施例的一种可能的实现方式,任务数据传输信息至少包括:任务数据传输量,第一任务优先级确定模块202在执行基于任务数据传输信息和历史延迟频次,确定所有任务各自对应的第二子优先级时,具体用于:
获取每一历史延迟频次对应的延迟时长,并基于延迟时长和历史延迟频次,确定与延迟时长对应的第三权重值;
基于任务数据传输量,确定任务数据传输量对应的第三子优先级;
基于历史延迟频次,确定历史延迟频次对应的第四子优先级;
获取任务数据传输量的第四权重值,并基于第三权重值、第三子优先级、第四权重值和第四子优先级,确定所有任务各自对应的第二子优先级。
本申请实施例的一种可能的实现方式,算力资源调度装置,还包括:
修正模块,用于:
获取所有任务各自对应的网络带宽值;
基于网络带宽值和第一对应关系,确定网络带宽值对应的第五子优先级,第一对应关系为网络带宽值和优先级的对应关系;
基于第五子优先级对平均优先级进行修正,得到修正后的平均优先级;
相应的,第一任务优先级确定模块202在执行将平均优先级确定为所有任务各自对应的第一任务优先级,包括:
将修正后的平均优先级确定为所有任务各自对应的第一任务优先级。
本申请实施例的一种可能的实现方式,第二获取模块203在执行获取需求算力资源量时,用于:
获取所有任务各自对应的待存储量和运行环境;
基于待存储量和第二对应关系,确定待存储量对应的第一需求算力资源量,第二对应关系表征待存储量和需求算力资源量的对应关系;
基于运行环境和第三对应关系,确定运行环境对应的第二需求算力资源量,第三对应关系表征运行环境和需求算力资源量的对应关系;
基于第一需求算力资源量和第二需求算力资源量,确定所有任务各自对应的需求算力资源量。
本申请实施例的一种可能的实现方式,算力资源调度装置,还包括:
回收提醒模块,用于:
实时获取所有任务各自对应的执行进度,并判断执行进度是否不小于预设执行进度阈值;
若是,则获取任务标识,并基于任务标识生成算力资源回收信号,算力资源回收信号用于回收提醒。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的一种算力资源调度装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
本申请实施例中提供了一种电子设备,如图4所示,图4所示的电子设备包括:处理器301和存储器303。其中,处理器301和存储器303相连,如通过总线302相连。可选地,电子设备还可以包括收发器304。需要说明的是,实际应用中收发器304不限于一个,该电子设备的结构并不构成对本申请实施例的限定。
处理器301可以是CPU(Central Processing Unit,中央处理器),通用处理器,DSP(Digital Signal Processor,数据信号处理器),ASIC(Application SpecificIntegrated Circuit,专用集成电路),FPGA(Field Programmable Gate Array,现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。处理器301也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,DSP和微处理器的组合等。
总线302可包括一通路,在上述组件之间传送信息。总线302可以是PCI(Peripheral Component Interconnect,外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture,扩展工业标准结构)总线等。总线302可以分为地址总线、数据总线、控制总线等。为便于表示,图4中仅用一条粗线表示,但并不表示仅有一根总线或一型的总线。
存储器303可以是ROM(Read Only Memory,只读存储器)或可存储静态信息和指令的其他类型的静态存储设备,RAM(Random Access Memory,随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备,也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory,电可擦可编程只读存储器)、CD-ROM(Compact DiscRead Only Memory,只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。
存储器303用于存储执行本申请方案的应用程序代码,并由处理器301来控制执行。处理器301用于执行存储器303中存储的应用程序代码,以实现前述方法实施例所示的内容。
其中,电子设备包括但不限于:移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。还可以为服务器等。图4示出的电子设备仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
本申请实施例提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,当其在计算机上运行时,使得计算机可以执行前述方法实施例中相应内容。
应该理解的是,虽然附图的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述仅是本申请的部分实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。
Claims (10)
1.一种算力资源调度方法,其特征在于,由电子设备执行,包括:
获取预设时长内的所有任务各自对应的任务信息,所述任务信息包括:任务功能和任务数据传输信息;
基于所述所有任务各自对应的所述任务信息确定所述所有任务各自对应的第一任务优先级;
获取所述所有任务各自对应的需求算力资源量、空闲算力资源量和待释放算力资源量;
基于所述需求算力资源量、所述空闲算力资源量和待释放算力资源量,确定所述所有任务各自对应的第二任务优先级;
基于所述所有任务各自对应的所述第一任务优先级和各自对应的所述第二任务优先级,确定下一待执行任务。
2.根据权利要求1所述的算力资源调度方法,其特征在于,所述基于所述所有任务各自对应的所述第一任务优先级和各自对应的所述第二任务优先级,确定下一待执行任务,包括:
获取与所述第一任务优先级对应的第一权重值和与所述第二任务优先级对应的第二权重值;
基于所述第一任务优先级、所述第一权重值、所述第二任务优先级和所述第二权重值,确定所述所有任务各自对应的推荐评分;
基于所述所有任务各自对应的推荐评分确定与最大推荐评分对应的目标任务,并将所述目标任务确定为所述下一待执行任务。
3.根据权利要求1所述的算力资源调度方法,其特征在于,所述基于所述所有任务各自对应的所述任务信息确定所述所有任务各自对应的第一任务优先级,包括:
基于预设的任务功能和优先级的对应关系和所述任务功能,确定与所述任务功能对应的第一子优先级;
获取所述所有任务各自对应的历史延迟频次,并基于所述任务数据传输信息和所述历史延迟频次,确定所述所有任务各自对应的第二子优先级;
基于所述第一子优先级和所述第二子优先级确定平均优先级,并将所述平均优先级确定为所述所有任务各自对应的第一任务优先级。
4.根据权利要求3所述的算力资源调度方法,其特征在于,所述任务数据传输信息至少包括:任务数据传输量,所述基于所述任务数据传输信息和所述历史延迟频次,确定所述所有任务各自对应的第二子优先级,包括:
获取每一历史延迟频次对应的延迟时长,并基于所述延迟时长和所述历史延迟频次,确定与所述延迟时长对应的第三权重值;
基于所述任务数据传输量,确定所述任务数据传输量对应的第三子优先级;
基于所述历史延迟频次,确定所述历史延迟频次对应的第四子优先级;
获取所述任务数据传输量的第四权重值,并基于所述第三权重值、所述第三子优先级、所述第四权重值和所述第四子优先级,确定所述所有任务各自对应的第二子优先级。
5.根据权利要求3所述的算力资源调度方法,其特征在于,所述基于所述第一子优先级和所述第二子优先级确定平均优先级之后,还包括:
获取所述所有任务各自对应的网络带宽值;
基于所述网络带宽值和第一对应关系,确定所述网络带宽值对应的第五子优先级,所述第一对应关系为所述网络带宽值和优先级的对应关系;
基于所述第五子优先级对所述平均优先级进行修正,得到修正后的平均优先级;
相应的,所述将所述平均优先级确定为所述所有任务各自对应的第一任务优先级,包括:
将所述修正后的平均优先级确定为所述所有任务各自对应的第一任务优先级。
6.根据权利要求1所述的算力资源调度方法,其特征在于,所述获取需求算力资源量,包括:
获取所述所有任务各自对应的待存储量和运行环境;
基于所述待存储量和第二对应关系,确定所述待存储量对应的第一需求算力资源量,所述第二对应关系表征所述待存储量和所述需求算力资源量的对应关系;
基于所述运行环境和第三对应关系,确定所述运行环境对应的第二需求算力资源量,所述第三对应关系表征所述运行环境和所述需求算力资源量的对应关系;
基于所述第一需求算力资源量和所述第二需求算力资源量,确定所述所有任务各自对应的需求算力资源量。
7.根据权利要求1所述的算力资源调度方法,其特征在于,所述算力资源调度方法,还包括:
实时获取所述所有任务各自对应的执行进度,并判断所述执行进度是否不小于预设执行进度阈值;
若是,则获取任务标识,并基于所述任务标识生成算力资源回收信号,所述算力资源回收信号用于回收提醒。
8.一种算力资源调度装置,其特征在于,包括:
第一获取模块,用于获取预设时长内的所有任务各自对应的任务信息,所述任务信息包括:任务功能和任务数据传输信息;
第一任务优先级确定模块,用于基于所有任务各自对应的任务信息确定所有任务各自对应的第一任务优先级;
第二获取模块,用于获取所有任务各自对应的需求算力资源量、空闲算力资源量和待释放算力资源量;
第二任务优先级确定模块,用于基于所述需求算力资源量、所述空闲算力资源量和待释放算力资源量,确定所有任务各自对应的第二任务优先级;
下一待执行任务确定模块,用于基于所有任务各自对应的所述第一任务优先级和各自对应的所述第二任务优先级,确定下一待执行任务。
9.一种电子设备,其特征在于,包括:
至少一个处理器;
存储器;
至少一个应用程序,其中至少一个应用程序被存储在存储器中并被配置为由至少一个处理器执行,所述至少一个应用程序配置用于:执行权利要求1~7任一项所述的算力资源调度方法。
10.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,当所述计算机程序在计算机中执行时,令所述计算机执行权利要求1~7任一项所述的算力资源调度方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410211030.0A CN117785487B (zh) | 2024-02-27 | 2024-02-27 | 一种算力资源调度方法、装置、设备和介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410211030.0A CN117785487B (zh) | 2024-02-27 | 2024-02-27 | 一种算力资源调度方法、装置、设备和介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117785487A true CN117785487A (zh) | 2024-03-29 |
CN117785487B CN117785487B (zh) | 2024-05-24 |
Family
ID=90380063
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410211030.0A Active CN117785487B (zh) | 2024-02-27 | 2024-02-27 | 一种算力资源调度方法、装置、设备和介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117785487B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003067205A (ja) * | 2001-08-29 | 2003-03-07 | Fujitsu Ltd | 共用資源制御方法、制御プログラム及びその装置 |
CN107992359A (zh) * | 2017-11-27 | 2018-05-04 | 江苏海平面数据科技有限公司 | 一种云环境下代价感知的任务调度算法 |
CN112667376A (zh) * | 2020-12-23 | 2021-04-16 | 数字广东网络建设有限公司 | 任务调度处理方法、装置、计算机设备及存储介质 |
WO2022252456A1 (zh) * | 2021-06-01 | 2022-12-08 | 苏州浪潮智能科技有限公司 | 一种任务调度方法、装置、电子设备及可读存储介质 |
CN115454602A (zh) * | 2022-09-15 | 2022-12-09 | 北京火山引擎科技有限公司 | 一种任务调度方法、装置及设备 |
CN117056064A (zh) * | 2022-05-07 | 2023-11-14 | 腾讯科技(深圳)有限公司 | 资源分配方法、装置、服务器、存储介质和程序产品 |
CN117271096A (zh) * | 2023-10-13 | 2023-12-22 | 北京集度科技有限公司 | 调度方法、电子设备和计算机可读存储介质 |
-
2024
- 2024-02-27 CN CN202410211030.0A patent/CN117785487B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003067205A (ja) * | 2001-08-29 | 2003-03-07 | Fujitsu Ltd | 共用資源制御方法、制御プログラム及びその装置 |
CN107992359A (zh) * | 2017-11-27 | 2018-05-04 | 江苏海平面数据科技有限公司 | 一种云环境下代价感知的任务调度算法 |
CN112667376A (zh) * | 2020-12-23 | 2021-04-16 | 数字广东网络建设有限公司 | 任务调度处理方法、装置、计算机设备及存储介质 |
WO2022252456A1 (zh) * | 2021-06-01 | 2022-12-08 | 苏州浪潮智能科技有限公司 | 一种任务调度方法、装置、电子设备及可读存储介质 |
CN117056064A (zh) * | 2022-05-07 | 2023-11-14 | 腾讯科技(深圳)有限公司 | 资源分配方法、装置、服务器、存储介质和程序产品 |
CN115454602A (zh) * | 2022-09-15 | 2022-12-09 | 北京火山引擎科技有限公司 | 一种任务调度方法、装置及设备 |
CN117271096A (zh) * | 2023-10-13 | 2023-12-22 | 北京集度科技有限公司 | 调度方法、电子设备和计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN117785487B (zh) | 2024-05-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8667089B2 (en) | Apparatus and method for executing an application | |
CN109981744B (zh) | 数据的分发方法、装置、存储介质及电子设备 | |
US9471383B2 (en) | Task allocation in a computing environment | |
CN112087487A (zh) | 模型训练任务的调度方法、装置、电子设备及存储介质 | |
CN114237852A (zh) | 一种任务调度方法、装置、服务器及存储介质 | |
CN110796591A (zh) | 一种gpu卡的使用方法及相关设备 | |
CN114327894A (zh) | 资源分配方法、装置、电子设备及存储介质 | |
CN111359205B (zh) | 云端游戏的操作方法、装置、计算机设备及存储介质 | |
CN117785487B (zh) | 一种算力资源调度方法、装置、设备和介质 | |
CN116089175B (zh) | 数据中心容灾方法、装置、设备及存储介质 | |
CN110096352B (zh) | 进程管理方法、装置及计算机可读存储介质 | |
CN116594568A (zh) | 一种数据存储方法、装置、电子设备及存储介质 | |
CN114253688A (zh) | 在云环境下应用负载重调度的方法及应用 | |
CN112182107B (zh) | 名单数据获取方法、装置、计算机设备及存储介质 | |
CN114741165A (zh) | 数据处理平台的处理方法、计算机设备及存储装置 | |
CN116881016B (zh) | 服务器进程的处理方法及装置、存储介质及电子设备 | |
CN117640541B (zh) | 一种云服务器资源分配方法、装置、设备和介质 | |
CN116755866B (zh) | 一种资源调度方法、装置、电子设备及可读存储介质 | |
CN117785486A (zh) | 环境资源调配方法、装置、设备和介质 | |
CN112114972B (zh) | 数据倾斜的预测方法及装置 | |
CN117707797B (zh) | 基于分布式云平台的任务调度方法、装置及相关设备 | |
CN115934357A (zh) | 一种物联网数据处理方法、装置、电子设备及存储介质 | |
CN118012589A (zh) | 工作流调度方法、装置、电子设备及存储介质 | |
CN114253813A (zh) | 算力优化的方法、装置、电子设备及存储介质 | |
CN116225685A (zh) | 一种调度物理核心的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |