CN111343275B - 资源调度方法和系统 - Google Patents

资源调度方法和系统 Download PDF

Info

Publication number
CN111343275B
CN111343275B CN202010136813.9A CN202010136813A CN111343275B CN 111343275 B CN111343275 B CN 111343275B CN 202010136813 A CN202010136813 A CN 202010136813A CN 111343275 B CN111343275 B CN 111343275B
Authority
CN
China
Prior art keywords
scheduling
task
resource
resources
load
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010136813.9A
Other languages
English (en)
Other versions
CN111343275A (zh
Inventor
曹敏隆
王世明
韩立伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN202010136813.9A priority Critical patent/CN111343275B/zh
Publication of CN111343275A publication Critical patent/CN111343275A/zh
Application granted granted Critical
Publication of CN111343275B publication Critical patent/CN111343275B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/60Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H04L67/61Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources taking into account QoS or priority requirements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/60Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H04L67/62Establishing a time schedule for servicing the requests
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/60Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H04L67/63Routing a service request depending on the request content or context

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

一种资源调度方法和系统,该资源调度方法包括:获取调度任务的配置信息以及用于标识所述配置信息的标识参数;根据所述标识参数,统计调度服务器在预设时间段内的任务执行信息;根据所述任务执行信息和所述配置信息,确定执行所述调度任务的调度资源的负载信息;根据所述调度资源的负载信息,对所述调度资源进行调度控制。本申请实施例根据调度服务器在预设时间段内的任务执行信息和调度任务的配置信息来确定调度任务对应的调度资源的负载信息,根据调度资源的负载信息来对调度资源进行调度控制,保证调度资源的使用不过载,不浪费,提高调度资源的利用率,使得调度资源的分配利用更加有效,更加合理。

Description

资源调度方法和系统
技术领域
本申请涉及计算机技术领域,尤其涉及一种资源调度方法和系统。
背景技术
随着互联网的发展,在人们日常生活中逐渐普及,为企业带来了更多便利,在企业中涉及到一些昂贵的资源管理(例如,AI使用的服务器),由于这些资源每次提供的使用次数是有限的,如果不能很好的利用有限的资源,若使服务器空闲则会造成资源浪费,若超负荷的使用资源,则会造成线上调度服务的不稳定,造成调度服务的故障。
相关技术的资源调度方式,通常是采用定时调度或者限流调度,上述资源调度方案无法有效、合理的分配利用资源,资源的利用率较低。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
为了解决上述定时调度或者限流调度方式无法有效、合理的分配利用资源,资源的利用率较低的技术问题,本申请实施例提供了一种资源调度方法和系统。
第一方面,本申请实施例提供了一种资源调度方法,所述方法包括以下步骤:
获取调度任务的配置信息以及用于标识所述配置信息的标识参数;
根据所述标识参数,统计调度服务器在预设时间段内的任务执行信息;
根据所述任务执行信息和所述配置信息,确定执行所述调度任务的调度资源的负载信息;
根据所述调度资源的负载信息,对所述调度资源进行调度控制。
结合第一方面,在第一方面第一种可能的实施方式中,所述任务执行信息包括任务时长,所述根据所述任务执行信息和所述配置信息,确定执行所述调度任务的调度资源的负载信息,包括:
基于所述配置信息,获取预先设置的所述调度任务的任务时长阈值;
当所述任务时长超过所述任务时长阈值时,确定执行所述调度任务的调度资源的负载超负荷,所述调度资源处于任务积压状态;
当所述任务时长未超过所述任务时长阈值时,确定执行所述调度任务的调度资源的负载空闲,所述调度资源处于任务空闲状态。
结合第一方面,在第一方面第二种可能的实施方式中,所述根据所述调度资源的负载信息,对所述调度资源进行调度控制,包括:
当所述调度资源的负载超负荷时,降低所述调度资源的调度频率,直至所述调度资源的负载正常;
当所述调度资源的负载空闲时,提高所述调度资源的调度频率,直至所述调度资源的负载正常。
结合第一方面,在第一方面第三种可能的实施方式中,所述方法还包括:
根据所述标识参数,确定所述调度任务的优先级;
根据立牌桶算法,计算不同优先级的所述调度任务的调度资源的调度频率;
基于所述调度频率,确定不同优先级的所述调度任务的调度资源的任务调度状态;
当高优先级的所述调度任务的调度资源的任务调度状态为任务积压状态时,按照预设策略分配低优先级的所述调度任务的调度资源。
结合第一方面,在第一方面第四种可能的实施方式中,所述方法还包括:
根据所述调度任务的配置信息的标识参数,确定与所述调度任务相对应的线程池;
通过所述线程池,执行所述调度任务。
第二方面,本申请实施例提供了一种资源调度系统,所述系统包括:
获取单元,用于获取调度任务的配置信息以及用于标识所述配置信息的标识参数;
统计单元,用于根据所述标识参数,统计调度服务器在预设时间段内的任务执行信息;
确定单元,用于根据所述任务执行信息和所述配置信息,确定执行所述调度任务的调度资源的负载信息;
调度单元,用于根据所述调度资源的负载信息,对所述调度资源进行调度控制。
结合第二方面,在第二方面第一种可能的实施方式中,所述任务执行信息包括任务时长,所述确定单元包括:
阈值获取子单元,用于基于所述配置信息,获取预先设置的所述调度任务的任务时长阈值;
负载超负荷确定子单元,用于当所述任务时长超过所述任务时长阈值时,确定执行所述调度任务的调度资源的负载超负荷,所述调度资源处于任务积压状态;
负载空闲确定子单元,用于当所述任务时长未超过所述任务时长阈值时,确定执行所述调度任务的调度资源的负载空闲,所述调度资源处于任务空闲状态。
结合第二方面,在第二方面第二种可能的实施方式中,所述调度单元包括:
调度频率降低子单元,用于当所述调度资源的负载超负荷时,降低所述调度资源的调度频率,直至所述调度资源的负载正常;
调度频率提高子单元,用于当所述调度资源的负载空闲时,提高所述调度资源的调度频率,直至所述调度资源的负载正常。
结合第二方面,在第二方面第三种可能的实施方式中,所述系统还包括:
优先级确定单元,用于根据所述标识参数,确定所述调度任务的优先级;
调度频率计算单元,用于根据立牌桶算法,计算不同优先级的所述调度任务的调度资源的调度频率;
任务调度状态确定单元,用于基于所述调度频率,确定不同优先级的所述调度任务的调度资源的任务调度状态;
调度资源分配单元,用于当高优先级的所述调度任务的调度资源的任务调度状态为任务积压状态时,按照预设策略分配低优先级的所述调度任务的调度资源。
结合第二方面,在第二方面第四种可能的实施方式中,所述系统还包括:
线程池确定单元,用于根据所述调度任务的配置信息的标识参数,确定与所述调度任务相对应的线程池;
执行单元,用于通过所述线程池,执行所述调度任务。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点:
本申请实施例提供的一种资源调度方法和系统,该资源调度方法通过获取调度任务的配置信息以及用于标识所述配置信息的标识参数;根据所述标识参数,统计调度服务器在预设时间段内的任务执行信息;根据所述任务执行信息和所述配置信息,确定执行所述调度任务的调度资源的负载信息;根据所述调度资源的负载信息,对所述调度资源进行调度控制。本申请实施例根据调度服务器在预设时间段内的任务执行信息和调度任务的配置信息来确定调度任务对应的调度资源的负载信息,根据调度资源的负载信息来对调度资源进行调度控制,保证调度资源的使用不过载,不浪费,提高调度资源的利用率,使得调度资源的分配利用更加有效,更加合理。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种资源调度方法的流程示意图;
图2为本申请实施例可应用的一种实施场景的示意图;
图3为本申请实施例提供的另一种资源调度方法的流程示意图;
图4为本申请实施例提供的另一种资源调度方法的流程示意图;
图5为本申请实施例提供的一种资源调度系统的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
图1为本申请实施例提供的一种资源调度方法,所述方法包括以下步骤:
S101、获取调度任务的配置信息以及用于标识所述配置信息的标识参数。
可选的,如图2所示,本申请实施例的客户端可以为多个资源使用方,例如,资源使用方A、资源使用方B和资源使用方C,上述资源使用方向调度服务器发送资源调度请求,调度服务器返回该客户端对应的调度IP地址。
在创建好调度任务时,通过优先级生成模块来生成各个调度任务的优先级并保存,按照优先级顺序获取调度任务并发送到调度模块。
可选的,不同调度任务的配置信息中对应设置有不同的任务时长阈值,调度任务(TASK)的配置信息(记为TASK_TYPE)包括资源使用方的信息,资源使用方的回调地址,资源提供方的地址,资源提供方的调度频率,对资源的调度频率进行调度控制的配置,通过调度管理模块将获取到的配置信息发送给调度模块。配置信息是整个调度的基础,定义了配置信息,我们就能明确资源使用方对资源提供方的一些使用需求。
可选的,每一个配置信息都有一个标识参数(记为 TASK_TYPE_CODE),由标识参数TASK_TYPE_CODE标识该配置信息的唯一性。
可选的,当资源使用方请求调度服务,并携带标识参数 TASK_TYPE_CODE时,调度服务则根据资源使用方传入的标识参数来计算资源调度请求的优先级(也就是调度任务的优先级),并将资源使用方传入的标识参数TASK_TYPE_CODE存到与参数TASK_TYPE_CODE对应的 TASK表中缓冲起来,等待调度服务器的调度。
S102、根据所述标识参数,统计调度服务器在预设时间段内的任务执行信息。
可选的,任务执行信息包括但不限于调度任务的任务时长、调度频率、调度分发率、执行成功率和回调率等。预设时间段包括但不限于五分钟。
可选的,如图2所示,通过任务执行统计模块来统计任务执行信息,根据统计的信息来动态调整调度资源的调度频率,通过调度模块来执行调度资源的调度控制。
S103、根据所述任务执行信息和所述配置信息,确定执行所述调度任务的调度资源的负载信息。
可选的,在所述根据所述任务执行信息和所述配置信息,确定执行所述调度任务的调度资源的负载信息之前,所述方法还包括:
基于所述配置信息,获取预先设置的所述调度任务的预设调度频率;
将所述预设调度频率和所述历史调度频率进行比较;
根据比较结果,当所述历史调度频率超过所述预设调度频率,且所述历史调度任务的调度分发率、执行成功率和回调率大于设定的第一阈值时;
或者,当所述历史调度频率未超过所述预设调度频率,且所述历史调度任务的调度分发量、执行成功量和回调量大于设定的第二阈值时,执行所述根据所述任务执行信息和所述配置信息,确定执行所述调度任务的调度资源的负载信息。例如,任务执行信息包括任务时长(即任务耗时),若任务时长超过了预先设置的任务时长阈值,则可以确定执行调度任务的耗时较长,产生了调度任务积压的情况,说明此时调度任务的调度资源的负载为超负荷的状态;反之,若任务时长未超过预先设置的任务时长阈值,则可以确定执行调度任务的耗时较短,不存在调度任务积压的情况,说明此时调度任务的调度资源的负载为空闲状态。
例如,任务时长阈值可以设置为5秒钟,当某一调度任务的任务时长为8秒钟时,即确定该调度任务的任务时长超过了任务时长阈值,说明此时该调度任务的调度资源的负载为超负荷的状态;又如,当某一调度任务的任务时长为3秒钟时,即确定该调度任务的任务时长未超过任务时长阈值,说明此时该调度任务的调度资源的负载为空闲状态。
可选的,历史调度频率包括上一个调度周期的实际调度频率,历史调度任务包括上一个周期的调度任务。
S104、根据所述调度资源的负载信息,对所述调度资源进行调度控制。
在本申请另一实施例中,所述方法还包括:
根据所述调度任务的配置信息的标识参数,确定与所述调度任务相对应的线程池;
通过所述线程池,执行所述调度任务。
如图2所示,本申请实施例通过执行器模块来执行调度任务,即通过执行器模块来调用资源使用方,使资源使用方可以正式调用资源提供方,资源提供方回调执行结果,在执行器模块接收到执行通知并完成执行后,通知资源使用方(资源使用方A、资源使用方B、资源使用方C)完成调度,然后通过资源使用方调用资源提供方,返回资源提供方的ID,然后,回调执行结果,至此真正执行成功。
本申请实施例考虑到最终的执行不稳定,依赖外部服务的稳定性情况,因此抽离出执行器模块,将执行放在执行器模块中,其中,执行器模块具有单独的线程池,并且不同的调度任务的线程池不同,因此可以起到将执行的不稳定性隔离开来的目的,以此来提高执行的稳定性。
在执行完成后,调度服务器需要的就是资源使用方,将调度任务的执行情况反馈给调度服务器,调度服务器根据得到的执行情况的信息后最终影响流控策略(即限速器的使用策略,后面将进行具体描述,在此不再赘述)。
调度服务器包括调度管理器,每个调度服务器会注册到 SCHEDULER_MACHINE(进程表)中。不同的调度服务器会负责不同的调度任务的调度,调度管理器负责平衡调度服务器和调度任务之间的关系,调度管理器会监听SCHEDULER_MACHINE(进程表)和调度任务的注册消息,将调度任务均匀地分散给调度服务器进行处理,以达到负载均衡的目的。
本申请实施例根据调度服务器在预设时间段内的任务执行信息和调度任务的配置信息来确定调度任务对应的调度资源的负载信息,根据调度资源的负载信息来对调度资源进行调度控制,保证调度资源的使用不过载,不浪费,提高调度资源的利用率,使得调度资源的分配利用更加有效,更加合理。
需要说明的是,虽然图1对资源调度的相关方案进行了描述,但本领域的技术人员应当理解,还可通过继续根据其它相关的信息进行资源调度。
为了便于理解本申请实施例,下面通过具体的实施例来进行描述。
可选地,在图1所示实施例的基础上,本申请实施例还提供了另一种资源调度方法,当任务执行信息为任务时长时,如图3所示,所述方法包括以下步骤:
S301、获取调度任务的配置信息以及用于标识所述配置信息的标识参数。
S302、根据所述标识参数,统计调度服务器在预设时间段内的任务时长。
例如,预设时间段可设置为5分钟,还可以根据统计需求为预设时间段设置其它值,本申请实施例对此不做限制。
S303、基于所述配置信息,获取预先设置的所述调度任务的任务时长阈值。
不同调度任务的配置信息中对应设置有不同的任务时长阈值,例如,任务时长阈值可以设置为5秒钟等,本申请实施例对此不做限制。
S304、判断任务时长是否超过任务时长阈值,若所述任务时长超过所述任务时长阈值,执行步骤S305;若任务时长未超过所述任务时长阈值,执行步骤S307。
S305、确定执行所述调度任务的调度资源的负载超负荷,所述调度资源处于任务积压状态。
S306、降低所述调度资源的调度频率,直至所述调度资源的负载正常。
S307、确定执行所述调度任务的调度资源的负载空闲,所述调度资源处于任务空闲状态。
S308、提高所述调度资源的调度频率,直至所述调度资源的负载正常。
例如,任务时长阈值为3s,当调度任务的任务时长为10s时,确定执行所述调度任务的调度资源的负载超负荷;当调度任务的任务时长为2s时,确定执行所述调度任务的调度资源的负载空闲。本领域技术人员应当知晓,虽然本实施例对任务时长阈值和任务时长的取值进行了举例,上述任务时长阈值和任务时长还可以继续采用其它值来确定执行调度任务的调度资源的负载信息,本申请实施例对此不做限定。
可选地,在图3所示实施例的基础上,本申请实施例还提供了另一种资源调度方法,如图4所示,所述方法包括以下步骤:
S401、获取调度任务的配置信息以及用于标识所述配置信息的标识参数。
S402、根据所述标识参数,统计调度服务器在预设时间段内的任务时长。
S403、基于所述配置信息,获取预先设置的所述调度任务的任务时长阈值。
S404、判断任务时长是否超过任务时长阈值,若所述任务时长超过所述任务时长阈值,执行步骤S405;若任务时长未超过所述任务时长阈值,执行步骤S407。
S405、确定执行所述调度任务的调度资源的负载超负荷,所述调度资源处于任务积压状态。
S406、降低所述调度资源的调度频率,直至所述调度资源的负载正常,执行步骤S409。
S407、确定执行所述调度任务的调度资源的负载空闲,所述调度资源处于任务空闲状态。
S408、提高所述调度资源的调度频率,直至所述调度资源的负载正常,执行步骤S409。
S409、根据所述标识参数,确定所述调度任务的优先级。
可选的,在调度服务器获知负责哪些调度业务的调度后,则将调度业务从缓冲的对应的TASK表中按优先级顺序放入不同的队列中,不同的队列会分配不同的限速器,不同的队列的调度频率不同。
调度任务的优先级包括但不限于紧急、高、中、低优先级。
S410、根据立牌桶算法,计算不同优先级的所述调度任务的调度资源的调度频率。
S411、基于所述调度频率,确定不同优先级的所述调度任务的调度资源的任务调度状态。
S412、判断高优先级的调度任务的调度资源的任务调度状态是否为任务积压状态,如果是(当高优先级的所述调度任务的调度资源的任务调度状态为任务积压状态时),执行步骤S413;如果否(当高优先级的所述待调度任务的调度资源为任务空闲状态时),执行步骤S414。
S413、按照预设策略分配低优先级的所述调度任务的调度资源,执行步骤S414。
可选的,预设策略包括:当高优先级的所述调度任务的调度资源为任务积压状态时,将低优先级的所述调度任务的调度资源分配给高优先级的所述调度任务。
在分配调度资源时,可以部分分配给高优先级的所述调度任务,也可以全部分配给高优先级的所述调度任务,本申请实施例对此不做限定。
S414、按照优先级由高到低的顺序执行调度任务。
可选的,不同队列的调度频率的不同主要体现在不同优先级的调度任务的资源的调度频率不同,限速器是根据令牌桶算法(token bucket)实现的,限速器的速率的计算如下:
限速器的初始速率是由调度任务的配置信息中的调度资源的调度频率的配置所决定的,例如,调度资源的调度频率的配置为:
{"controlTotal":10000,"high":40,"low":10,"medium":30,"urgent":20,"maxAvgDealTime":90000}。
则由上可知,高优先级队列的调度频率为controlTotal/86400*0.4=0.46,计算出来调度频率之后,调度服务器器就按照计算好的调度频率来进行调度。
可选的,在新建调度任务时,调度任务的任务时长,调度任务的执行结果,资源使用方的回调时间以及回调结果都记录在内存中。根据这些数据,我们能得知不同优先级(紧急、高、中、低优先级)的调度任务的积压量,调度任务的调用耗时,调用成功率,调用频次,调度任务的总耗时,调度任务的执行成功率,调度任务的执行/回调比例等数据。
由于知道调度任务的执行成功率,调度任务的总耗时,调度任务的执行/回调比例,我们很清楚调度资源的负载信息以及调度资源是否处于一个正常的状态,以决定是否要调整调度资源的调度频率。
例如,在调度资源的负载超负荷时,降低调度资源的调度频率,初次将调度资源的调度频率降低1/2,然后降低1/4,直到降低至1/16的试探流量。当试探流量同理根据以上指标计算出调度资源的负载状态正常后,则逐渐开始增加调度资源的调度频率,其中,增加调度资源的调度频率的过程与降低调度资源的调度频率的过程相比则是一个相反的过程,以此达到自适应调度资源,负载均衡的目的,保证调度过程的稳定性,减少由于调度资源的负载超负荷等情况造成的调度过程中的故障。
同时,将调节调度资源的调度频率的过程的信息同步给资源提供方,使资源提供方可以根据同步的信息发出报警,用于提示用户。
可选的,由于知道各个优先级的调度任务的积压量(根据调度任务的任务耗时可以得到积压量),可以很容易知道哪些优先级的调度任务是有积压的情况,将各个优先级的调度任务的调度资源的当前调用频率,与初始化的调用频率进行比较,可以知道哪些优先级的调度任务的调度资源存在富余资源,将这些富余资源分配给高优先级的调度任务使用,优先执行高优先级的调度任务,以达到调度资源合理利用的目的,避免调度资源浪费。
本申请实施例的调度资源包括但不限于AI资源,通过极大的提高调度资源的利用率,为企业节省成本。
本申请实施例,评估运行过程中各个调度任务的优先级顺序和资源提供方的资源的负载情况,根据优先级顺序和负载情况来动态调整调度资源,保证高优先级的业务得到充足的资源,使资源从业务的角度来讲,能得到更好的利用,提高资源的利用率。
如图5所示,本申请实施例还提供了一种资源调度系统,所述系统包括:
获取单元51,用于获取调度任务的配置信息以及用于标识所述配置信息的标识参数;
统计单元52,用于根据所述标识参数,统计调度服务器在预设时间段内的任务执行信息;
确定单元53,用于根据所述任务执行信息和所述配置信息,确定执行所述调度任务的调度资源的负载信息;
调度单元54,用于根据所述调度资源的负载信息,对所述调度资源进行调度控制。
在本申请另一实施例中,所述任务执行信息包括任务时长,所述确定单元53包括:
阈值获取子单元(图中未示出),用于基于所述配置信息,获取预先设置的所述调度任务的任务时长阈值;
负载超负荷确定子单元(图中未示出),用于当所述任务时长超过所述任务时长阈值时,确定执行所述调度任务的调度资源的负载超负荷,所述调度资源处于任务积压状态;
负载空闲确定子单元(图中未示出),用于当所述任务时长未超过所述任务时长阈值时,确定执行所述调度任务的调度资源的负载空闲,所述调度资源处于任务空闲状态。
在本申请另一实施例中,所述调度单元54包括:
调度频率降低子单元(图中未示出),用于当所述调度资源的负载超负荷时,降低所述调度资源的调度频率,直至所述调度资源的负载正常;
调度频率提高子单元(图中未示出),用于当所述调度资源的负载空闲时,提高所述调度资源的调度频率,直至所述调度资源的负载正常。
在本申请另一实施例中,所述系统还包括:
优先级确定单元(图中未示出),用于根据所述标识参数,确定所述调度任务的优先级;
调度频率计算单元(图中未示出),用于根据立牌桶算法,计算不同优先级的所述调度任务的调度资源的调度频率;
任务调度状态确定单元(图中未示出),用于基于所述调度频率,确定不同优先级的所述调度任务的调度资源的任务调度状态;
调度资源分配单元(图中未示出),用于当高优先级的所述调度任务的调度资源的任务调度状态为任务积压状态时,按照预设策略分配低优先级的所述调度任务的调度资源。
在本申请另一实施例中,所述系统还包括:
线程池确定单元(图中未示出),用于根据所述调度任务的配置信息的标识参数,确定与所述调度任务相对应的线程池;
执行单元(图中未示出),用于通过所述线程池,执行所述调度任务。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式,使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (6)

1.一种资源调度方法,其特征在于,所述方法包括以下步骤:
获取调度任务的配置信息以及用于标识所述配置信息的标识参数,其中,不同所述调度任务的配置信息中对应有预先设置的不同的任务时长阈值;
根据所述标识参数,统计调度服务器在预设时间段内的任务执行信息,所述任务执行信息包括任务时长;
根据所述任务执行信息和所述配置信息,确定执行所述调度任务的调度资源的负载信息,包括:
基于所述配置信息,获取预先设置的所述调度任务的任务时长阈值;
当所述任务时长超过所述任务时长阈值时,确定执行所述调度任务的调度资源的负载超负荷,所述调度资源处于任务积压状态;
当所述任务时长未超过所述任务时长阈值时,确定执行所述调度任务的调度资源的负载空闲,所述调度资源处于任务空闲状态;
根据所述调度资源的负载信息,对所述调度资源的调度频率进行调度控制,包括:
当所述调度资源的负载超负荷时,降低所述调度资源的调度频率,直至所述调度资源的负载正常;
当所述调度资源的负载空闲时,提高所述调度资源的调度频率,直至所述调度资源的负载正常。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
根据所述标识参数,确定所述调度任务的优先级;
根据立牌桶算法,计算不同优先级的所述调度任务的调度资源的调度频率;
基于所述调度频率,确定不同优先级的所述调度任务的调度资源的任务调度状态;
当高优先级的所述调度任务的调度资源的任务调度状态为任务积压状态时,按照预设策略分配低优先级的所述调度任务的调度资源。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
根据所述调度任务的配置信息的标识参数,确定与所述调度任务相对应的线程池;
通过所述线程池,执行所述调度任务。
4.一种资源调度系统,其特征在于,所述系统包括:
获取单元,用于获取调度任务的配置信息以及用于标识所述配置信息的标识参数,其中,不同所述调度任务的配置信息中对应有预先设置的不同的任务时长阈值;
统计单元,用于根据所述标识参数,统计调度服务器在预设时间段内的任务执行信息;所述任务执行信息包括调度任务的任务时长;
确定单元,用于根据所述任务执行信息和所述配置信息,确定执行所述调度任务的调度资源的负载信息;其中,所述确定单元包括:
阈值获取子单元,用于基于所述配置信息,获取预先设置的所述调度任务的任务时长阈值;
负载超负荷确定子单元,用于当所述任务时长超过所述任务时长阈值时,确定执行所述调度任务的调度资源的负载超负荷,所述调度资源处于任务积压状态;
负载空闲确定子单元,用于当所述任务时长未超过所述任务时长阈值时,确定执行所述调度任务的调度资源的负载空闲,所述调度资源处于任务空闲状态;
调度单元,用于根据所述调度资源的负载信息,对所述调度资源的调度频率进行调度控制;其中,所述调度单元包括:
调度频率降低子单元,用于当所述调度资源的负载超负荷时,降低所述调度资源的调度频率,直至所述调度资源的负载正常;
调度频率提高子单元,用于当所述调度资源的负载空闲时,提高所述调度资源的调度频率,直至所述调度资源的负载正常。
5.根据权利要求4所述的系统,其特征在于,所述系统还包括:
优先级确定单元,用于根据所述标识参数,确定所述调度任务的优先级;
调度频率计算单元,用于根据立牌桶算法,计算不同优先级的所述调度任务的调度资源的调度频率;
任务调度状态确定单元,用于基于所述调度频率,确定不同优先级的所述调度任务的调度资源的任务调度状态;
调度资源分配单元,用于当高优先级的所述调度任务的调度资源的任务调度状态为任务积压状态时,按照预设策略分配低优先级的所述调度任务的调度资源。
6.根据权利要求4所述的系统,其特征在于,所述系统还包括:
线程池确定单元,用于根据所述调度任务的配置信息的标识参数,确定与所述调度任务相对应的线程池;
执行单元,用于通过所述线程池,执行所述调度任务。
CN202010136813.9A 2020-03-02 2020-03-02 资源调度方法和系统 Active CN111343275B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010136813.9A CN111343275B (zh) 2020-03-02 2020-03-02 资源调度方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010136813.9A CN111343275B (zh) 2020-03-02 2020-03-02 资源调度方法和系统

Publications (2)

Publication Number Publication Date
CN111343275A CN111343275A (zh) 2020-06-26
CN111343275B true CN111343275B (zh) 2022-09-30

Family

ID=71187346

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010136813.9A Active CN111343275B (zh) 2020-03-02 2020-03-02 资源调度方法和系统

Country Status (1)

Country Link
CN (1) CN111343275B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112181661B (zh) * 2020-10-13 2023-10-24 极道科技(北京)有限公司 一种任务调度方法
CN114036031B (zh) * 2022-01-05 2022-06-24 阿里云计算有限公司 一种企业数字中台中资源服务应用的调度系统和方法
CN115756773B (zh) * 2022-11-01 2023-08-29 中电金信软件有限公司 任务调度方法、装置、电子设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104503838A (zh) * 2014-11-23 2015-04-08 华中科技大学 一种虚拟cpu调度方法
CN106325981A (zh) * 2015-06-19 2017-01-11 阿里巴巴集团控股有限公司 一种任务调度方法及装置
CN109815019A (zh) * 2019-02-03 2019-05-28 普信恒业科技发展(北京)有限公司 任务调度方法、装置、电子设备及可读存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI251171B (en) * 2004-09-21 2006-03-11 Univ Tsinghua Task scheduling method with low power consumption and a SOC using the method
US9363190B2 (en) * 2013-07-31 2016-06-07 Manjrasoft Pty. Ltd. System, method and computer program product for energy-efficient and service level agreement (SLA)-based management of data centers for cloud computing
CN104168318B (zh) * 2014-08-18 2018-03-23 中国联合网络通信集团有限公司 一种资源服务系统及其资源分配方法
CN110837420B (zh) * 2019-11-12 2022-11-15 Oppo广东移动通信有限公司 资源调度方法、装置、终端及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104503838A (zh) * 2014-11-23 2015-04-08 华中科技大学 一种虚拟cpu调度方法
CN106325981A (zh) * 2015-06-19 2017-01-11 阿里巴巴集团控股有限公司 一种任务调度方法及装置
CN109815019A (zh) * 2019-02-03 2019-05-28 普信恒业科技发展(北京)有限公司 任务调度方法、装置、电子设备及可读存储介质

Also Published As

Publication number Publication date
CN111343275A (zh) 2020-06-26

Similar Documents

Publication Publication Date Title
CN111343275B (zh) 资源调度方法和系统
US10772115B2 (en) Resource scheduling method and server
CN105939225B (zh) 一种业务执行的方法及装置
US10609176B2 (en) Method and system for real-time resource consumption control in a distributed computing environment
CN107592284B (zh) 防DoS/DDoS攻击的装置和方法
EP2201726A2 (en) Hierarchical reservation resource scheduling infrastructure
CN102035737A (zh) 一种基于认知网络的自适应负载均衡方法和装置
WO2016188282A1 (zh) 一种消息处理方法、装置及系统
CN110971623A (zh) 微服务实例弹性伸缩方法、装置以及存储介质
CN110647392A (zh) 一种基于容器集群的智能弹性伸缩方法
CN114064229A (zh) 集群节点处理方法、系统、设备及介质
Saha et al. Exploring the fairness and resource distribution in an apache mesos environment
EP1143364A1 (en) Reserving resources for anticipated work items via simulated work items
US20040133680A1 (en) System and method for processing hardware or service usage data
CN109388501B (zh) 基于人脸识别请求的通信匹配方法、装置、设备及介质
CN111078386A (zh) 一种分布式调度系统的控制方法及控制装置
CN114185674A (zh) 一种cpu任务实时调度方法、装置、设备及存储介质
CN107423134B (zh) 一种大规模计算集群的动态资源调度方法
CN111107229B (zh) 用于智能客服的外呼预测方法及装置
CN111638986A (zh) 一种QoS队列调度方法、装置、系统及可读存储介质
JPH10171667A (ja) タスク管理方法
Poellabauer et al. Coordinated cpu and event scheduling for distributed multimedia applications
CN107329819A (zh) 一种作业管理方法及装置
CN114024913A (zh) 一种网络性能优化方法、装置、设备以及存储介质
CN113687931A (zh) 一种任务处理方法、系统及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant