CN112087503A - 集群任务调度方法、系统、计算机和计算机可读存储介质 - Google Patents

Abstract

本申请涉及一种集群任务调度方法、系统、计算机设备和计算机可读存储介质，其中，该方法包括：优先级设定步骤，用于设置任务为多个优先级，并根据任务的紧要性指定每个任务对应的优先级，每一优先级对应一个调度队列，所述调度队列包括但不限于高优队列、中优队列、低优队列及补救队列；队列生成步骤，用于将任务分配至对应优先级的调度队列，并设定一入队时间，所述任务按照时间先后进行排队等待；任务提交步骤，用于根据一设定优先级顺序将所述调度队列中的任务提交至相应的集群服务器中，从而将应用任务分发到多个集群。通过本申请实现多集群下的任务分发和调度，将尽可能多的任务提交到适合的集群执行，从而提高集群资源利用率及分发效率。

Description

集群任务调度方法、系统、计算机和计算机可读存储介质

技术领域

本申请涉及通信技术领域，特别是涉及集群任务调度方法、装置、系统、计算机设备和计算机可读存储介质。

背景技术

Kubernetes是Google开源的一个容器编排引擎，它支持自动化部署、大规模可伸缩、应用容器化管理。在生产环境中部署一个应用程序时，通常要部署该应用的多个实例以便对应用请求进行负载均衡。在Kubernetes中，我们可以创建多个容器，每个容器里面运行一个应用实例，然后通过内置的负载均衡策略，实现对这一组应用实例的管理、发现、访问，而这些细节都不需要运维人员去进行复杂的手工配置和处理。而目前的用户不可避免地需要同时部署和运营多个集群，但如果想将我们的应用跨集群部署起来，并不是一件简单的事。

目前现有的Kubernetes跨集群服务，无论是Federation v2(Kubernetes ClusterFederation又名KubeFed)，是Kubernetes SIG Multi-Cluster团队新提出的集群联邦架构，还是alpha版本，还不能满足提供一套完备的多集群解决方案的要求，Federation v2专注于将任意负载类型传播到多个集群，而不是跨集群部署应用程序，用户根据不同集群做应用部署的分发和调度的需求还没有被解决。因此，目前几乎没有一套完备的、行之有效的、可复用的解决方案。如何简单有效地将多个Kubernetes集群统一利用起来还没有解决。

目前针对相关技术中用户如何根据不同集群做应用部署的分发和调度的问题，尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种集群任务调度方法、系统、计算机设备和计算机可读存储介质，以至少解决相关技术中用户如何根据不同集群做应用部署的分发和调度的问题，实现多集群下的任务分发和调度，并在结合集群空闲资源、任务的优先级等条件下，将尽可能多的任务提交到适合的集群执行，从而提高集群资源利用率。

第一方面，本申请实施例提供了一种集群任务调度方法，包括：

优先级设定步骤，用于设置任务为多个优先级，并根据任务的紧要性指定每个任务对应的优先级，每一优先级对应一个调度队列，所述调度队列包括但不限于高优队列、中优队列、低优队列及补救队列；

队列生成步骤，用于将任务分配至对应优先级的调度队列，所述任务按照入队时间进行排队等待，具体的，将任务按照优先级高低顺序自动将排队任务分配到任务空闲的高优队列、中优队列、低优队列中；

任务提交步骤，用于根据一设定优先级顺序将所述调度队列中的任务提交至相应的集群服务器中，从而将应用任务分发到多个集群。

在其中一些实施例中，所述任务提交步骤中，所述设定优先级顺序自高向低依次为：高优队列、补救队列、中优队列、低优队列，基于所述设定优先级顺序，所述任务提交步骤中，首先执行提交最高优先级的高优队列任务，待高优队列中任务完成完成后，优先执行补救队列中的任务，补救队列中任务完成结束后，依次执行中优队列、低优队列中的任务；值得注意的是，当所述高优队列有任务未提交完成或未执行时，所述补救队列、中优队列、低优队列中的任务处于挂起状态，待所述高优队列任务执行完成后，所述高优队列发出完成信号以唤醒所述补救队列，并挂起高优队列；同样，所述补救队列任务执行完成后，唤醒所述中优队列，将补救队列挂起；待所述中优队列中任务提交完成后，唤醒所述低优队列并挂起中优队列。

在其中一些实施例中，所述队列生成步骤中，还包括：

队列调整步骤，设置一任务等待的超时时间，通过一线程定时扫描获取每一任务队列中的任务，当检测到一任务在队列中的等待时间超过所述超时时间，自动将该任务移入补救队列，采用所述队列调整步骤，待最高优先级任务提交完成，优先执行补救队列中的任务，执行过程中，若检测到一任务因为等待时间过长而被移入补救队列，则将正在执行任务的队列挂起，并唤醒补救队列，本步骤可避免任务在调度过程中长时间处于等待过程，最大限度的提高集群资源利用率。

在其中一些实施例中，所述补救队列的任务提交规则为先入先出，所述高优队列、中优队列、低优队列的任务提交规则为贪心算法，利用贪心算法，可以保证提交尽可能多的优先级相同的任务到对应的集群中，同时，考虑到贪心算法可能导致存在某些优先级较低的任务资源需求大的任务永远无法执行的情况，设置补救队列的提交规则为先入先出，将等待时间超过所述超时时间的任务，在补救队列中优先处理，所述先入先出的提交规则可以保证补救队列中的任务可以尽快提交到集群中，提高处理效率。

第二方面，本申请实施例提供了一种集群任务调度系统，包括：

一优先级设定模块，用于设置任务为多个优先级，并根据任务的紧要性指定每个任务对应的优先级，每一优先级对应一个调度队列，所述调度队列包括但不限于高优队列、中优队列、低优队列及补救队列；

一队列生成模块，用于将任务分配至对应优先级的调度队列，所述任务按照入队时间进行排队等待；

一任务提交模块，用于根据一设定优先级顺序将所述调度队列中的任务提交至相应的集群服务器中。

在其中一些实施例中，所述任务提交模块中，所述设定优先级顺序自高向低依次为：高优队列、补救队列、中优队列、低优队列，基于所述设定优先级顺序，所述任务提交模块中，首先执行提交最高优先级的高优队列任务，待高优队列中任务完成完成后，优先执行补救队列中的任务，补救队列中任务完成结束后，依次执行中优队列、低优队列中的任务；值得注意的是，当所述高优队列有任务未提交完成或未执行时，所述补救队列、中优队列、低优队列中的任务处于挂起状态，待所述高优队列任务执行完成后，所述高优队列发出完成信号以唤醒所述补救队列，并挂起高优队列；同样，所述补救队列任务执行完成后，唤醒所述中优队列，将补救队列挂起；待所述中优队列中任务提交完成后，唤醒所述低优队列并挂起中优队列。

在其中一些实施例中，所述队列生成模块中，还包括：

一队列调整模块，用于设置一任务等待的超时时间为阈值，通过一线程定时扫描获取每一任务队列中的任务，当检测到一任务在队列中的等待时间超过所述超时时间，自动将该任务移入补救队列，本申请实施例的队伍调整模块待最高优先级任务提交完成，优先执行补救队列中的任务，执行过程中，若检测到一任务因为等待时间过长而被移入补救队列，则将正在执行任务的队列挂起，并唤醒补救队列，可避免任务在调度过程中长时间处于等待过程，最大限度的提高集群资源利用率。

在其中一些实施例中，所述补救队列的任务提交规则为先入先出，所述高优队列、中优队列、低优队列的任务提交规则为贪心算法，利用贪心算法，可以保证提交尽可能多的优先级相同的任务到对应的集群中，同时，将等待时间超过所述超时时间任务的任务，在补救队列中优先处理，所述先入先出的提交规则可以保证补救队列中的任务可以尽快提交到集群中。

第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的集群任务调度方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的集群任务调度方法。

与现有技术相比，本发明的优点和积极效果在于：

本申请实施例提供的集群任务调度方法、系统、计算机设备和计算机可读存储介质，在结合集群空闲资源、任务的优先级、任务对资源的需求量等条件下，将尽可能多的任务提交到适合的集群执行，从而提高集群资源利用率；通过优化调度队列的设置解决任务分发过程中任务长时间等待的情况，提高了集群任务分发效率。

本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。

附图说明

下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1是根据本申请实施例的集群任务调度方法优选流程示意图；

图2是根据本申请实施例的集群任务调度方法另一优选流程图；

图3是根据本申请实施例的集群任务调度系统优选结构示意框图。

附图说明：

1、集群任务调度系统；

11、优先级设定模块；12、队列生成模块；13、任务提交模块；

121、队列调整模块。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。

除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。

本实施例提供了一种集群任务调度方法。图1-2是根据本申请实施例的集群任务调度方法流程示意图。如图1-2所示，该流程包括如下步骤：

优先级设定步骤S1，用于设置任务为多个优先级，并根据任务的紧要性指定每个任务对应的优先级，每一优先级对应一个调度队列，调度队列包括但不限于高优队列、中优队列、低优队列及补救队列；

队列生成步骤S2，用于将任务分配至对应优先级的调度队列，任务按照入队时间进行排队等待，具体的，将任务按照优先级高低顺序自动将排队任务分配到任务空闲的高优队列、中优队列、低优队列中，分配过程中同时考虑集群空闲资源、任务对资源的需求量；其中，队列生成步骤S2中，还包括：队列调整步骤S21，设置一任务等待的超时时间，通过一线程定时扫描获取每一任务队列中的任务，当检测到一任务在队列中的等待时间超过超时时间，自动将该任务移入补救队列，采用队列调整步骤S21，待最高优先级任务提交完成，优先执行补救队列中的任务，执行过程中，若检测到一任务因为等待时间过长而被移入补救队列，则将正在执行任务的队列挂起，并唤醒补救队列，本步骤可避免任务在调度过程中长时间处于等待过程，最大限度的提高集群资源利用率。

任务提交步骤S3，用于根据一设定优先级顺序将调度队列中的任务提交至相应的集群服务器中，设定优先级顺序自高向低依次为：高优队列、补救队列、中优队列、低优队列，本实施例的集群任务调度方法，基于设定优先级顺序，任务提交步骤S3中，首先执行提交最高优先级的高优队列任务，待高优队列中任务完成完成后，优先执行补救队列中的任务，补救队列中任务完成结束后，依次执行中优队列、低优队列中的任务；值得注意的是，当高优队列有任务未提交完成或未执行时，补救队列、中优队列、低优队列中的任务处于挂起状态，待高优队列任务执行完成后，高优队列发出完成信号以唤醒补救队列，并挂起高优队列；同样，补救队列任务执行完成后，唤醒中优队列，将补救队列挂起；待中优队列中任务提交完成后，唤醒低优队列并挂起中优队列。

通过上述步骤，根据优先级条件将结合集群空闲资源、任务的优先级、任务对资源的需求量等条件下，实现根据不同集群做应用部署的分发和调度。

在其中一些实施例中，补救队列的任务提交规则为先入先出，高优队列、中优队列、低优队列的任务提交规则为贪心算法，利用贪心算法，可以保证提交尽可能多的优先级相同的任务到对应的集群中，同时，考虑到贪心算法可能导致存在某些优先级较低的任务资源需求大的任务永远无法执行的情况，设置补救队列的提交规则为先入先出，将等待时间超过超时时间的任务，在补救队列中优先处理，先入先出的提交规则可以保证补救队列中的任务可以尽快提交到集群中。

需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本实施例提供了一种集群任务调度系统。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图3是根据本申请实施例的集群任务调度系统的结构框图。如图3所示，该集群任务调度系统1包括：优先级设定模块11、队列生成模型12、任务提交模块13等模块。本领域技术人员可以理解，图3中示出的集群任务调度系统结构并不构成对集群任务调度系统的限定，可以包括比图示更多或更少的模块，或者组合某些模块，或者不同的模块布置。

下面结合图3对集群任务调度系统1的各个构成模块进行具体的介绍，包括：

优先级设定模块11，用于设置任务为多个优先级，并根据任务的紧要性指定每个任务对应的优先级，每一优先级对应一个调度队列，调度队列包括但不限于高优队列、中优队列、低优队列及补救队列；

队列生成模块12，用于将任务分配至对应优先级的调度队列，任务按照入队时间进行排队等待；

任务提交模块13，用于根据一设定优先级顺序将调度队列中的任务提交至相应的集群服务器中。任务提交模块13中，设定优先级顺序自高向低依次为：高优队列、补救队列、中优队列、低优队列，基于设定优先级顺序，任务提交模块中，首先执行提交最高优先级的高优队列任务，待高优队列中任务完成完成后，优先执行补救队列中的任务，补救队列中任务完成结束后，依次执行中优队列、低优队列中的任务；值得注意的是，当高优队列有任务未提交完成或未执行时，补救队列、中优队列、低优队列中的任务处于挂起状态，待高优队列任务执行完成后，高优队列发出完成信号以唤醒补救队列，并挂起高优队列；同样，补救队列任务执行完成后，唤醒中优队列，将补救队列挂起；待中优队列中任务提交完成后，唤醒低优队列并挂起中优队列。

在其中一些实施例中，队列生成模块12中，还包括：队列调整模块121，用于设置一任务等待的超时时间为阈值，通过一线程定时扫描获取每一任务队列中的任务，当检测到一任务在队列中的等待时间超过超时时间，自动将该任务移入补救队列，本申请实施例的队伍调整模块待最高优先级任务提交完成，优先执行补救队列中的任务，执行过程中，若检测到一任务因为等待时间过长而被移入补救队列，则将正在执行任务的队列挂起，并唤醒补救队列，可避免任务在调度过程中长时间处于等待过程，最大限度的提高集群资源利用率。

在其中一些实施例中，补救队列的任务提交规则为先入先出，高优队列、中优队列、低优队列的任务提交规则为贪心算法，利用贪心算法，可以保证提交尽可能多的优先级相同的任务到对应的集群中，同时，将等待时间超过超时时间任务的任务，在补救队列中优先处理，先入先出的提交规则可以保证补救队列中的任务可以尽快提交到集群中。

需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。

结合上述实施例中的集群任务调度方法，本申请实施例可提供一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中的任意一种集群任务调度方法。

另外，结合上述实施例中的集群任务调度方法，本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种集群任务调度方法。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种集群任务调度方法，其特征在于，包括：

优先级设定步骤，用于设置任务为多个优先级，并根据任务的紧要性指定每个任务对应的优先级，每一优先级对应一个调度队列，所述调度队列包括但不限于高优队列、中优队列、低优队列及补救队列；

队列生成步骤，用于将任务分配至对应优先级的调度队列，所述任务按照按照入队时间进行排队等待；

任务提交步骤，用于根据一设定优先级顺序将所述调度队列中的任务提交至相应的集群服务器中。

2.根据权利要求1所述的集群任务调度方法，其特征在于，所述任务提交步骤中，所述设定优先级顺序自高向低依次为：高优队列、补救队列、中优队列、低优队列。

3.根据权利要求2所述的集群任务调度方法，其特征在于，所述队列生成步骤中，还包括：

队列调整步骤，设置一任务等待的超时时间，通过一线程定时扫描获取每一任务队列中的任务，当检测到一任务在队列中的等待时间超过所述超时时间，自动将该任务移入补救队列。

4.根据权利要求3所述的集群任务调度方法，其特征在于，所述补救队列的任务提交规则为先入先出，所述高优队列、中优队列、低优队列的任务提交规则为贪心算法。

5.一种集群任务调度系统，其特征在于，包括：

一优先级设定模块，用于设置任务为多个优先级，并根据任务的紧要性指定每个任务对应的优先级，每一优先级对应一个调度队列，所述调度队列包括但不限于高优队列、中优队列、低优队列及补救队列；

一队列生成模块，用于将任务分配至对应优先级的调度队列，所述任务按照入队时间进行排队等待；

一任务提交模块，用于根据一设定优先级顺序将所述调度队列中的任务提交至相应的集群服务器中。

6.根据权利要求5所述的集群任务调度方法，其特征在于，所述任务提交模块中，所述设定优先级顺序自高向低依次为：高优队列、补救队列、中优队列、低优队列。

7.根据权利要求6所述的集群任务调度方法，其特征在于，所述队列生成模块中，还包括：

一队列调整模块，用于设置一任务等待的超时时间为阈值，通过一线程定时扫描获取每一任务队列中的任务，当检测到一任务在队列中的等待时间超过所述超时时间，自动将该任务移入补救队列。

8.根据权利要求7所述的集群任务调度方法，其特征在于，所述补救队列的任务提交规则为先入先出，所述高优队列、中优队列、低优队列的任务提交规则为贪心算法。

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4中任一项所述的集群任务调度方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至4中任一项所述的集群任务调度方法。

Images