CN113495923A

CN113495923A - 用于分布式数据库执行器的调度管理方法及系统

Info

Publication number: CN113495923A
Application number: CN202110178456.7A
Authority: CN
Inventors: 徐蔚青
Original assignee: Shenzhen Yunwangwandian Technology Co ltd
Current assignee: Shenzhen Yunwangwandian Technology Co ltd
Priority date: 2021-02-09
Filing date: 2021-02-09
Publication date: 2021-10-12
Anticipated expiration: 2041-02-09
Also published as: CN113495923B

Abstract

本发明公开一种用于分布式数据库执行器的调度管理方法及系统，涉及数据库技术领域，能够基于查询任务动态调整算子的调度策略，提高系统资源的利用率。该方法包括：接收查询任务，通过管理器启动调度器调度查询任务执行时所需的算子；获取执行查询任务时的每个算子在当前调度时的处理耗时和/或处理数据量，并从管理器中动态匹配出算子在下次调度时的调度策略；在算子被下次调度时基于调度策略动态调整执行进程，并重新匹配对应算子在下次调度时的调度策略，直至查询任务执行完毕为止。该系统应用有上述方案所提的方法。

Description

用于分布式数据库执行器的调度管理方法及系统

技术领域

本发明涉及数据库技术领域，尤其涉及一种用于分布式数据库执行器的调度管理方法及系统。

背景技术

在OLAP领域为了解决大数据量的问题，基于MPP的分布式数据库逐渐普及，比如ClickHouse、Presto、Imapla等。为了更多的利用其多核心的性能，一种利用有向无环图生成执行计划，并用调度器调度各个算子的执行引擎技术的应用也越来越广泛。目前主要的开源实现中，该类型执行引擎的原生调度器都采用的是公平调度器。而在MPP分布式数据库中，由于不同算子执行的效率不一样，往往出现不同算子执行的效率并不相同，公平调度器并不能动态的调整不同算子的调度频率。而在实际应用中，往往不同用户、不同场景需要共用一个计算集群，若采用公平调度的方式不能优先执行高优先级的任务。例如，在当前有大查询任务正在执行时，此时若新进了查询任务，哪怕其重要程度更高，也只能等待大查询任务执行完毕后，才能执行新进的查询任务，显然，这样降低了系统资源的利用率。

发明内容

本发明的目的在于提供一种用于分布式数据库执行器的调度管理方法及系统，能够基于查询任务动态调整算子的调度策略，提高系统资源的利用率。

为了实现上述目的，本发明的第一方面提供一种用于分布式数据库执行器的调度管理方法，包括：

接收查询任务，通过管理器启动调度器调度所述查询任务执行时所需的算子；

获取执行所述查询任务时的每个所述算子在当前调度时的处理耗时和/或处理数据量，并从管理器中动态匹配出所述算子在下次调度时的调度策略；

在所述算子被下次调度时基于所述调度策略动态调整执行进程，并重新匹配对应所述算子在下次调度时的调度策略，直至所述查询任务执行完毕为止。

优选地，还包括：

若所述查询任务未执行完毕又接收了新查询任务时，比较所述查询任务和所述新查询任务的优先级；

当所述查询任务的优先级高于所述新查询任务时，则降低所述新查询任务执行时算子的处理速度；

当所述查询任务的优先级低于所述新查询任务时，则降低所述查询任务执行时算子的处理速度。

较佳地，降低所述查询任务或者所述新查询任务执行时算子的处理速度的方法包括：

计算所述查询任务与所述新查询任务的优先级差，并基于所述优先级差换算降速倍率；

根据所述降速倍率降低任务执行时相应算子的处理速度。

较佳地，比较所述查询任务和所述新查询任务的优先级的方法包括：

识别所述查询任务和/或所述新查询任务中携带的用户信息；

基于所述用户信息从映射表中匹配出对应的优先级，所述映射表包括一一对应的用户信息与优先级。

优选地，所述调度策略包括：

当前调度中所述算子的处理耗时超过时间阈值，则增加所述算子下次调度时的频率；和/或，

当前调度中所述算子的处理数据量超过数据阈值，则增加所述算子下次调度时的频率。

较佳地，增加所述算子下次调度时的频率的方法包括：

所述算子每次被调度时，若超时则计算处理耗时与时间阈值的时间差值，根据所述算子上次调度与当前调度时间差值的第一净差值，动态调整所述算子下次调度时的频率；和/或，

所述算子每次被调度时，若处理数据量超过数据阈值时则计算两者的数据量差值，根据所述算子上次调度与当前调度数据量差值的第二净差值，动态调整所述算子下次调度时的频率。

进一步地，基于第一净差值和/或第二净差值动态调整所述算子下次调度时的频率的方法包括：

当最近两次产生的第一净差值和/或第二净差值逐渐增大，则在当前调度频率的基础上进一步加快所述算子下次调度时的频率，反之进一步降低所述算子下次调度时的频率。

与现有技术相比，本发明提供的用于分布式数据库执行器的调度管理方法具有以下有益效果：

本发明提供的用于分布式数据库执行器的调度管理方法中，通过在原生的执行器中增加了一个管理器，用于动态调整算子的调度调度策略。具体方案如下：在接收到查询任务时，通过管理器启动一个调度器调度此次查询任务执行时所需的算子，然后通过调度器增加算子每次被调度时的执行信息统计，如GPU处理耗时、GPU处理数据量等，动态跟踪每个算子每次被调度时消耗的系统资源，然后根据查询任务执行过程中的每个算子每次被调度时消耗的系统资源，从管理器中匹配出对应算子在下次调度时的调度策略，以便相应算子被下次调度时能够基于调度策略动态调整执行进程。

可见，相比较于现有技术采用的公平调度(按照顺序调度)的原生调度器而言，本发明提供的针对算子动态调度方案能够提升系统资源的利用率。

本发明的第二方面提供一种用于分布式数据库执行器的调度管理系统，应用于上述技术方案所述的用于分布式数据库执行器的调度管理方法中，所述系统包括：

接收单元，用于接收查询任务，通过管理器启动调度器调度所述查询任务执行时所需的算子；

处理单元，用于获取执行所述查询任务时的每个所述算子在被当前调度时的处理耗时和/或处理数据量，并从管理器中动态匹配出所述算子在下次调度时的调度策略；

调整单元，用于在所述算子被下次调度时基于所述调度策略动态调整执行进程，并重新匹配对应所述算子在下次调度时的调度策略，直至所述查询任务执行完毕为止。

优选地，还包括：

比较单元，用于在所述查询任务未执行完毕又接收了新查询任务时，比较所述查询任务和所述新查询任务的优先级；

与现有技术相比，本发明提供的用于分布式数据库执行器的调度管理系统的有益效果与上述技术方案提供的用于分布式数据库执行器的调度管理方法的有益效果相同，在此不做赘述。

本发明的第三方面提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述用于分布式数据库执行器的调度管理方法的步骤。

与现有技术相比，本发明提供的计算机可读存储介质的有益效果与上述技术方案提供的用于分布式数据库执行器的调度管理方法的有益效果相同，在此不做赘述。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明实施例中用于分布式数据库执行器的调度管理方法的流程示意图；

图2为本发明实施例中分布式数据库执行器的架构示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其它实施例，均属于本发明保护的范围。

实施例一

请参阅图1和图2，本实施例提供一种用于分布式数据库执行器的调度管理方法，包括：

接收查询任务，通过管理器启动调度器调度查询任务执行时所需的算子；获取执行查询任务时的每个算子在当前调度时的处理耗时和/或处理数据量，并从管理器中动态匹配出算子在下次调度时的调度策略；在算子被下次调度时基于调度策略动态调整执行进程，并重新匹配对应算子在下次调度时的调度策略，直至查询任务执行完毕为止。

本实施例提供的用于分布式数据库执行器的调度管理方法中，通过在原生的执行器中增加了一个管理器，用于动态调整算子的调度策略。具体方案如下：在接收到查询任务时，通过管理器启动一个调度器调度此次查询任务执行时所需的算子，然后通过调度器增加算子每次被调度时的执行信息统计，如GPU处理耗时、GPU处理数据量等，动态跟踪每个算子每次被调度时消耗的系统资源，然后根据查询任务执行过程中的每个算子每次被调度时消耗的系统资源，从管理器中匹配出对应算子在下次调度时的调度策略，以便相应算子被下次调度时能够基于调度策略动态调整执行进程。

可见，相比较于现有技术采用的公平调度(按照顺序调度)的原生调度器而言，本实施例提供的针对算子动态调度方案能够提升系统资源的利用率。

上述实施例中，还包括：若查询任务未执行完毕又接收了新查询任务时，比较查询任务和新查询任务的优先级；当查询任务的优先级高于新查询任务时，则降低新查询任务执行时算子的处理速度；当查询任务的优先级低于新查询任务时，则降低查询任务执行时算子的处理速度。

具体实施时，本实施例给出了算子调度的两种调度策略，具体如下：

第一种为执行器当前仅执行有一条查询任务时，针对处理耗时长和/或处理数据量大的算子，此时的调度策略为增加该算子的调度频次，以加快该算子的处理速度，避免该算子出现任务堆积的情况。具体的实现方式是在task列表里面增加该算子的调度计划。例如，一个查询任务需调度三个算子：Scan、Join和Filter，执行器会轮流调度执行这三个算子，在执行时，如果Join没有计算完全部数据前，Filter是无法承接计算任务的，也即Join没有计算完全部数据前Filter每次被调度起来是没有任何数据可以计算的，在这种情况下，管理器会通过每个算子统计的执行信息发现Filter每次调度的处理耗时短和/或处理数据量少，此时会逐步降低Filter下次调度的频次，该情况下调度的顺序会变成Scan→Join→Scan→Join→Scan→Join→Filter，其中Filter仍然会被调度，只是会降低频次，如果发现Filter计算的数据量开始增大，而Join没有数据执行了，则说明Join和Scan都被计算完了，此时可以结束Scan和Join的调度，执行调度会变成Filter→Filter→Filter→…→Filter这样的模式，相比较于现有技术采用的公平调度方案而言，也即Scan→Join→Filter…Scan→Join→Filter，通过算子调度策略的动态调整，会显著增加每个算子的调度效率，进而提升系统资源的利用率。

第二种为执行器当前执行有两条或两条以上的查询任务时，针对优先级低的查询任务增加其算子的休眠时间，把腾出的系统资源供优先级高的查询任务调度，也即通过管理器增加调度时间控制，每个算子被调度前增加一个休眠的时间，比如休眠50ms和0ms，优先级低的查询任务执行的休眠时间为50ms，优先级高的查询任务执行的休眠时间为0ms，这个可以动态调整，每次调整对当前算子执行后的下一个调度生效。该功能用于查询任务的限流操作，同时，调度器也支持暂停和重启的操作，在接收到暂停请求时该算子在当前调度执行完成后，暂停下次的调度，直到接收到重启请求，重新开始调度该算子。

上述实施例中，降低查询任务或者新查询任务执行时算子的处理速度的方法包括：

计算查询任务与新查询任务的优先级差，并基于优先级差换算降速倍率；根据降速倍率降低任务执行时相应算子的处理速度。

具体实施时，每个查询任务都对应有对应的优先级级别，如优先级级别从低到高分为1-5级，举例说明，查询任务的优先级对应为1，新查询任务的优先级对应为3，那么查询任务与新查询任务的优先级差为2，如果默认优先级差为1对应降低1倍处理速度，那么优先级差为2就该降低查询任务2倍的处理速度。也即对查询任务的算子执行休眠操作，如果降级减速1倍，则休眠1倍时间，如果降级减速2倍，则休眠2倍时间，根据优先级差针对相应算子执行对等时间倍数的休眠操作。

上述实施例中，比较查询任务和新查询任务的优先级的方法包括：

识别查询任务和/或新查询任务中携带的用户信息；基于用户信息从映射表中匹配出对应的优先级，映射表包括一一对应的用户信息与优先级。

上述实施例中，调度策略包括：

当前调度中算子的处理耗时超过时间阈值，则增加算子下次调度时的频率；和/或，当前调度中算子的处理数据量超过数据阈值，则增加算子下次调度时的频率。

上述实施例中，增加算子下次调度时的频率的方法包括：

算子每次被调度时，若超时则计算处理耗时与时间阈值的时间差值，根据算子上次调度与当前调度时间差值的第一净差值，动态调整算子下次调度时的频率；和/或，算子每次被调度时，若处理数据量超过数据阈值时则计算两者的数据量差值，根据算子上次调度与当前调度数据量差值的第二净差值，动态调整算子下次调度时的频率。

上述实施例中，基于第一净差值和/或第二净差值动态调整算子下次调度时的频率的方法包括：

当最近两次产生的第一净差值和/或第二净差值逐渐增大，则在当前调度频率的基础上进一步加快算子下次调度时的频率，反之进一步降低算子下次调度时的频率。

具体实施时，为了进一步增加算子调度频率的自动调节能力，还需实时根据第一净差值和/或第二净差值的变化趋势对应调节算子下次调度时的频率，例如当前时间为t(t＞2)，t-2与t-1的第一净差值为m，t-1与t的第一净差值为n，且n大于m，那么说明算子的数据计算量在逐步增加，此时算子下次调度时(t+1)的频率应当相对于当前时间更快，这样能够进一步增加算子的执行效率。同理，通过第二净差值动态调整算子的调度频率与上述相同，本实施对此不做赘述。当然，在实际操作过程中除了单独考虑第一净差值或者第二净差值外，还可以将第一净差值和第二净差值结合起来综合考虑算子的下次调度频率，通过模型训练使得系统资源的利用率能够达到最佳。

可以理解的是，通过在执行器中新增管理器。管理器通过调度器提供的接口来管理当前所有查询任务的调度器，同时管理器还提供了调度策略的管理，优先级的管理等。具体实现通过管理器保存了每个查询任务对应的用户信息，通过可配置的调度策略来针对不同的查询任务进行调度控制。可以根据不同的需求配置不同的策略，比如当有高优先级的查询任务时，可以配置降低低优先级查询任务的调度频率或者暂停低优先级查询任务的执行，直到高优先级任务执行完毕。管理器还提供了管理接口，用于满足人工介入的实时控制的需求。管理接口提供了当前所有在执行查询任务的信息，包括对应执行的用户信息，以及当前是否被降级的信息等。

综上，本实施例方案优化了分布式OLAP数据库算子的调度效率，适用于所有使用DAG(有向无环图)类似执行方式的数据库。给类似ClickHouse这种基于DAG的执行设计了一个新的管理器，提供了针对查询任务执行的优先级控制以及限流控制功能。对用户来说具有无感知和高可用性的特点，增加了查询任务的系统资源利用率，同时提供了在系统繁忙时可以通过调整调度策略的控制方式，在确保所有任务不被强制取消的情况下，能给高优先级任务让步的功能。与现有技术相比，利用动态调整的调度策略，可以让批处理任务和响应时间要求比较高的任务在同一集群中完成，并可以优先给高响应要求的查询任务优先提供系统资源。

实施例二

本实施例提供一种用于分布式数据库执行器的调度管理系统，包括：

优选地，还包括：

与现有技术相比，本发明实施例提供的用于分布式数据库执行器的调度管理系统的有益效果与上述实施例一提供的用于分布式数据库执行器的调度管理方法的有益效果相同，在此不做赘述。

实施例三

本实施例提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述用于分布式数据库执行器的调度管理方法的步骤。

与现有技术相比，本实施例提供的计算机可读存储介质的有益效果与上述技术方案提供的用于分布式数据库执行器的调度管理方法的有益效果相同，在此不做赘述。

本领域普通技术人员可以理解，实现上述发明方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，上述程序可以存储于计算机可读取存储介质中，该程序在执行时，包括上述实施例方法的各步骤，而的存储介质可以是：ROM/RAM、磁碟、光盘、存储卡等。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims

1.一种用于分布式数据库执行器的调度管理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，还包括：

3.根据权利要求2所述的方法，其特征在于，降低所述查询任务或者所述新查询任务执行时算子的处理速度的方法包括：

根据所述降速倍率降低任务执行时相应算子的处理速度。

4.根据权利要求2所述的方法，其特征在于，比较所述查询任务和所述新查询任务的优先级的方法包括：

识别所述查询任务和/或所述新查询任务中携带的用户信息；

5.根据权利要求1-4任一项所述的方法，其特征在于，所述调度策略包括：

6.根据权利要求5所述的方法，其特征在于，增加所述算子下次调度时的频率的方法包括：

7.根据权利要求6所述的方法，其特征在于，基于第一净差值和/或第二净差值动态调整所述算子下次调度时的频率的方法包括：

8.一种用于分布式数据库执行器的调度管理系统，其特征在于，包括：

9.根据权利要求8所述的系统，其特征在于，还包括：

10.一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其特征在于，计算机程序被处理器运行时执行上述权利要求1至7任一项所述方法的步骤。