CN103793207B - 一种单线程多优先级系统的智能调度方法 - Google Patents

Abstract

本发明涉及一种单线程多优先级系统的智能调度方法，该方法包括：延迟执行调度部分，为每类命令添加延迟执行状态标识，并通过延迟恢复检查器检测是否需要恢复非延迟状态；指令命令控制执行部分，设定控制周期，对每个控制周期计算指定命令的执行阈值，根据执行阈值控制每个控制周期中指令命令的执行个数。与现有技术相比，本发明提高了命令执行效率，解决单线程多优先级调度系统中，由于较占时的低优先级任务的插入，导致高优先级任务执行效率大幅下降的问题。

Description

一种单线程多优先级系统的智能调度方法

技术领域

本发明涉及一种命令调度方法，尤其是涉及一种单线程多优先级系统的智能调度方法。

背景技术

常见的命令调度系统按线程数目分有：

1.单线程命令调度系统。单线程命令调度系统适合访问资源单一的简单系统，因为单线程命令调度系统不会有复杂的互斥和同步逻辑，故不会有同步互斥锁相关的损耗。但是由于处理器亲和性一般只允许一个线程在一个处理器上执行，所以单线程命令调度系统在对称多处理(SymmetricMultiprocessing，缩写为SMP)硬件架构环境中无法尽可能多的使用系统资源以发挥出很好的性能，故其只适合处理器核数较少的硬件环境。

2.多线程命令调度系统。多线程的命令调度系统与单线程命令调度系统刚好相反。多线程的命令调度系统由于不同的线程可以在不同的处理器上执行，所以适合SMP硬件架构。多线程命令调度系统由于涉及资源的互斥访问和可能的线程间同步，实现较为复杂的同时，可能在非SMP环境中，或者核数较少的情况下，性能不及单线程命令调度系统。

单线程命令调度系统中命令访问的底层资源单一，且硬件环境多为单核和双核处理器。单线程命令调度系统按调度方法分：

1.先来先服务(FirstInFirstOut，FIFO)流水线方式。FIFO方式能够保证任务都按一定顺序执行，缺点是一些可能需要立即执行的任务无法立即响应。如果提交了一个较耗资源的任务，它可能会延后后续所有任务的执行。一般来说，FIFO方式只适用于单线程命令调度系统和调度要求按顺序、执行不作要求的多线程命令调度系统。

2.按多优先级的优先调度方式。多优先级的命令调度方式是指将不同类型的命令分为不同的优先级进行排队，不同优先级的命令优先级高的优先被调度，相同优先级的命令按FIFO方式调度。该方式解决了单一的先来先服务方式不能立即响应需要立即执行的任务的问题。

上述四种调度方式就类似去银行办理业务的流程，先取号，等待已经完成服务的窗口按顺序叫号。单线程、多线程就好比开了一个还是多个办理业务的窗口。是否按优先级就看取的号是否分VIP个人业务、企业业务、外币业务、普通个人业务按不同的队伍排号。

多优先级命令调度方式虽然解决了任务不能立即响应的问题，但是由于算法较简单，对于命令的执行缺乏有效的控制，引入了新的问题：如果任务插入速度过快，可能导致低优先级任务饿死的问题，就好像有VIP就需要优先响应，那么一直来办理VIP业务的，就会导致办理普通业务的顾客一直得不到服务；如果任务插入速度较慢，且低优先级任务耗时较长，可能导致高优先级任务执行时间延长的问题，比如一个办理普通业务的顾客占用了较长时间，会导致不能及时为后续来的VIP顾客提供服务。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种提高命令执行效率的单线程多优先级系统的智能调度方法，解决了单线程多优先级调度系统中，由于较占时的低优先级任务的插入，导致高优先级任务执行效率大幅下降的问题。

本发明的目的可以通过以下技术方案来实现：

一种单线程多优先级系统的智能调度方法，该方法包括：

延迟执行调度部分，为每类命令添加延迟执行状态标识，并通过延迟恢复检查器检测是否需要恢复非延迟状态；

指定命令控制执行部分，设定控制周期，对每个控制周期计算指定命令的执行阈值，根据执行阈值控制每个控制周期中指定命令的执行个数。

所述的延迟执行调度部分具体为：

a1)判断所取的命令是否支持延迟执行，若是，则执行步骤a2)，若否，则取下一个命令，返回步骤a1)；

a2)判断步骤a1)中所取的命令是否处于非延迟状态且最近执行的命令比当前所取的命令的优先级高，若是，则启动延迟执行模式，并启动延迟恢复检查器，执行步骤a3)，若否，则执行该所取的命令，取下一个命令，返回步骤a1)；

a3)延迟恢复检查器判断是否有比当前所取的命令的优先级高的命令，若是，则保持延迟执行模式，若否，则恢复非延迟状态。

所述的步骤a1)中，支持延迟执行的命令设有扩展状态，所述的扩展状态包括完全不允许指定命令执行状态、完全允许指定命令执行状态或正常状态。

所述的指定命令控制执行部分具体为：

b1)将时间按固定周期划分为多个执行周期，取固定数量的执行周期作为一个控制周期；

b2)在当前控制周期，前两个执行周期内进行：完全不允许指定命令执行和完全允许指定命令执行，分别记录指定命令和其他命令的执行个数，计算出该控制周期内指定命令的执行阈值；

b3)在除前两个执行周期外的控制周期内，若已经执行的指定命令达到执行阈值，则停止该控制周期内指定命令的执行；

b4)进入下一个周期，重复执行步骤b2)-b3)，重置并重新计算执行阈值。

所述的执行阈值的计算公式具体为：

$b_{th}=\frac{{{\mathrm{aa}}^{\′}}_w(1-X\%)}{a-{a^{\′}}_w}$

b_th为指定命令的执行阈值，a为时间段t内，完全不允许指定命令执行时其他命令的执行个数，a′_w为时间段t内，完全允许指定命令执行时其他命令的执行个数，b′_w为时间段t内，完全允许指定命令执行时指定命令的执行个数，X％为其他命令的最低执行效率。

若当前执行周期内其他命令的执行个数a′变化超过设定幅度，立即开始重新计算a、a′_w和b_th；否则对b_th进行微调：将公式(1)中的a调整为其中，a′_基为其他命令执行的基准个数。

与现有技术相比，本发明能够在有高优先级命令执行情况下，较准确地控制指定命令执行；没有高优先级命令执行时，全速执行，彻底解决了实际场景中影响正常业务执行的问题。实际场景下，原本回收空间命令和正常命令混合执行时，正常命令执行效率最多下降了6倍，使用本发明的方案后，加入回收命令后，正常命令执行比例控制在预定的80％左右。

附图说明

图1为本发明取任务处理的具体流程图；

图2为本发明延迟恢复检查器的具体流程图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例

一种单线程多优先级系统的智能调度方法，该方法由以下两个部分组成：

①延迟执行调度部分，为每类命令添加延迟执行状态标识，并通过延迟恢复检查器检测是否需要恢复非延迟状态，为改进一；

②指定命令控制执行部分，设定控制周期，对每个控制周期计算指定命令的执行阈值，根据执行阈值控制每个控制周期中指定命令的执行个数；在没有高优先级命令时，指定命令不受控制全速执行，在有高优先级命令时，指定命令按固定比例控制执行，为改进二。

延迟执行调度部分具体为：

a1)判断所取的命令是否支持延迟执行，若是，则执行步骤a2)，若否，则取下一个命令，返回步骤a1)；

a2)判断步骤a1)中所取的命令是否处于非延迟状态且最近执行的命令比当前所取的命令的优先级高，若是，则启动延迟执行模式，并启动延迟恢复检查器，执行步骤a3)，若否，则执行该所取的命令，取下一个命令，返回步骤a1)；

a3)延迟恢复检查器判断是否有比当前所取的命令的优先级高的命令，若是，则保持延迟执行模式，若否，则恢复非延迟状态。

步骤a1)中，支持延迟执行的命令设有扩展状态，所述的扩展状态包括完全不允许指定命令执行状态、完全允许指定命令执行状态或正常状态。

指定命令控制执行部分具体为：

b1)将时间按固定周期划分为多个执行周期，取固定数量的执行周期作为一个控制周期；

b2)在当前控制周期，前两个执行周期内进行：完全不允许指定命令执行和完全允许指定命令执行，分别记录指定命令和其他命令的执行个数，计算出该控制周期内指定命令的执行阈值；

b3)在除前两个执行周期外的控制周期内，若已经执行的指定命令达到执行阈值，则停止该控制周期内指定命令的执行；

b4)进入下一个周期，重复执行步骤b2)-b3)，重置并重新计算执行阈值。

另外，在控制周期内，可以根据实时的命令执行条数对阈值进行微调，或者当变化幅度超过一定的范围后，立即停止当前控制周期，重新计算阈值，以使控制效果更准确。

执行阈值计算方法：

将指定命令和其他命令分到两个命令池内，这里我们假定其他命令都归到虚拟的命令池A(下文简称Pa)，指定命令都归到虚拟的命令池B(下文简称Pb)。相同时间段t内(保证命令足够多)，各命令执行个数表1所示。

表1

	Pa被执行命令个数	Pb被执行命令个数
			不允许指定命令执行	a	0
完全允许指定命令执行	a'w	b'w

不允许指定命令执行时，其他命令的执行效率为完全允许指定命令执行时，其他命令的执行效率为

假设需要保证在有指定命令执行的情况下，非指定命令的执行效率在X％以上。则有：即则需要保证a'_w≥X％a。

令其他命令执行的基准个数为a'_基＝X％a(公式①)；令其他命令平均耗时为指定命令平均耗时为d_r，令a'_w与a的比值为k，则有(公式②)。

由此可得，时间段t内，需要控制指定命令执行的个数代入 $d_r=\frac{1-k}{k}{d}_o,$ 得 $b_{th}=\frac{1-X\%}{\frac{1-k}{ka}}=\frac{ka(1-X\%)}{1-k}=\frac{{{\mathrm{aa}}^{\′}}_w(1-X\%)}{a-{a^{\′}}_w}$ (公式③)。

微调和立即重算说明：

①估算当前性能影响公式：当前执行周期内其他命令的执行个数a'变化超过设定幅度(和指定的X％相比)，即可立即开始重新计算a、a'_w和b_th。

②每次执行后可以进行微调：将公式③中的a调整为若b_th未调整，但a'下降，说明其他命令耗时增加，需要进行微调以降低b_th，反之，需要微调以提高b_th。

未改进前系统的执行流程：

系统主要由多个优先级命令队列以及一个调度线程构成。提交命令时，将命令插入到指定优先级所在队列的最后，如果调度线程处于等待状态，通知线程继续取命令。调度线程取任务时，按优先级从高到低遍历取出任务后执行。

本发明需要增加的内容：

一、延迟执行命令：

1.为延迟执行命令添加支持延迟执行策略属性。

2.添加扩展状态，包含三种状态：一种是不允许指定命令执行状态；一种是完全允许指定命令执行状态；一种是正常状态。在处于延迟执行状态下，扩展状态才有效。

3.添加执行命令次数统计，统计该命令类型在当前时间段执行的次数b'，用于求出a'。

4.添加可执行阈值b_th，在延迟执行管理器的定时器中控制是否可以执行。

5.需要记录完全不允许指定命令执行状态时执行的命令个数a，和完全允许指定命令执行状态时执行的命令个数a'_w。

二、延迟执行检查器：

添加重算间隔字段，重算间隔到达时，重新计算a、a'_w，重新计算后，重置计数。

三、延迟执行管理器：

1.添加执行命令次数统计，统计所有命令执行个数。

2.记录当前周期内执行过命令的最高优先级。

图1为取任务处理的具体流程。取任务流程会在调度线程中的每个循环开始时被调用。下面对图1的各步骤进行详细描述：

步骤101对多个优先级队列从高优先级队列到低优先级遍历，如果队列都为空，进入步骤108，等待新命令；如果有队列不为空，进入步骤102。

步骤102对队列中的命令进行遍历，如果队列为空，进入步骤101，否则进入103。

步骤103取出队列中的下一个命令。

步骤104检查该类命令是否支持延迟执行策略，如果支持，进入步骤105，否则进入步骤113。

步骤105检查该类命令的延迟执行扩展状态是否为正常状态，如果是，进入步骤109，否则进入步骤106。

步骤106检查该类命令的延迟执行扩展状态是否为完全不允许执行状态，如果是，进入步骤102，否则进入步骤107。

步骤107检查该类命令的延迟执行扩展状态是否为完全允许执行状态，如果是，进入步骤113，否则进入步骤108。

步骤109检查该类命令目前是否处于开启延迟状态，如果是，进入步骤112，否则进入步骤110。

步骤110检查是否需要开启延迟执行，如果最近(上一个执行周期)有更高优先级命令执行，那么设置当前类型的命令为处于开启延迟执行状态，设置扩展属性为不允许指定命令执行，并根据时间间隔参数添加延迟执行检查器。

步骤111检查当前类型的命令是否处于开启延迟执行状态，如果是进入步骤102，否则进入步骤113。

步骤112检查在开启延迟状态的当前命令是否还能够执行(当前执行周期执行的当前类型命令个数是否超过阈值)，如果不能，进入步骤102，否则进入113。

步骤113统计命令执行个数并记录命令优先级，用于计算可执行阈值以及判断是否有高优先级命令执行。

图2为延迟恢复检查定时器的流程。下面对图2的各步骤做详细描述：

步骤201为一个恢复检查循环，如果有延迟执行检查器，则开启延迟恢复检查线程，启动一个循环以定时进行延迟恢复检查。

步骤202，每次进入循环先睡眠一个执行周期。

步骤203，遍历所有延迟检查器，如果遍历完，进入步骤208，否则进入步骤204。

步骤204，从检查器列表中取出一个检查器。

步骤205，检查当前命令的延迟执行扩展状态是否处于正常状态，如果为正常状态，进入步骤209，否则进入步骤206。

步骤206，检查当前命令的延迟执行扩展状态是否处于完全不允许执行状态，如果是，进入步骤213，否则进入步骤207。

步骤206，检查当前命令的延迟执行扩展状态是否处于完全允许执行状态，如果是，进入步骤215，否则进入步骤203。

步骤208，在遍历完检查器后，当前执行周期结束，重置最高优先级信息，命令执行个数等，进入步骤201。

步骤209，延迟恢复检查，如果没有当前类型的命令，或者有当前类型的命令但最近没有高优先级命令执行，关闭延迟执行状态。

步骤210，检查是否需要移除延迟恢复检查器，如果没有当前类型的命令，返回需要移除检查器，进入步骤211，否则进入步骤212。

步骤211，从检查器列表中，删除当前检查器，进入步骤203。

步骤212，进行微调和重算，如果发现执行个数幅度过大，对可执行的延迟命令个数微调；检查是否到达重算间隔，如果到达重算间隔，将延迟执行扩展状态设置为完全不允许执行状态，开始下一个控制周期，并重置重算间隔，进入步骤203。

步骤213，修改当前命令的延迟执行扩展状态为完全允许执行状态，进入步骤214。

步骤214，将当前的非延迟执行命令的执行个数记录下来，以便于步骤216计算阈值，进入步骤203。

步骤215，修改当前命令的延迟执行扩展状态为正常状态，进入步骤216。

步骤216，根据之前得到的命令执行个数，计算并记录延迟命令可执行阈值。

以下以具体实例说明本发明的实施过程。

原优先级队列调度算法使用于备份存储柜服务端程序，当存在空间回收命令时，备份恢复性能会大幅下降。

存储柜配置为：内存：8G，CPU：Intel(R)Xeon(R)E55042.00GHz。

现象为备份速度慢：读速度为250M/s正常，写4K的块速度为50M/s，写1M的块速度为100M/s。正常写4K的块速度为300M/s左右，写1M的块速度为300M/s。可见性能下降最多在6倍左右。

经过分析原因如下：

●回收命令分片在结束前会继续提交命令，在回收完成前，命令队列中始终保持存在回收命令。

●创建、读、写命令由于插入时有其他的操作，命令间存在一定的间隙。

所以导致：

●在优先队列调度时，会恰巧在插入间隙，此时只有回收命令，故调度回收命令，导致原算法失效。

●最终使调度序列为：1、9、3、9、7、9、1、9、3、9、7、9……(1：创建命令；3：写命令；7：正常关闭命令；9：回收空间命令)

回收空间分片虽然很小，但是比其他命令要耗时。一个间隔一个执行，最终导致备份恢复性能的大幅下降。

根据本发明，对原系统进行了改进，将回收命令的优先级调整为最低(一共有8个优先级，回收命令的优先级为5，为所有命令中最低，6、7、8预留给新增命令)，并且开启延迟执行策略。

因所有命令执行命令一般都不超过1秒，所以设置执行周期为5秒，重算间隔为每12个，也即控制周期为1分钟。设置延迟命令的控制比例为80％。微调的条件为当前周期其他命令执行条数的变化幅度超过50％。

新增一个模式开关，提供两种模式：一种模式是延迟执行模式，只包括改进一，也即只有在没有高优先级命令执行时，才执行回收命令；一种模式是智能控制模式，包括改进一和改进二，也即本发明的方案内容。

针对提供的延迟执行模式，对步骤110、112、212做了相关的开关处理和状态变更。

表2为改进前后的性能比较表，测试的项目为10万个4KB大小的文件循环删除(循环删除设置为保留一个时间点的数据，也即备份下一个时间点的数据的同时删除前面时间点的数据，实际测试为备份一个时间点，删除一个时间点。修改前的测试，备份结束前，删除已经完成，如果删除始终伴随备份任务，耗时会更多)，实际测试结果，控制的比例能相当准确的维持在80％左右。

表2

Claims (5)

1.一种单线程多优先级系统的智能调度方法，其特征在于，该智能调度方法包括：

延迟执行调度部分，为每类命令添加延迟执行状态标识，并通过延迟恢复检查器检测是否需要恢复非延迟状态；

指定命令控制执行部分，设定控制周期，对每个控制周期计算指定命令的执行阈值，根据执行阈值控制每个控制周期中指定命令的执行个数，所述的指定命令控制执行部分具体为：

b1)将时间按固定周期划分为多个执行周期，取固定数量的执行周期作为一个控制周期；

b2)在当前控制周期，前两个执行周期内进行：完全不允许指定命令执行和完全允许指定命令执行，分别记录指定命令和其他命令的执行个数，计算出该控制周期内指定命令的执行阈值；

b3)在除前两个执行周期外的控制周期内，若已经执行的指定命令达到执行阈值，则停止该控制周期内指定命令的执行；

b4)进入下一个控制周期，重复执行步骤b2)-b3)，重置并重新计算执行阈值。

2.根据权利要求1所述的一种单线程多优先级系统的智能调度方法，其特征在于，所述的延迟执行调度部分具体为：

a1)判断所取的命令是否支持延迟执行，若是，则执行步骤a2)，若否，则取下一个命令，返回步骤a1)；

a2)判断步骤a1)中所取的命令是否处于非延迟状态且最近执行的命令比所取的命令的优先级高，若是，则启动延迟执行模式，并启动延迟恢复检查器，执行步骤a3)，若否，则执行该所取的命令，取下一个命令，返回步骤a1)；

a3)延迟恢复检查器判断是否有比所取的命令的优先级高的命令，若是，则保持延迟执行模式，若否，则恢复非延迟状态。

3.根据权利要求2所述的一种单线程多优先级系统的智能调度方法，其特征在于，所述的步骤a1)中，支持延迟执行的命令设有扩展状态，所述的扩展状态包括完全不允许指定命令执行状态、完全允许指定命令执行状态或正常状态。

4.根据权利要求1所述的一种单线程多优先级系统的智能调度方法，其特征在于，所述的执行阈值的计算公式具体为：

$b_{th}=\frac{{{\mathrm{aa}}^{\′}}_w(1-X\%)}{a-{a^{\′}}_w}---\left(1\right)$

b_th为指定命令的执行阈值，a为时间段t内，完全不允许指定命令执行时其他命令的执行个数，a′_w为时间段t内，完全允许指定命令执行时其他命令的执行个数，X％为其他命令的最低执行效率。

5.根据权利要求4所述的一种单线程多优先级系统的智能调度方法，其特征在于，若当前执行周期内其他命令的执行个数a′变化超过设定幅度，立即开始重新计算a、a′_w和b_th；否则对b_th进行微调：将公式(1)中的a调整为其中，a′_基为其他命令执行的基准个数。