CN105204938A - 一种内存访问的数据密集型进程调度方法 - Google Patents

Abstract

本发明公开了一种内存访问的数据密集型进程调度方法，包括步骤1，构造就绪队列；步骤2，构造调度队列；步骤3，构造优先等待队列，步骤4，当前时间片执行完之后，判断进程是否已经执行完毕，如果已经执行完成，将进程从所有队列中移除，否则将进程放入就绪队列，继续等待下一次调度；步骤5，判断所有进程是否执行完毕，如是则当前工作集完成，否则执行下一个进程。本发明具有如下的优点：优化系统管理，充分利用系统资源，避免了因内存总线竞争所造成的访问长时间等待。

Description

一种内存访问的数据密集型进程调度方法

技术领域

本发明属于计算机的内存访问技术领域，具体涉及一种数据密集型进程调度方法。

背景技术

在高性能计算和大数据应用中，将数据集移动到内存中以便于高速文件访问是一种技术趋势。为了充分利用存储系统的优势，许多内存文件系统和内存数据库被用来充分使用内存总线，提供快速文件读写。因为这些系统建立在直接连接到内存总线上的非易失性存储器(NVM)或者DRAM上，与传统基于块设备的数据I/O相比，这些系统有非常大的性能提升，这对需要大量读写数据的进程十分有利。然而，由于所有的文件访问都通过内存总线，当大量数据密集型进程同时读写内存文件系统时，会产生内存总线竞争的问题。

在现有的Linux系统中，访问内存文件系统的进程被默认的CompleteFairScheduler(CFS)调度器所管理。CFS的设计目标是尽量保证每个进程公平得到足够的CPU时间，CFS引入了“虚拟运行时间”的概念，通过系统的负载和进程的优先级动态计算每个进程在每个调度周期应该执行的时间。当数据密集型进程连续访问内存文件系统时，这些进程不会被切换，会一直占用内存总线和CPU，直到它们的时间片用完，即定时器中断才能触发进程调度。

目前的研究工作主要集中在如何充分利用内存文件系统，而由于使用内存文件系统带来的内存总线竞争的问题却没有被充分考虑。

发明内容

针对现有技术中存在的技术问题，本发明所要解决的技术问题是从系统调度策略的层面提供一种内存访问的数据密集型进程调度方法，它能优化系统管理，充分利用系统资源，避免因内存总线竞争所造成的访问长时间等待。

本发明的构思是：根据已有的调度方法分给每个进程的执行时间为固定长度的时间单元，称为“时间片”，在现有的操作系统中，时间片由定时器中断产生，其周期一般为100毫秒，并且该数值是系统的配置参数，可以根据需要修改；进程的时间片用完之后会被切换；每个应用程序的一个实例是系统调度的一个“进程”，多个应用程序组成一个“工作集”；每个进程从开始执行到执行完成所花的时间为其执行时间，工作集中所有进程执时间的最大值为工作集的完成时间。工作集中每个进程又具有单独执行所需的执行时间和每个时间片的内存带宽需求，内存带宽需求可以通过系统性能检测工具获取(比如perf)，这种工具通过读取处理器本身的硬件计数器，统计在一段时间内内存总线上的读/写次数，换算得出内存带宽需求。系统内存带宽能达到的最大值是系统的带宽资源限制，处理器个数决定了同一个时间片能够执行的进程个数的最大值；在每个调度时间片中没有被选中的进程等待的时间片需要增加1，每个进程允许等待的时间片的最大值称为等待“阈值”。

由此，针对内存总线的带宽限制和每个进程在每个时间片对带宽的需求，采用内存带宽需求高与带宽需求低的进程结合进行调度，使每个时间片的内存带宽需求之和不超过系统的总带宽，从而缓和总线竞争，缩短工作集的平均完成时间。

为了解决的上述技术问题，本发明包括以下步骤：

步骤1，将系统中的进程设置三个队列，分别是：

调度队列，用来保存每个时间片应该执行的进程；

就绪队列，用来保存新加入的进程；

优先等待队列，用来保存等待时间达到阈值的进程；

构造就绪队列：根据给定的工作集信息，将新加入就绪队列的进程按剩余时间片的多少在就绪队列中进行排序，剩余时间片多的进程排序在前，就绪队列中前面的进程优先进入调度队列；进程之间不存在依赖关系，各进程按自己时间片的先后顺序执行；

步骤2，构造调度队列：计算当前时间片所有进程的内存带宽需求之和，根据内存带宽需求之和、系统的最大带宽限制和处理器的数量，从就绪队列中选择合适数量的进程放入调度队列中，作为当前时间片应该执行的进程集；如果优先级等待队列中有进程，则首选优先级等待队列中的进程；

步骤3，构造优先等待队列：就绪队列中具有当前时间片而未被选中的进程设置等待时间，如果等待时间超过预设的阈值，则将该进程移动到优先级等待队列中；

步骤4，当前时间片执行完之后，判断进程是否已经执行完毕(剩余执行时间为0)，如果已经执行完成，将进程从所有队列中移除，否则将进程放入就绪队列，继续等待下一次调度；

步骤5，判断所有进程是否执行完毕，如是则当前工作集完成，否则执行下一个进程。

本发明的每个调度周期根据内存带宽需求和执行时间调度进程，最长执行时间的进程在就绪队列中具有排序在前的优先权，每个时间片选择的进程总体内存带宽需求不超过系统带宽，各进程又设有等待时间的阈值，限制了最长的等待时间，防止了进程饥饿。所以本发明具有如下的优点：优化系统管理，充分利用系统资源，避免了因内存总线竞争所造成的访问长时间等待。

附图说明

本发明的附图说明如下：

图1为本发明构造就绪队列的流程图；

图2为本发明构造调度序列的流程图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明：

在系统初始化阶段，需要提供当前工作集中每个进程的执行时间片和每个时间片的带宽需求信息，根据本发明的调度策略，调整工作集，建立高效的调度序列，使得每个执行时间片的内存带宽需求不会超过系统总带宽，以缓和内存总线竞争，缩短工作集的完成时间。

本发明包括以下步骤：

步骤1，将系统中的进程设置有三个队列：调度队列，用来保存每个时间片应该执行的进程；就绪队列，用来保存新加入的进程；优先等待队列，用来保存等待时间达到阈值的进程；

构造就绪队列：根据给定的工作集信息，将新加入就绪队列的进程按剩余时间片的多少在就绪队列中进行排序，剩余时间片多的进程排序在前，就绪队列中前面的进程优先进入调度队列；进程之间不存在依赖关系，各进程按自己时间片的先后顺序执行；

步骤2，构造调度队列：计算当前时间片所有进程的内存带宽需求之和，根据内存带宽需求之和、系统的最大带宽限制和处理器的数量，从就绪队列中选择合适数量的进程放入调度队列中，作为当前时间片应该执行的进程集；如果优先级等待队列中有进程，则首选优先级等待队列中的进程；

步骤3，构造优先等待队列：就绪队列中具有当前时间片而未被选中的进程设置等待时间，如果等待时间超过预设的阈值，则将该进程移动到优先级等待队列中；

步骤4，当前时间片执行完之后，判断进程是否已经执行完毕(剩余执行时间为0)，如果已经执行完成，将进程从所有队列中移除，否则将进程放入就绪队列，继续等待下一次调度；

步骤5，判断所有进程是否执行完毕，如是则当前工作集完成，否则执行下一个进程。

一、从工作集的输入信息构造就绪队列，流程图如图1所示，该流程开始于步骤101，然后，

在步骤102，首先初始化调度队列、就绪队列和优先级等待队列全为空；

在步骤103，把工作集的进程加入到就绪队列；

在步骤104，将进程按剩余时间片的数目进行排序，剩余时间片数目多的进程排在就绪队列的前面；

在步骤105，判断进程添加是否完成，如是，执行步骤107，否则，执行步骤106；

在步骤106，移动工作集中的下一个进程；转移执行步骤103；

在步骤107，得到工作集对应的就绪队列。

将工作集作为图1所示程序的一个输入，从该输入中可以得到每个进程的剩余时间片，就绪队列就是按照剩余时间片的数目排列的。比如，工作集中有3个进程，第一个进程的剩余时间片为3，第二个为5，第三个为2，那么，程序初始化的第一步就将进程1放入就绪队列，因为只有一个进程，不需要调整就绪队列中进程的顺序；第二步将进程2放入就绪队列，此时需要调整就绪队列中进程的顺序，使得剩余时间片降序排列，此时就绪队列中进程的顺序为2，1；第三步将进程3放入就绪队列，此时应该调整就绪队列中进程的顺序为2，1，3，剩余时间片为5，3，2，满足时间片降序排列的限制条件。

二、构造调度序列的流程图如图2所示，该流程包含构造每个时间片的调度序列和优先级等待队列，它开始于步骤111，然后，

在步骤112，输出优先级等待队列中的进程到调度队列，因为优先级等待队列中的进程比就绪队列中的进程优先级高，应该首先选择；

在步骤113，从内存总带宽中减去已经选择的进程的带宽需求，得到内存剩余带宽资源；

在选择每个时间片应该执行的进程时，主要考虑内存的带宽限制。在某些调度时间片，可能少数的几个进程就会占据系统的全部带宽资源，处理器的个数可能超过进程的个数，处理器为空闲。在这种情况下，空闲的处理器不执行任何进程，等待下一个调度时间片分配进程。

在步骤114，判断已经选择的进程个数是否超过CPU的个数，如果没有，转到步骤115；如果是，则执行步骤119；

在步骤115，判断剩余带宽资源是否大于0，如果是，执行步骤117，否则，执行步骤116；

在步骤116，删除调度队列中最近添加的进程，因为系统剩余带宽资源不能满足该进程的执行，转到步骤117；

删除进程的目的只是这个时间片不执行这个进程，也就是这个时间片的调度队列中没有这个进程，但是只要这个被删除的进程剩余的时间片不为0，则在构造下一个时间片的调度队列时能被选中。

在步骤117，输出就绪队列中下一个进程到调度队列；

在步骤118，判断当前时间片的所有进程是否处理完成，如果是，转到步骤119，否则转到步骤113；

在步骤119，此时间片的调度序列构建完成；

在步骤120，更新就绪队列中未被选择进程的等待时间；

在步骤121，判断等待时间片是否超过阈值，如果是，则转到步骤123，否则转到步骤122；

在步骤122，调整进程在就绪队列中的位置，需要将进程按照剩余时间片降序排列，然后执行步骤124；

在步骤123，移动该进程到优先级等待队列；

在步骤124，判断是否处理完所有的时间片，如果是，执行步骤125，否则，转到步骤112；

在步骤125，程序结束。

实施例

实施例中，假设系统总带宽为15，系统有4个CPU，等待时间片阈值为2。

表1为一个工作集中的进程列表

表1.每个进程在每个时间片的带宽需求

表1中有5个进程，每个进程的执行时间和在每个时间片的带宽需求如表所示，例如，进程1需要执行两个时间片，在第1个时间片的带宽需求为8，在第2个时间片的带宽需求为7，其余进程以此类推；

构造的就绪队列以及设置的优先级等待队列如表2所示，

表2

表2中，所有的进程按照剩余执行时间片长短由大到小排序，此时所有进程的等待时间片都为0，优先级等待队列为空。

依据表2中排在就绪队列前面的、且带宽需求之和不大于15，调度队列选择了5，2，3三个进程之后，总带宽为14，如表3所示，就绪队列和优先级等待队列的变化情况。

表3调度队列选择5，2，3三个进程，总带宽：14

表3中，调度队列中包含该时间片应该执行的三个进程，这三个进程的总带宽需求为14，满足带宽和CPU限制。同时，未被选中的进程1和进程4的等待时间片加1。依据表3中排在就绪队列前面的、且带宽需求之和不大于15，调度队列选择了5，2，4三个进程之后，总带宽为14，如表4所示，就绪队列和优先级等待队列的变化情况。

表4调度队列选择了5，2，4三个进程，总带宽：14

表4中，调度队列中三个进程的总带宽需求为14，更新就绪队列中进程3和进程1的等待时间片，因为进程1的等待时间片达到阈值2，需要将其移动到优先级等待队列；依据表4中优先级等待队列的和排在就绪队列前面的，调度队列选择了1，5，3三个进程之后，总带宽为13，如表5所示，就绪队列和优先级等待队列的变化情况。

表5调度队列选择了1，5，3三个进程，总带宽：13

表5中，由于优先级等待队列中有进程1，调度队列首先选择进程1，然后从调度队列中根据进程带宽需求和CPU个数限制选择其它进程；依据表5中在就绪队列前面的、且带宽需求之和不大于15，调度队列选择了5，3，2三个进程之后，总带宽为14，如表6所示，就绪队列和优先级等待队列的变化情况。

表6调度队列选择了5，3，2三个进程，总带宽：14

表6中，就绪队列中进程4的等待时间片达到阈值，将其移动到优先级等待队列中；依据表6中优先级等待队列的和排在就绪队列前面的进程，调度队列选择了4，5，3，2四个进程，总带宽为12，如表7所示。

表7调度队列选择了4，5，3，2四个进程，总带宽：12

表7中，进程1的等待时间片达到阈值，将其移动到优先级等待队列，并且进程2和3的剩余时间片为0，表示进程执行结束；依据表7中优先级等待队列的和排在就绪队列前面的进程，调度队列选择了1，5，4三个进程，总带宽为9，如表8所示。

表8调度队列选择了1，5，4三个进程，总带宽：9

表8中，所有进程剩余执行时间片为0，表示工作集执行完成，算法至此结束。

本发明的优点在于:每个时间片选择的进程都满足系统带宽资源限制，可以缓解由于系统内存总线竞争导致的性能降低情况，通过考虑工作集中进程的剩余执行时间，可以使工作集的平均完成时间最小。

Claims (1)

1.一种内存访问的数据密集型进程调度方法，其特征是，包括以下步骤：

步骤1，将系统中的进程设置三个队列，分别是：

调度队列，用来保存每个时间片应该执行的进程；

就绪队列，用来保存新加入的进程；

优先等待队列，用来保存等待时间达到阈值的进程；

构造就绪队列：根据给定的工作集信息，将新加入就绪队列的进程按剩余时间片的多少在就绪队列中进行排序，剩余时间片多的进程排序在前，就绪队列中前面的进程优先进入调度队列；进程之间不存在依赖关系，各进程按自己时间片的先后顺序执行；

步骤2，构造调度队列：计算当前时间片所有进程的内存带宽需求之和，根据内存带宽需求之和、系统的最大带宽限制和处理器的数量，从就绪队列中选择合适数量的进程放入调度队列中，作为当前时间片应该执行的进程集；如果优先级等待队列中有进程，则首选优先级等待队列中的进程；

步骤3，构造优先级等待队列：就绪队列中具有当前时间片而未被选中的进程设置等待时间，如果等待时间超过预设的阈值，则将该进程移动到优先级等待队列中；

步骤4，当前时间片执行完之后，判断进程是否已经执行完毕，如果已经执行完成，将进程从所有队列中移除，否则将进程放入就绪队列，继续等待下一次调度；

步骤5，判断所有进程是否执行完毕，如是则当前工作集完成，否则执行下一个进程。