CN101256515A - 多核处理器操作系统负载均衡的实现方法 - Google Patents

Abstract

本发明公开了一种多核处理器操作系统负载均衡的实现方法。是通过对多核处理器操作系统运行时，对负载情况进行检测，并根据检测的负载情况对线程进行分配。本方法实现多核处理器操作系统负载的均衡，从而在多核处理器操作系统上运行的多线程程序能够在操作系统的调度下，多线程均衡的分布在不同的处理器核上，从而提高多处理器核的执行效率。

Description

多核处理器操作系统负载均衡的实现方法

技术领域

本发明涉及多核处理器操作系统技术，特别是涉及一种多核处理器操作系统负载均衡的实现方法。

背景技术

摩尔定律已经出现了几十年了，但是近年来随着集成电路晶体管尺寸的不断缩小，在硅片尺寸里面很难再装下更多的晶体元件，集成电路的复杂度不能得到大幅度提升，进而预示着处理器性能得不到大幅度提高。另一方面，处理器的频率已经到了一个瓶颈(Pentium 4最高达到了3.8GHZ，并没有达到预期的4GHz)，已经很难再提高，即使可以提高运行频率，所带来的功耗问题也不能解决。因此，为了提升性能，以Intel、AMD、IBM为代表的硬件开发商开始着眼于多核处理器(也称单芯片多处理架构，Chip Multi-Processors，CMP)的开发。

新的体系结构的出现，必须有合适的软件匹配才能发挥其更好的性能。多核体系结构性能提升的最基本思想是将任务进行合适的分解，让任务在多个处理器上同时并行。因此，并行计算是多核体系结构最大的特点。目前任务的划分、多线程执行实现的主要瓶颈在软件上，因为多核体系结构要求的多线程不单是在软件程度上实现多线程，而且要在硬件层面上实现多线程。

操作系统作为与硬件接触最密切的软件，如何让操作系统更好地发挥多核的性能，是目前研究的一个热点。多处理之间协调工作，并发程度达到尽可能得大，很大程度上依赖于操作系统调度程序对任务的调度和分配。

众所周知，操作系统的任务调度包括对实时任务、交互性任务和后台批处理任务的调度。调度的算法可以基于优先级、时间片轮转、任务抢占等。调度解决的主要问题是如何达到资源最充分的利用和系统最大的吞吐量、而花费尽可能少的调度时间。

多处理器相较于单核处理器提出了新的调度问题：负载均衡和任务分配。负载均衡指尽可能让所有的处理器都能均衡的占有资源，以达到最大的系统吞吐率；任务分配指系统把任务合理分配到各处理器核上，以达到处理器之间工作量的均衡。在考虑诸多不同的多核体系架构下，探索一种合适的多核处理器调度显得尤为重要。

多核系统与单核系统最大的区别是多核系统的并发性。并发性要求系统中所有的处理器都能尽量达到最大的吞吐率和资源最大利用率。因此，我们希望每个处理器能均衡地执行任务，负载相同。

负载均衡是多核操作系统提出的新问题。在单核操作系统中，只有一个核，不需要考虑负载均衡。多核系统要尽量达到最好的执行性能，需要将任务均匀地分配到每个处理器核上，这里指的均匀，不单单是任务数量的均匀，还包括对系统资源访问均匀、执行时间均匀。任务合理分配的目标是负载均衡。从任务执行的狭义角度来看，任务运行的时间长短、访问资源的时机、请求系统中断等都是不可预见的，任务的执行是动态的。因此负载的均衡不能单方面考虑任务分配，当系统中处理器之间负载发生不均衡时，需要对任务作迁移作为运行时动态平衡，以达到各处理器负载均衡的目的。

合理的解决处理器的负载均衡这两个新问题，能够对资源进行更有效合理利用，使任务执行得到最快响应。

发明内容

本发明的目的在于提供一种多核处理器操作系统负载均衡的实现方法。

本发明解决其技术问题采用的技术方案如下：

1)调度域构建：

处理器核初始化的过程中，访问每个处理器核；共享二级缓存的处理器核被划分到同一个调度域当中；这样，就可以形成若干个不同的调度域；

2)负载向量计算：

使用资源使用率和运行队列长度作为计算负载向量的因子，使用公式(1)计算处理器核的利用率FCPU，其中Tused为处理器运算时间，Tidle为处理器空闲时间，

FCPU＝Tused/(Tidle+Tused)    (1)

使用公式(2)计算负载向量Fload，其中FCPU为处理器核的利用率，利用公式(1)进行计算，Frun-queue为处理器核运行队列的长度；

Fload＝(FCPU+1)*Frun_queue    (2)

3)负载均衡检测：

对于处理器核的一个调度域Pset＝{P1，P2，...，Pn}，其中P1，P2，...，Pn是调度域Pset中的处理器核，对于Pset中的处理器核Pi会去检测该处理器核与其他处理器核是否有负载失衡的状况；每个处理器核都有自己的负载检查，负载检查的时间发生在线程分配、处理器空闲和固定时间间隔；

负载均衡检查过程如下：

第一步，Pi检测与它在同一个调度域中的处理器核Pj，Pj+1，......，Pj+k，若负载不均衡，则返回负载向量相差最大的处理器核P和Pi负载向量差值正负的标志W，检查结束；

第二步，若同一调度域中的处理器核负载均衡，则去检查其他同层调度域中的负载，同层调度域的检查只需要检查其中任意一个处理器Pm即可；负载不均衡时，返回第一个负载量不平衡的处理器核P和Pi负载差正负的标志W；

4)线程分配：

当线程Tnew产生后，分配流程如下：

当线程Tnew的状态为可运行后，调用父线程Tparent所在处理器核Pparent的检测负载均衡，若负载均衡，则该线程被进入父进程所在的处理器核的运行队列中；否则，该线程被插到负载最小的处理器核Pload_least的运行队列中；

5)运行时动态负载均衡：

对于处理器核的集合Pset，对于任意Pi属于Pset，都有独立的检查负载均衡策略。这里采用的负载均衡检查策略与步骤3)中相同：

若Pi有线程运行，负载检测由Pi隔固定的时间间隔调用；若Pi空闲，则减少时间间隔数，以尽量少的时间间隔进行检测。若所有处理器核都空闲，则调整检查负载均衡的时间间隔数；

处理器核Pi发现负载均衡，负载均衡检查策略会返回与Pi负载不均衡的处理器Pt以及负载大小关系比较值W；若W＞0，Pi的负载量小于Pt，需要迁移Pi中部分就绪队列中的线程到Pt的就绪队列中；若W＜0，则需要从Pt中的就绪队列迁移部分线程到Pi中，以达到负载均衡；如果W＝0时，负载已经均衡，不需要迁移线程队列。

本发明与背景技术相比，具有的有益的效果是：

本发明是一种面向多核处理器操作系统的负载均衡方法，其主要功能是通过构建调度域，在调度域内部和调度域之间进行负载的均衡，从而在多核处理器操作系统上运行的多线程程序能够在操作系统的调度下，多线程均衡的分布在不同的处理器核上，从而提高多处理器核的执行效率。

(1)高效性。由操作系统对负载进行均衡，使得多个线程能够均衡的分布在多个处理器核上运行，提高了运行效率。

(2)实用性。负载均衡能够提高线程运行的并行度，减少线程迁移，经过反复试验证明有很好的实用性。

附图说明

图1是本发明的实施过程示意图；

图2是四核二路多处理器调度域构建的示意图；

图3是四核二路多处理器负载均衡的线程分配示意图；

图4是四核二路多处理器调度域内负载不均衡的线程分配示意图；

图5是四核二路多处理器调度域间负载不均衡的线程分配示意图。

具体实施方式

本发明是一种多核处理器操作系统负载均衡的实现方法，下面结合图1说明其具体实施过程。

1)调度域构建：

通常所说的线程是指共享资源的轻量级进程，在现代操作系统调度中，线程是任务调度的基本单位。在本发明中调度的基本单位是线程；而负载是指运行在不同的处理器核上的线程。多核处理器有三个典型的特点：多处理器核、处理器核间共享二级高速缓存、处理器核之间能通过寄存器直接通信。在这样的处理器上，一级高速缓存是各个处理器核私有的。

调度域，是负载量需要达到平衡的处理器核的集合。对于共享二级高速缓存的处理器核来说，线程在共享二级缓存的处理器之间迁移时，所发生的二级高速缓存失配率代价与不进行任务迁移的二级高速缓存失配率代价一致。调度域的构建是将共享二级缓存的处理器核划分到同一个调度域中。调度域是级层式结构。最高层(第n级的调度域，若有n层调度域)包含所有的处理器核，而最底层(第0级，基层调度域)的调度域表示调度中负载关系最密切的处理器核。如果两个处理器在同一个调度域中，需要进行负载均衡。调度域之间如果有父子、祖先或者兄弟关系，那么调度域之间的处理器核能进行负载均衡。图2以四核二路多处理器为例，说明调度域的结构。处理器核0和处理器核1为基层调度域，处理器核2和处理器核3亦为基层调度域。两个基层调度域共同构成上一层调度域。

每个处理器核在启动时都会分配到一个逻辑ID，这些逻辑ID从0开始递增。处理器核初始化的过程中，访问每个处理器核。共享二级缓存的处理器核被划分到同一个调度域当中。这样，就可以形成若干个不同的调度域。

2)负载向量计算：

负载向量是指进行负载比较的尺度。为了对负载均衡进行有效的评估，需要使用负载向量。负载向量，定义为判断处理器核负载的基本单位。

本发明使用资源使用率和运行队列长度作为计算负载向量的因子。

公式(1)给出了处理器核的利用率FCPU计算公式，其中Tused为处理器运算时间，Tidle为处理器空闲时间。

FCPU＝Tused/(Tidle+Tused)    (1)

公式(2)给出了本发明中负载向量的计算方式，其中FCPU为处理器地利用率，利用公式(1)进行计算，Frun-queue为处理器核运行队列的长度。

Fload＝(FCPU+1)*Frun_queue    (2)

3)负载均衡检测

负载检测是指操作系统检查处理器核之间是否存在负载不平衡。负载均衡的检查是多核操作系统调度实现负载均衡中十分重要的部分。对于处理器核的一个调度域Pset＝{P1，P2，...，Pn}，其中P1，P2，...，Pn是调度域Pset中的处理器核，对于Pset中的处理器核Pi会去检测该处理器核与其他处理器核是否有负载失衡的状况。

每个处理器核都有自己的负载检查。负载检查的时间发生在线程分配、处理器空闲和固定时间间隔。

负载均衡检查过程如下：

(1)Pi检测与它在同一个调度域中的处理器核Pj，Pj+1，......，Pj+k，若负载不均衡，则返回负载向量相差最大的处理器核P和Pi负载向量差值正负的标志W。检查结束。

(2)若同一调度域中的处理器核负载均衡，则去检查其他同层调度域中的负载。同层调度域的检查只需要检查其中任意一个处理器Pm即可。负载不均衡时，返回第一个负载量不平衡的处理器核P和Pi负载差正负的标志W。

对于负载量比较，需要用到前面所提到的负载向量。规定阀值M，对同一调度域中的处理器核，若负载向量差小于阀值aM(a＜1)，则负载均衡，反之，负载不均衡；不同调度域中的处理器，取阀值M做比较。其中阀值M和因子a的选择与二级高速缓存命中失配、调度队列任务转移时间、调度器调度时间等有关系，可以在使用时根据应用环境进行设定。

4)线程分配：

线程分配指线程均衡地分配到各个处理器核上。在新线程产生时，若处理器核负载均衡条件成立，线程会优先考虑在父线程执行的处理器核上继续执行。因此，在线程的任务描述符保留cpu_mask，用于标识某个线程可以运行的处理器核的集合，限制了线程可执行的处理器，设置该值后线程只能在cpu_mask规定的处理器核集合内执行，达到负载的静态平衡。

当线程Tnew产生后，分配流程如下：当线程Tnew的状态为可运行(runnable)后，调用父线程Tparent所在处理器核Pparent的检测负载均衡，若负载均衡，则该线程被进入父进程所在的处理器核的运行队列中。否则，该线程被插到负载最小的处理器核Pload_least的运行队列中。

下面以四核二路多核处理器为例，说明线程分配策略。处理器核0和处理器核1同在一个调度域中，处理器核2和处理器核3在同一个调度域。新线程的父线程在处理器核2就绪。图3中负载平衡，Tnew被分配到处理器核1中；在图4中调度域内负载不平衡，Tnew被分配到处理器核0中；图5调度域内负载均衡，但调度域间负载不平衡，Tnew被分配到处理器核2中。

在现代操作系统中，线程产生的速度很快。如果在每个线程产生时都去检测负载均衡，这个代价是得不偿失的。每个处理器核每隔一定时间间隔去检测负载均衡。在一段时间内，线程都分配到同一个处理器核中。这样更有效的解决负载均衡检测的代价问题。

5)运行时动态负载均衡：

线程在运行时的状态会因为各种资源不足、用户中断、运行异常、需要通信的线程状态为不可运行等情况进入等待队列，线程运行中的缺页损失会造成线程等待。各种线程不能正常继续运行的条件是不可预知的，因此线程运行的剩余时间是动态可变的。因此只有线程分配维持处理器之间的负载均衡是不够的，需要在线程运行时也做到动态的负载均衡。运行时动态负载均衡的实现主要由处理器核之间的线程迁移实现。

多核处理器共享二级缓存，线程在同一个调度域的处理器核间迁移，代价要比在不同调度域间的迁移失配代价小很多。

对于处理器核的集合Pset，对于任意Pi属于Pset，都有独立的检查负载均衡策略。这里采用的负载均衡检查策略与步骤3)中相同。若Pi有线程运行，负载检测由Pi隔固定的时间间隔调用；若Pi空闲，则减少时间间隔数，以尽量少的时间间隔进行检测。若所有处理器核都空闲，则调整检查负载均衡的时间间隔数。

处理器核Pi发现负载均衡，负载均衡检查策略会返回与Pi负载不均衡的处理器Pt以及负载大小关系比较值W。若W＞0，Pi的负载量小于Pt，需要迁移Pi中部分就绪队列中的线程到Pt的就绪队列中；若W＜0，则需要从Pt中的就绪队列迁移部分线程到Pi中，以达到负载均衡。如果W＝0时，负载已经均衡，不需要迁移线程队列。

由于很多因素，如线程迁移时很多线程不能进行迁移，有可能达不到负载平衡。所以需要对其他不平衡的处理器继续做动态负载平衡，直到负载平衡。让单个处理器核Pi独自检测负载均衡，平衡目标为Pi与其负载量相差最大的处理器核之间的负载。由于每个处理器核都会对与其负载量相差最多的处理器进行负载均衡，因此每个处理器核的动态负载平衡可以达到全局的负载平衡。线程从处理器Pt到Pi迁移时，当被选择的线程Tselected满足以下条件时，线程不做迁移。

(1)线程Tselected正在目标处理器核中执行。

(2)线程Tselected处于cache热命中状态，即当前线程在最近时间段内被使用过。

(3)线程Tselected的cpu_mask所示的处理器核集合中不包含处理器Pi，则线程Tselected不能被Pi运行。

Claims (1)

1.一种多核处理器操作系统负载均衡的实现方法，其特征在于：

1)调度域构建：

处理器核初始化的过程中，访问每个处理器核；共享二级缓存的处理器核被划分到同一个调度域当中；这样，就可以形成若干个不同的调度域；

2)负载向量计算：

使用资源使用率和运行队列长度作为计算负载向量的因子，使用公式(1)计算处理器核的利用率FCPU，其中Tused为处理器运算时间，Tidle为处理器空闲时间，

FCPU＝Tused/(Tidle+Tused)    (1)

使用公式(2)计算负载向量Fload，其中FCPU为处理器核的利用率，利用公式(1)进行计算，Frun-queue为处理器核运行队列的长度；

Fload＝(FCPU+1)*Frun_queue   (2)

3)负载均衡检测：

对于处理器核的一个调度域Pset＝{P1，P2，...，Pn}，其中P1，P2，...，Pn是调度域Pset中的处理器核，对于Pset中的处理器核Pi会去检测该处理器核与其他处理器核是否有负载失衡的状况；每个处理器核都有自己的负载检查，负载检查的时间发生在线程分配、处理器空闲和固定时间间隔；

负载均衡检查过程如下：

第一步，Pi检测与它在同一个调度域中的处理器核Pj，Pj+1，......，Pj+k，若负载不均衡，则返回负载向量相差最大的处理器核P和Pi负载向量差值正负的标志W，检查结束；

第二步，若同一调度域中的处理器核负载均衡，则去检查其他同层调度域中的负载，同层调度域的检查只需要检查其中任意一个处理器Pm即可；负载不均衡时，返回第一个负载量不平衡的处理器核P和Pi负载差正负的标志W；

4)线程分配：

当线程Tnew产生后，分配流程如下：

当线程Tnew的状态为可运行后，调用父线程Tparent所在处理器核Pparent的检测负载均衡，若负载均衡，则该线程被进入父进程所在的处理器核的运行队列中；否则，该线程被插到负载最小的处理器核Pload_least的运行队列中；

5)运行时动态负载均衡：

对于处理器核的集合Pset，对于任意Pi属于Pset，都有独立的检查负载均衡策略。这里采用的负载均衡检查策略与步骤3)中相同：

若Pi有线程运行，负载检测由Pi隔固定的时间间隔调用；若Pi空闲，则减少时间间隔数，以尽量少的时间间隔进行检测。若所有处理器核都空闲，则调整检查负载均衡的时间间隔数；

处理器核Pi发现负载均衡，负载均衡检查策略会返回与Pi负载不均衡的处理器Pt以及负载大小关系比较值W；若W＞0，Pi的负载量小于Pt，需要迁移Pi中部分就绪队列中的线程到Pt的就绪队列中；若W＜0，则需要从Pt中的就绪队列迁移部分线程到Pi中，以达到负载均衡；如果W＝0时，负载已经均衡，不需要迁移线程队列。

Images