CN102708007B - 片上多线程计算机系统中线程性能预测和控制方法 - Google Patents

Abstract

片上多线程计算机系统中线程性能预测和控制方法，是为解决目前CMT系统中的线程意外饥饿和停滞，资源滥用，优先级颠倒等技术难题而设计的。该方法用“性能-资源”依赖关系模型指导CMT系统中关键资源(RRF)的分配，实现对线程性能进行预测和控制；模型参数的获取和调整是通过线程采样在线学习得到；以实现对线程性能实时跟踪及准确预测；根据设定的性能要求利用参数确定模型计算要达到该性能所需要的关键资源数量，重新调整资源分配。有益效果：模型简单，能准确描述性能-资源的依赖关系；适应性强，能实现对各类线程性能比较精确的预测和控制；支持绝对性能和性能百分比两种控制方式；实现代价小，在现有体系结构基础上易于实现，实现多线程对片上资源的有序分配及性能的可预测性和可控制性。

Description

片上多线程计算机系统中线程性能预测和控制方法

技术领域

本发明涉及一种计算机资源分配和线程性能的预测和控制方法，尤其涉及一种片上多线程(CMT)计算机系统中线程性能预测和控制方法。该发明属于计算机系统设计领域，用于对计算机系统、特别是片上多线程计算机系统结构进行性能设计、预测、控制，具体应用领域是片上多线程体系结构上的处理器内部的线程调度、资源分配、操作系统任务调度等功能的设计和实现。

背景技术

现代计算机系统已逐步进入片上多线程(CMT)系统结构时期，允许多个线程在处理器内部同时运行，通过挖掘和利用线程级并行(TLP)，克服指令级并行(ILP)的不足，提高计算机系统的整体处理能力和资源利用率。CMT是硬件级多线程并行，其主要架构形式包括同时多线程(SMT)，片上多处理器(CMP)，或二者的混合体。与传统的操作系统(OS)通过时间片方式调度实现的多任务并发(concurrency)机制不同，CMT系统中是硬件上、时间上的物理并行，多个线程同时在片运行，竞争并共享各种片上资源和整个计算机系统的资源，使得系统的吞吐率(throughput)和资源利用率得到的显著提升。然而，多个线程对处理器片上资源的竞争存在很大的盲目性。如果置之不理或者处理不当，则极有可能引起线程间的互相干扰和对资源恶性的竞争，形成一系列不良后果，例如：线程的意外饥饿和停滞、资源滥用、优先级颠倒、实时性被破坏、交互性被破坏、服务质量(QoS)降低等，这些问题严重增加了计算机系统的不可预测性和不可控制性，整体性能也随之降低。通过分析找出上述问题的原因，主要以下有两方面：

软件方面：现有操作系统根据线程的任务级别、运行要求、调度策略等选择一个或多个线程调度到某个处理器上运行或者进行线程切换。其调度功能是工作在通过控制处理器分配时间来控制线程运行时间这一层面，将线程进入处理器的时间等同于线程运行时间。该做法对传统单核、单线程系统完全没有问题，而对CMT系统却容易出现偏差。操作系统对处理器片上资源难以监控和管理，对多线程的片内运行难以监控和管理。资源的竞争和共享使得多线程的执行进度并非均匀一致，不可避免地出现差异，即线程运行时间不能等同其在片时间。在这种情况下，为了满足指定线程的性能要求，从操作系统的角度只能通过调度分配其更多的在片时间、甚至让其一定程度地独占在片资源，这必然牺牲了其它线程的运行进度，是以资源的不公平分配和整体处理能力的下降为代价。此外，现有调度方法中还有试图通过改善线程搭配的合理性来提高对线程性能的预测和控制，然而这需要对各类线程运行特性的预知或者在线学习，以及对线程的类型、数量、运行特性平稳等方面要求，这很大程度上制约了其实用性和适应性。

硬件方面：CMT是硬件级线程并行，与传统并发方式的OS线程调度相区别，CMT更多依靠片上硬件逻辑实现资源分配和线程调度策略，为软件(OS和应用程序)同时提供多个线程上下文(context)，其内部细节通常对软件是透明的，因此CMT的片上调度和控制逻辑对系统整体性能的发挥至关重要。然而受限于以下几个因素，设计和实现科学、合理、高效率、适应性强的硬件级资源分配和线程调度策略并非易事：(1)不同线程的运行特性和资源依赖特性差别很大，即使是一个线程在不同运行阶段也会出现不断变化，这种差异和变化使得对线程性能的预测类似于未卜先知，非常困难。(2)线程运行需要各种在片资源(可粗略分为带宽类和存储类)，不同资源对线程性能的影响机理和程度不同，且存在一定的耦合作用。因此线程性能对资源的依赖关系实质上是对一个多输入、多约束条件下的非线性问题进行实时地、连续地求解，需要考虑软、硬件代价和可实现性，因此建模困难。(3)前述的两点困难实际上对传统单核、单线程系统也存在，但依赖片上资源独占和操作系统的适当调度，基本能够满足系统要求。然而对CMT而言，多个线程间存在片上资源互相竞争和干扰现象，进一步加剧了线程性能和整个系统的不可预测性和不可控制性，因此需要专门的研究和处理。

综上，线程性能的预测和控制能力关系到CMT系统性能潜力能否充分发挥以及计算任务能否按要求执行，现有技术无论是软件还是硬件方面都难以给出满意的解决方案。归其原因，一方面是目前缺少线程“性能-资源”依赖关系的准确的、量化的、普适的、可操作的模型，导致目前除了操作系统调度控制在片运行时间之外，对线程性能的预测和控制无从下手。另一方面，CMT系统的线程调度功能由操作系统层次部分下移到处理器内部实现，各线程的进度水平实际是受到操作系统调度方法和处理器片上资源分配和线程调度方法共同影响和决定，加大了线程性能的预测和控制难度。总之，目前对CMT系统中线程性能缺少有效的预测、控制的方法和技术。

发明内容

本发明为了解决目前CMT计算机系统中多线程对片上资源的无序竞争和互相干扰，以及多线程运行的性能不可预测性、不可控制性等技术难题，提供了一种CMT计算机系统中线程性能预测和控制方法，该方法的实现步骤：

(1)建立线程“性能-资源”依赖关系模型

基于关键资源(重命名寄存器，即RRF)分配的线程“性能-资源”依赖关系的量化模型：

$f\left(x\right)=\frac{p_1*x+p_2}{x^2+p_3*x+p_4}$ (公式1)

其中：

x表示资源数量，即重命名寄存器的尺寸，用RRF_size表示；

f(x)代表性能，用IPC表示；

p₁～p₄为待确定参数；

(2)模型参数的计算和调整

模型参数的计算和调整是通过线程采样运行在线学习得到；根据线程运行情况实时地计算和调整参数p₁～p₄；通过设定不同的RRF_size，即公式1中的x，并获取对应的IPC，即公式1中的f(x)，得到关于参数p₁～p₄的四元一次方程组，求解得到；

(3)线程性能的预测和控制

根据建立的“性能-资源”依赖关系模型，对指定线程在运行过程中持续进行性能采样和监测，实现对线程性能进行实时跟踪和准确预测。根据用户或系统设定的性能要求，利用参数确定模型计算要达到该性能所需要的关键资源(RRF)数量；利用参数确定模型的计算结果指导CMT系统中关键资源的分配和调整，从而实现对线程性能的预测和控制，达到用户或系统对该线程的性能设定要求。

本发明的有益效果：本发明能够实现对线程性能比较精确的预测和控制，解决CMT计算机系统中多线程对片上资源的无序竞争和互相干扰，克服多线程运行的性能不可预测性、不可控制性。本发明的应用对于彻底解决CMT系统中的线程意外饥饿和停滞、资源滥用、优先级颠倒、实时性被破坏、交互性被破坏、服务质量(QoS)降低等问题很有帮助。

本发明的特点：

(1)模型简单、准确，能够准确地描述“性能-资源”的依赖关系。

(2)适应性强，能够实现对各类线程性能比较精确的预测和控制。

(3)支持绝对性能和性能百分比这两种性能控制方式。

(4)实现代价小，在现有体系结构基础上容易实现。

附图说明

图1.线程的“性能-资源”依赖关系(用SPEC CPU2000测试)

图2.性能公式参数(p₁～p₄)的计算方法

图3.线程性能的预测和控制方法

具体实施方式

参见图1-图3所给出的CMT计算机系统中线程性能预测和控制方法的实现过程；下面详细介绍每个步骤的技术手段、方案：

(1)线程“性能-资源”依赖关系模型的建立：这是本发明的基础。该依赖关系十分复杂，迄今为止国内外还没有出现准确的、普适的、可操作的量化模型。我们在研究过程中通过分析、实验、简化和抽象，设计出一种基于关键资源(重命名寄存器，即RRF)分配的线程“性能-资源”依赖关系的量化模型，如公式1所示。该模型的提出基于如下事实：(a)线程在流水线上运行时，需要各种存储类资源(如：取指队列、重命名寄存器、发射队列、再定序缓冲、保留栈、数据读写缓冲、I-Cache、D-Cache)和各种带宽类资源(如：取指带宽、译码带宽、重命名带宽、发射带宽、各类执行单元的数量和间隔、读写带宽)。不同资源对线程性能的影响机理和程度各不相同，建立一个涵盖各类资源和各种因素的统一模型既不现实、也没必要。理论分析和大量实验发现，找出对线程性能起到调控作用的关键点，即通过对关键带宽类资源分配的调控，完全可以实现对线程性能的预测和控制。(b)重命名寄存器(RRF)是现代动态超标量处理器的标准技术，是实现指令乱序发射、提高ILP的重要基础。RRF作为流水线前端最重要的存储类资源，其分配数量对线程在后面各流水段的资源分配和运行过程有直接的调控作用。因此，本发明选取重命名寄存器数量(RRF_s ize)作为“性能-资源”模型的自变量。(c)通过国际通用的SPEC CPU2000测试集全部26个程序的大量测试，验证了该量化模型的准确性、普适性、可操作性。图1给出了各测试程序的IPC对RRF_size的依赖关系(连续100个大小为1M条指令的线程片段)，其中的点为实测数据点，曲线为采用公式1进行拟合的结果。

(2)模型参数的计算和调整：该模型具有准确性和普适性。然而不同的线程依赖特性有所差别，即使同一线程的不同阶段也会有所变化，因此应用该模型的前提是根据线程运行情况实时地计算和调整参数p₁～p₄。参数计算的流程如图2所示。其原理是连续4次对指定线程进行采样方式运行，即设定不同的RRF_size(公式1中的x)并获取对应的IPC(公式1中的f(x))，得到关于参数p₁～p₄的四元一次方程组，求解得到。

(3)线程性能的预测和控制方法：根据建立的“性能-资源”依赖关系模型，本发明设计出对线程性能的准确预测和控制方法，其流程如图3所示。其基本过程是对指定线程在运行过程中持续进行性能采样和监测，并根据模型计算结果进行资源的分配调整，达到用户或系统对该线程性能方面的设定要求。其中步骤2的采样测定参数的过程即是图2所示的参数计算过程。采样测定参数后，根据模型估算该线程的最大性能潜力，即f(x)的极值。实际计算过程中，可以将其导数即f′(x)等于或接近于0(例如0.03)时的值认定是最大性能(参见图1)。此后，如果设定的是绝对性能，需要对设定性能是否合理进行判断并相应处理，即不能大于该线程估算的最大性能。如果设定的是相对性能(即占最大性能的百分比)，则需要在步骤4换算成绝对性能。在步骤5中根据公式1计算x(即达到设定性能所需要的RRF_size)，根据计算结果进行RRF的分配和调整。此后保持线程运行直至下一次参数调整间隔返回步骤2重新测定并调整参数，或者线程运行结束。

实施例

参看图2-图3，应用本发明能够对CMT计算机系统中线程性能进行预测和控制，解决CMT计算机系统中因为多线程对片上资源的无序竞争和互相干扰带来的各种问题，克服多线程运行的性能不可预测性、不可控制性。本发明的具体实施可以在硬件级(即处理器芯片内部)设计完成，也可以由操作系统配合硬件设计共同完成。根据用户或应用程序设定的性能要求(绝对性能或性能百分比)，利用参数确定好的模型计算要达到该性能所需要的关键资源(RRF)数量，调整资源分配，达到线程性能控制的目的。模型参数的获取和调整是通过线程采样在线学习得到，如图2所示。这种在线学习和定期调整方式保证了对线程性能的实时跟踪，保证对线程性能预测和控制的准确性。

这里通过一个典型的应用场景来说明该方法的实施过程。设CMT计算机系统正在同时运行n个线程T1-Tn，其中某个线程Tx有特殊的性能要求IPCx，其余线程没有特殊的性能要求。要实现这一要求，参看图3：步骤1，首先要设定Tx线程要达到的绝对性能或性能百分比；步骤2通过采样确定Tx的性能模型参数p₁～p₄，即参看图2所示过程，在连续4次短期(例如1M周期)的采样过程中为Tx设定不同的RRF_size并测算其对应的IPC，求解方程组得到参数p₁～p₄。步骤3，根据性能公式1估算线程Tx的最大性能。步骤4，判断设定的IPCx的合理性(不能大于步骤3中估算的最大性能)。步骤5，根据性能公式1计算Tx需要的RRF_size并调整RRF分配。步骤6，保持系统运行，直到下次参数调整间隔(例如100M周期)返回步骤2或者线程Tx运行结束。以这种“采样-参数计算-资源分配调整-连续运行”的循环方式连续运行直到线程结束，能够达到线程Tx要求的性能IPCx。通过实验对全部26个SPEC CPU2000各类测试程序进行验证，有效率达100％，准确率达95％以上，即设定性能与实际性能的误差小于5％，达到了对CMT线程性能精确预测和控制的目的。

参见图2，关于模型参数的计算和调整需要说明的几点：(a)线程的性能特性和资源需求具有一定的惯性，二者虽然随着运行不断变化，但在一个相对较短的时间间隔内(如100M周期或100M条指令)大多是保持相对稳定的。因此这种通过连续采样方式获得参数的方法是切实可行的，即得到的参数对后面一段时间的线程运行能做到比较准确的预测。(b)采样片段占线程总体运行时间的比例很小，对线程正常运行的影响可以忽略。以100M周期参数调整间隔为例，连续4次1M周期的采样可以指导其后96M周期的线程运行，采样时间比例只占4％。实际上对于性能和资源需求相对平稳的线程，采样时间比例可以更低。(c)现代处理器和计算机系统普遍支持片上计数和统计功能(cycle-levelcounting)，例如图2中每个采样片段的指令计数和周期计数，这种硬件级支持使得对线程运行过程的指标统计变得很容易、且实现代价很小。(d)步骤5中四元一次方程组求解需要的计算量很小，可以由操作系统开辟一个专门线程进行计算或采用硬件固化实现，对其余在片线程的运行的影响基本可以忽略。(e)该方法的步骤1中的初始化设置实际上是根据经验和具体CMT系统配置水平来确定，没有必要每次都设定。在实际应用中，建议结合操作系统的线程调度管理以及对线程运行状态的在线评测适时地进行调整，可进一步提高该方法的适应性。

参见图3，关于线程性能的预测和控制方法需要说明的几点：(a)步骤1对线程性能的设定由用户或操作系统根据程序运行的具体要求进行设定，结果记入操作系统的调度模块中关于该线程的调度记录。(b)整个过程的实现可由操作系统和处理器配合完成，虚线内的计算部分可由操作系统开辟专门的管理线程进行，也可以在处理器内部固化硬件实现。资源分配和调整的功能在处理器内部进行，需要对现有体系结构的进行调整和再设计，这在现有体系结构(支持片上计数和统计功能、支持资源显式分配)的基础上容易实现，实现代价很小，几乎可忽略。(c)应用该方法既可以预测和控制某一指定线程的性能，也可以预测和控制某几个指定线程的性能(即将该方法同时用于多个线程)，前提是累计性能要求不超过系统的最大处理能力。(d)整个运行过程中，处理器内部或操作系统对整个运行过程中线程运行和资源分配情况进行跟踪监测和相应管理，保证系统的正常运行。

附：英文缩写的含义、中文名称

CMP：chip multiprocessor，片上多处理器

CMT：chip multithrea ding，片上多线程

ILP：instruction level parallelism，指令级并行

IPC：instruction per cycle，指令/节拍，计算机系统性能单位

OS：operating system，操作系统

RRF：rename register file，重命名寄存器

RRF_size：rename register file size，重命名寄存器的尺寸

SMT：simultaneous multithreading，同时多线程

TLP：thread level parallelism，线程级并行。

Claims (1)

1.片上多线程计算机系统中线程性能预测和控制方法，该方法实现步骤：

（1）建立线程“性能-资源”依赖关系模型

是基于重命名寄存器RRF分配的线程“性能-资源”依赖关系的量化模型：

$f\left(x\right)=\frac{p_1*x+p_2}{x^2+p_3*x+p_4}$      公式1

其中：

x表示资源数量，即重命名寄存器的尺寸，用RRF_size表示；

f(x)代表性能，用IPC表示；

p₁～p₄为待确定参数；

（2）模型参数的计算和调整

根据线程运行情况实时地计算和调整参数p₁～p₄：设定不同的RRF_size，即公式1中的x，并获取对应的IPC，即公式1中的f(x),得到关于参数p₁～p₄的四元一次方程组，求解得到；

（3）线程性能的预测和控制

根据建立的“性能-资源”依赖关系模型，对指定线程在运行过程中持续进行性能采样和监测，并根据模型计算结果进行资源的分配调整，达到用户或系统对该线程性能方面的设定要求；

用“性能-资源”依赖关系模型指导片上多线程计算机系统中关键资源的分配，从而达到对线程性能进行预测和控制的目的；模型参数的获取和调整是通过线程采样在线学习得到；以实现对线程性能进行实时跟踪、对线程性能准确预测；根据用户或应用程序设定的性能要求，利用参数确定模型计算要达到该性能所需要的关键资源RRF数量，重新调整资源分配，达到线程性能控制的目的；

线程性能的预测和控制的具体步骤如下所示：

设片上多线程计算机系统正在同时运行n个线程T1-Tn，其中某个线程Tx有特殊的性能要求IPCx，其余线程没有特殊的性能要求，

步骤1，首先要设定Tx线程要达到的绝对性能或性能百分比；

步骤2，通过采样确定Tx的性能模型参数p₁～p₄，在连续4次短期的采样过程中为Tx设定不同的RRF_size并测算其对应的IPC，求解方程组得到参数p₁～p₄；

步骤3，根据性能公式1估算线程Tx的最大性能；

步骤4，判断设定的IPCx的合理性，不能大于步骤3中估算的最大性能；

步骤5，根据性能公式1计算Tx需要的RRF_size并调整RRF分配；

步骤6，保持系统运行，直到下次参数调整间隔返回步骤2或者线程Tx运行结束，以这种“采样-参数计算-资源分配调整-连续运行”的循环方式连续运行直到线程结束，能够达到线程Tx要求的性能IPCx。