CN1841330A - 用于管理多节点smp系统的方法和系统 - Google Patents

Abstract

在多节点SMP系统中，使得每一节点的至少一个处理器能够针对该节点的本地硬件资源来执行SMM任务。此外，向每个节点自身的SMM存储器段中分配它自身的本地SMM码拷贝，以允许存取的改进和节点间业务量的进一步减少。在优选实施例中，使得每一节点的仅单个处理器能够执行SMM任务，并且分配和使用SMM存储器段内的具体SMM存储器位置，以报告来自每个节点的状态和结果。根节点SMM处理器监视其他节点完成SMM状态的录入。为了进一步减少运行期的节点间业务量，创建了每一节点的资源映射，以标识特定节点所特有的存储器和I/O资源。然后分别将每一节点的该资源映射本地存储于每个节点上的SMM空间内。

Description

用于管理多节点SMP系统的方法和系统

技术领域

本发明涉及多节点环境中的系统管理领域。

背景技术

系统管理模式(SMM)是用于英特尔兼容计算机系统中的专门模式，在英特尔兼容计算机系统中使用专门的存储器段存储信息和执行指令，而无需操作系统即背景中的“知识”。该模式一般用于处理硬件特定功能，并且如今使用在用于管理与可靠性有关的功能比如存储器擦除和错误处理的高端服务器系统中。SMM的主要功能是校验/监视计算机内的存储器和I/O子系统。

SMM为计算机设计者提供了很大的灵活性；然而，如果这一管理代码的执行时间占用了操作系统过多的时间，则它还可能造成意外的问题。该问题出现在对称多处理(SMP)机器中，并且在大型的多机架或多节点计算机中可能变得特别严重(术语“节点”和“机架”在这里是可交换使用的)。

SMP是一种通过使得多个CPU可用于同时完成各个单独的处理来提供快速性能的计算机构架。与非对称处理不同，它可向任何空闲处理器分配任一任务，并且可以添加额外的CPU以提高性能并处理增加的负荷。典型的SMP配置利用了四个CPU，称为“四路SMP系统”。在现有技术的四路SMP系统中，将SMM配置为使得四个CPU之一存取SMM存储器段并且控制和管理用于整个机架的SMM处理。这里将其称为“方案1SMM”。

认识到存储器和I/O子系统的及时校验是非常需要的，在此情况下开发出一种改进，通过它可同时(即并行)利用所有四个CPU，由此将延迟最小化。在该配置中，将SMM存储器段分割，使得能够根据SMM代码将每个CPU的任务分配给每个CPU，以在存储器和I/O子系统上进行迅速校验。这里将其称为“方案2SMM”。

多机架或多节点SMP计算机是通过将多个计算机机架或节点按照将它们作为一个计算机实体相互配合动作的方式互连来配置的。多节点计算机系统的节点一般可以是由四路SMP机器组装的。特别是在将多个节点互连以包含大型SMP机器比如八路或16路SMP机器的情况下，SMM处理及其控制和管理呈现出显著的延迟和/或性能问题。具体来说，如果利用方案1SMM处理，则将要使用SMM乘法进行校验的存储器和I/O子系统的大小对于每个额外节点而言基本会增加100％。例如，在两个节点的计算机系统中，分配有进行校验/管理操作的任务的单个CPU不但对于其自身节点内的存储器和I/O子系统、而且对于第二节点中的存储器和I/O子系统而必须这样做。显然，多节点计算机系统中的节点越多，分配有该任务的单个CPU需要校验的存储器和I/O子系统的数目(或大小)就越大。

如果利用方案2SMM处理，虽然确实是会比方案1更快地校验所有存储器和I/O子系统，却并未利用节点架构，因为每个CPU的任务将存储于同一基本SMM资源空间中并从该空间中执行，因此在互连业务、控制和报告、以及根节点SMM存储器空间利用中会产生低效率。

因此，就需要有一种在多节点系统中有效率地利用SMM处理的方法。

发明内容

在多节点SMP系统中，使得每一节点的一个处理器能够针对该节点的本地硬件资源来执行SMM任务。此外，向每个节点自身的SMM存储器段中分配它自身的本地SMM码拷贝，以允许存取的改进和节点间业务量的进一步减少。在优选实施例中，分配和使用SMM存储器段内的具体SMM存储器位置，以报告来自每个节点的状态和结果。根节点SMM处理器监视其他节点SMM状态的录入的完成。为了进一步减少运行期的节点间业务量，创建了每一节点的资源映射，以标识特定节点所特有的存储器和I/O资源。然后分别将每一节点的该资源映射本地存储于每个节点上的SMM空间内。

附图说明

图1A示出了单个节点的SMP系统；

图1B表示允许可扩展性的多节点配置，其中以高速接口101(例如经由可扩展性端口)来互连两个四路系统；

图2A是示出了在按照方案1SMM执行时用于SMM处理的存储器分配的框图；

图2B示出了多节点配置中的方案1SMM；

图3A示出了用于四路SMP系统的存储器分配，这时具有按照方案2SMM处理来分配的存储器；

图3B示出了按照方案2SMM处理的多节点SMM处理；

图4示出了按照本发明的多节点SMM系统；

图5是示出了用于按照本发明的多机架SMP计算机系统的操作的初始化处理的流程图；以及

图6是示出了在运行期的例程期间所执行的步骤的流程图。

具体实施方式

图1A图示了单个节点的SMP系统102。图1A中所示的节点102是标准的单个节点(有时也称为单个机架)四路配置。图1A中所示的架构是工业标准SMP系统的一个例子。

在图1A的节点102中，CPU106、108、110和112以及控制器114存在于CPU卡104上。控制器114控制CPU与I/O子系统116及存储器元件118之间的各种操作。如上所述，图1A中所示的节点102是四路配置，因为它在节点内具有四个CPU。每个CPU平等地存取所有系统资源(存储器和I/O子系统)。该公知的架构实质上具有四倍于单个CPU配置的处理能力。

图1B示出了允许可扩展性的多节点配置，其中以高速接口101(例如经由可扩展性端口)来互连两个四路系统。可扩展性端口提供了多种扩展能力。这些端口允许位于不同机架中的处理器之间的高速通信。这些端口像CPU本地总线的硬件扩展那样工作。它们将读和写周期指引到适当的存储器或I/O资源，以及在处理器与所有存储器之间保持高速缓存和存储器的连贯性。尽管图1B中仅示出两个节点，但是可以理解，能够互连两个以上的节点，由此提高和扩展集合系统的性能。如图1B中所示配置的多节点系统作为单个单元来工作，并且每个处理器平等地存取所有节点中的所有系统资源。

在此例中，图1A的单个节点四路配置的处理能力近似翻了一番。在公知的方式下，控制器114和134上的可扩展性端口使得两个四路系统互连。如图1B中所见，节点102(这里也称为节点1)和节点122(这里也称为节点2)是同样的系统。可以理解，这些节点不必是同样的；它们可具有不同大小的存储器元件和/或不同的I/O数量。另外，在典型配置中，每个节点中有一个到四个CPU，或者一个节点中可有三个CPU，另一节点中有四个CPU，等等。

图2A是示出了在按照如上所述方案1SMM执行时用于SMM处理的存储器分配的框图。为了说明的简化，图2A的框图(以及图2B、图3A、图3B和图4的框图)仅示出了存储器分配，并不包括系统的其他元件，比如控制器和I/O子系统。

参见图2A，单个节点202包括CPU206、208、210和212。将CPU206标记为“N1-1”以表明它是节点1中的CPU编号1；将CPU208标记为“N1-2”以表明它是节点1中的CPU编号2，等等。

存储器元件220提供了能够为CPU随需使用而分配的系统存储器。按照方案1SMM，将CPU之一(在此例中是CPU206)进行分配用于执行针对整个系统的全部存储器和I/O的SMM处理，并且将存储器元件220的一部分221(SMM存储器段)进行分配用于该SMM处理。该SMM处理一般是由分配的处理器CPU206执行的。

图2B图示了多节点配置中的方案1SMM。节点202与图2A中所示的单个节点是相同的。然而，在该多节点配置中，第二节点225耦合到第一节点202（例如利用可扩展性端口)。节点225包括CPU226、228、230和232。将CPU226标记为“N2-1”，以将它标识为节点2中的第一CPU；将CPU228标记为“N2-2”以将它标识为节点2中的第二CPU，等等。

节点225包括存储器元件240。如图中所见，利用方案1SMM，未将存储器元件240的存储器段分配用于SMM任务；对于SMM任务的处理，仅将分配给CPU206的根节点SMM存储器段221用于这些任务。

如图2B中可见到的，在方案1SMM之下，在多节点环境中，将单个存储器段(存储器段221)和单CPU(在此例中是CPU206)分配用于执行针对整个多节点系统、也就是针对每个节点的存储器元件220和240以及I/O子系统(图2B中未示出)的SMM处理。

图3A示出了用于四路SMP系统的存储器分配，这时具有按照方案2SMM处理来分配的存储器。如图3A中所示，对SMM存储器段321进行分割，使得支持CPU306、308、310和312中的每一个进行任务分配。在方案2SMM处理中，每个CPU利用其自身的资源来进行SMM处理的一部分。存储器段321中的任一任务可由CPU306、308、310和312的任一个执行。“主控制和报告”码段是由主CPU(在此例中一般是CPU306)使用用于任务控制和整体结果监视及报告。

图3B示出了按照方案2SMM处理的多节点SMM处理。如图3B中可见到的，CPU与SMM存储器段之间的关系在多节点配置中未变化。因此，在第二节点(节点325)中，CPU326、328、330和332的每一个可执行节点1中存储器元件320的SMM存储器段321内的任一任务。如上所述，方案1或方案2SMM处理配置都未高效利用多节点环境中的存储器分配，从而无法快速地释放这些处理器以进行它们的正常处理操作。

图4示出了按照本发明的多节点SMM系统。参见图4，以如下方式分割系统存储器，即将每个节点的本地SMM存储器部分分配用于SMM用途。将每个节点的SMM存储器段分配给该节点内的CPU之一，以支持用于该节点内的资源的SMM处理。如果需要，可使每个节点内的所有CPU并行支持SMM处理，但是在优选实施例中，只能使每一节点中的一个CPU如此。

在节点402上，将存储器元件420的SMM存储器段421分配用于SMM处理。在SMM存储器段421内，将子分区421a保留用于存储待由节点(机架)402利用的SMM执行码。类似地，针对节点425，将存储器440的SMM存储器段441分配用以处理用于节点425的SMM处理。在SMM存储器段441内，将子分区441a留用以便存储用于节点(机架)425的SMM执行码。一般地，在每个节点内，将单个处理器分配用以执行为SMM处理而留用的存储器部分内的代码。例如，对于节点402，CPU406可分配用于执行部分421中的代码；对于节点425，CPU426可分配用于执行部分441中存储的代码。可以理解，任一CPU可分配用于执行SMM相关代码。

然而，由于这些节点在执行SMM功能时实质上是相互独立地操作的，所以分配和使用了具体的SMM存储器位置，以报告来自每个节点的状态和结果。这就允许该系统即使在多个独立的读/写装置正在存取同一存储器段时仍维持SMM存储器在存储器内容上的连贯性和一致性，并且允许SMM监视功能结果的顶级报告。

具体的SMM存储器位置由公共SMM码分配，然后每个节点只需确定其具体ID，从而它可利用公共SMM可执行的码拷贝来执行SMM码和报告结果。存储器是从指定为“根节点”的节点之一(它实质上是主节点)中的分区来分配的，分配有处置SMM处理的处理任务的根节点内的CPU变成所有节点的“根处理器”。根处理器然后监视其他节点SMM状态录入的完成。组合的结果然后以顶级系统级即由根处理器加以处理并且报告给如下所述的服务处理器。

如图4中所示，分配用于在SMM处理时使用的存储器420(节点420)的SMM存储器分区421包括从控制/报告区域421c和主控制/报告区域421b。类似地，存储器440(节点425)的SMM存储器分区441包括从控制/报告区域441b。节点402由于其分配作为根节点因而具有主控制/报告区域421b。主控制/报告区域421b使得根节点能够作为用于所有硬件功能监视的控制点来执行它的功能。从控制/报告区域421c提供类似功能，因为从控制/报告区域421c接收和处理来自其他节点的报告。于是，例如，节点425的从控制/报告区域441b将收集来自节点425的报告信息，然后向节点402发送报告，这样报告的信息将由从控制/报告区域421c处理。然后传递该处理的结果以由主控制/报告区域421b处理。于是，系统中的每个节点将向根节点回报与用于该节点的SMM处理有关的信息，根节点对该信息进行处理并且使其可为系统管理员所用。

在图4中，在将CPU406指定为根处理器时，CPU406运行主控制/报告代码以及从报告代码，并且它还执行机架SMM执行代码421a。这就允许使用CPU406作为用于所有硬件功能监视的控制点。CPU406用于向系统管理员报告所有硬件和软件状态，包括所识别的I/O子系统的任一系统存储器中的故障。一般地，当SMM机制检测到异常事件时，就将它报告给CPU406以便于制作报告和日志。

理想地是通过在每个节点上本地存储存取信息来进一步减少节点间业务量。这可通过创建具体节点的资源映射(即，需要对于具体节点校验什么具体存储空间以及哪些具体的I/O寄存器，这些存储空间和I/O寄存器可以随具体节点配置而变化)来实施。例如，在图4中，在对于节点425可本地描述存储器段440的大小和特征的同时，可对于节点402本地描述存储器段420的大小和特征。类似地，402处节点的I/O内容，比如网络和存储器适配器(未示出)，可能显著不同于节点425的I/O内容。利用通用芯片组，这例如可通过在存储器空间441b上在SMM初始化期间存储关于每个具体节点的信息来实现。可选地，IBM“X3”芯片组提供本地CPU可通过特定的未使用地址空间(例如FEB0xxxx地址空间)来访问的节点控制器芯片。这些技术的任一种都减少了对节点间业务量的需求。

图5是示出了用于按照本发明来操作的多机架SMP计算机系统的初始化处理的流程图。参见图5，初始化处理开始于步骤502，并且在步骤504每个处理器获得本地节点的标识号。将节点0指定为主节点，将节点1至N指定为辅节点。节点标识号一般是由系统服务处理器(未示出)在系统配置时建立的。

在步骤506，四个本地处理器中的每一个执行锁定的读取-修改-写入识别处理，从而它们中的一个且仅有一个获得对CPU＝0标志的存取。剩余的CPU获得非零标志。在步骤508中对于由每个本地节点CPU取得的结果CPU标志进行非零值测试。如果CPU标志等于0，则该处理通过执行方框510、512、514、516……来继续。其他CPU跳转到有限的初始化路径518。

对于将其标志设为0的CPU，该处理继续到步骤510至步骤516，在其中对本地存储器基址进行定位(代码发现特定节点上存储器(420、440……)的起始地址和长度)，在节点的存储器内分配本地SMM空间，利用在SMM架构中认同的公知技术，相对于操作系统隐藏该存储器，然后为节点上的处理器设置SMBASE。该处理完成特定节点上存储器空间421、441……的配置。SMBASE对于每个CPU是内部的具体寄存器，该寄存器也利用在SMM构架中认同的熟知技术，允许相对于操作系统隐藏SMM操作。注意步骤518(侧路径)是相同的，从而所有CPU(例如N1-1失效时)也能够从421…441…执行SMM运行期算法。

在步骤520，确定具有CPU标志0的节点是否为主节点。如果是，则该处理继续到步骤526，在其中分配全局区域。这就是图4中所示的区域421B(主控制/报告)。在步骤528，设置主完成标志，其标示该主处理器已经完成其分配和初始化，然后在步骤530，该处理结束。

如果在步骤508，校验出CPU标志不是0，则该处理继续到步骤518，在其中为节点上的处理设置SMBASE。注意步骤518与516是相同的，从而所有CPU(例如N1-1失效时)也能够从421…441…执行SMM运行期算法(这提供了更鲁棒的设计)。该处理然后继续到步骤522，在其中非主要的CPU(一般是N1-2、N1-3、N1-4)等待主完成标志。在步骤524，设置全局存储器(这就是图4中所示的区域421C、441B……(从控制/报告))，然后该处理继续到步骤530，在其中该处理结束。在优选实施例中，系统中的所有CPU将大致在同一时间进入图5的例程，然后它们全部并行运行，并且独立地退出。

图6是示出了在运行期例程期间所执行的步骤的流程图。该处理在SMI每次出现之时运行。SMI是系统管理中断，其在公知的SMM架构中有所定义。这是特定类型的系统中断，该中断专门用以使得所有CPU开始执行421A、441A处的“机架SMM执行代码”，并且该处理在每个节点中的每个CPU上运行。参考图6，在步骤602，检查下一CPU标志。如果在步骤604确定CPU标志不等于0，则该处理直接继续到步骤606，并且该处理等待“完成标志”的出现。如果在步骤604确定CPU标志是等于0，则这标示该CPU是节点上的第一个CPU，并且将它作为主SMM处理器(即它一般是N1-1或N2-1)。

该处理然后继续到步骤608-618，在其中：SMM执行代码扫描本地芯片组寄存器，查找已经由该节点控制器产生的任何故障标示或服务请求；存取本地存储器，再次查找任何故障标示；然后锁定全局I/O存取(防止其他节点存取任何本地I/O装置；这样的存取可能造成故障)。为了防止任何虚假的脱节点的I/O存取，对于任何错误标示，存取并扫描本地I/O装置；解锁全局I/O(返回到正常状态)；然后通过将结果数据写入到从报告区域(421C)中，报告关于错误的扫描结果。

该处理然后继续到步骤620，确定已将CPU标志设为0的节点是否为主节点。该步骤确保了只有节点0上的CPU0(即“多节点主CPU”)进行如下步骤。如果它不是节点0上的CPU0，则意味着它将保持空闲，直至主CPU完成为止，然后该处理继续到步骤606以等待“完成标志”。

如果在步骤620，确定该节点是主节点，则该处理继续到步骤622，在其中基于对整个系统(包括所有附加的节点)的错误扫描结果来采取动作。典型的动作可以是使发生故障的具体的I/O装置——比如节点N2上的网络适配器停止工作。可选择地，如果先前的扫描检测到故障，则可将特定的存储器段标记为损坏。最后，接着在步骤624设置“完成标志”，然后该处理继续到步骤626，在其中处理结束。

本发明使得高级多节点计算机系统实现了改进的系统管理模式功能。大型多节点系统中的扩展SMM处理延迟的问题以创新的方式加以解决。所示操作将系统管理的多个概念扩展到多节点操作，从而通过创新的设计，利用了这些节点系统的特征。

更具体来说，提出了用于在多节点系统增强SMM性能的方法，其几乎将整体的性能延迟(SMM执行时间)限制为等效于单个节点设计的延迟。这些延迟并未受到潜在大型附加资源——比如通常作为多节点设计的特征的添加的存储器和附加的I/O装置——的影响。

此外，即使整体的系统设计保持为完全对称，仍然运用了非对称性特性的并行处理。本发明的方法示出了每个节点如何独立(非对称)地处理本地化的管理任务。另外，通过在每个节点内分割本地存储器空间，并且还将该节点上的CPU分配给SMM操作，能够将系统资源最大化地运用于SMM处理。该分割还允许节点间业务量得以最小化。

通过在每个节点上初始化并且使用包含所有相关SMM目标(受管理的)资源(存储器和I/O装置)的资源映射，来进一步最小化节点间业务量。在节点基础上将CPU分配用于该节点内的处理，同时仅建立和使用小的存储器区域，用于将每一节点的结果在整个系统内回报给根节点和相关联服务处理器。

上述步骤可利用标准的公知编程技术来实施。上述实施例的新颖性不在于具体的编程技术，而在于使用所述步骤来实现上述结果。将本发明具体化的软件编程代码一般存储于某类永久性存储器中，比如计算机系统的永久存储器中，其中利用了本发明的SMP架构。在客户/服务器环境中，这样的软件编程代码可利用与服务器相关联的存储器来存储。软件编程代码可具体化于用于与数据处理系统一起使用的各种已知介质的任一种上，比如磁盘或硬盘驱动器或CD-ROM。该代码可以在此类介质上分发，或者可以通过某类网络从一个计算机系统的内存或存储器到其他计算机系统来分发给用户，为此类其他系统的用户所用。用于将软件程序码具体化于物理介质上和/或经由网络分发软件代码的技术和方法是公知的，在此将不再进一步讨论。

将理解举例说明的每个元件以及这些举例说明中的元件组合可通过执行所述功能或步骤的通用或专用的基于硬件的系统或者通过通用和/或专用的硬件和计算机指令的组合来实施。

这些程序指令可提供给处理器以制造一种机器，使将在处理器上执行的这些指令创建一种用于实施在举例说明中所述功能的装置。计算机程序指令可由处理器执行以产生一系列操作步骤，这些操作步骤由处理器执行以生成计算机实施的处理，使得在处理器上执行的这些指令提供了用于实施在举例说明中所述功能的步骤。因此，附图支持了用于执行所述功能的装置的组合、用于执行所述功能的步骤的组合、以及用于执行所述功能的程序指令装置。

尽管已经针对本发明的特定优选实施例描述了本发明，但是对于本领域的技术人员还提示了各种变化和改型，并且本发明旨在于涵盖落入所附权利要求的范围之内的这些变化和改型。

Claims (13)

1.一种管理多节点SMP系统的方法，所述多节点SMP系统中的每个节点包括两个或更多个处理器，该方法包括：

指定所述节点之一作为根节点；

指定每个节点内的所述处理器中的至少一个处理器，作为用于该节点的SMM处理器；

在每个节点上执行SMM处理；以及

将每个节点上执行的所述SMM处理的结果报告给所述根节点。

2.权利要求1的方法，其中指定每个节点内的所述处理器中的仅一个处理器作为用于其节点的SMM处理器，所述方法进一步包括：

将指定作为用于所述根节点的所述SMM处理器的所述根节点的所述处理器指定为用于所述多节点SMP系统的根处理器。

3.权利要求2的方法，进一步包括：

分配来自每个节点内的存储器的存储器分区，作为SMM存储器分区；以及

在每个节点的每个SMM存储器分区中填充公共SMM码，用于执行所述SMM处理。

4.权利要求3的方法，进一步包括：

在每个节点的所述SMM存储器分区中填充从控制/报告码；以及

执行每个节点的每个SMM存储器分区中的所述从控制/报告码，以从其各节点收集SMM报告信息并且将所述收集的SMM报告信息转发到所述根节点。

5.权利要求4的方法，进一步包括：

在所述根节点的所述SMM存储器分区中填充主控制/报告码；

由所述根节点接收从每个节点收集的所有所述报告信息；以及

执行所述主控制/报告码，以处理所述收集的信息，并且将所述处理的收集信息提供给所述多节点SMM系统的管理员。

6.权利要求5的方法，进一步包括：

基于所述处理的收集信息，制定将针对所述多节点SMP系统采取的动作。

7.一种管理多节点SMP系统的系统，所述多节点SMP系统中的每个节点包括两个或更多个处理器，该管理系统包括：

指定所述节点之一作为根节点的装置；

指定每个节点内的所述处理器中的至少一个处理器，作为用于其节点的SMM处理器的装置；

在每个节点上执行SMM处理的装置；以及

将每个节点上执行的所述SMM处理的结果报告给所述根节点的装置。

8.权利要求7的系统，其中指定每个节点内的所述处理器中的仅一个处理器作为用于其节点的SMM处理器，所述系统进一步包括：

将指定作为用于所述根节点的所述SMM处理器的所述根节点的所述处理器指定为用于所述多节点SMP系统的根处理器的装置。

9.权利要求8的系统，进一步包括：

分配来自每个节点内的存储器的存储器分区，作为SMM存储器分区的装置；以及

在每个节点的每个SMM存储器分区中填充公共SMM码，用于执行所述SMM处理的装置。

10.权利要求9的系统，进一步包括：

在每个节点的所述SMM存储器分区中填充从控制/报告码的装置；以及

执行每个节点的每个SMM存储器分区中的所述从控制/报告码，以从其各节点收集SMM报告信息并且将所述收集的SMM报告信息转发到所述根节点的装置。

11.权利要求10的系统，进一步包括：

在所述根节点的所述SMM存储器分区中填充主控制/报告码的装置；

由所述根节点接收从每个节点收集的所有所述报告信息的装置；以及

执行所述主控制/报告码以处理所述收集的信息，并且将所述处理的收集信息提供给所述多节点SMM系统的管理员的装置。

12.权利要求11的系统，进一步包括：

基于所述处理的收集信息，制定将针对所述多节点SMP系统采取的动作的装置。

13.一种用于管理多节点SMP系统的计算机程序产品，所述多节点SMP系统中的每个节点包括两个或更多个处理器，该计算机程序产品包括计算机可读存储介质，该计算机可读存储介质具有在该介质上具体化的用于执行权利要求1至6的任一项中的方法步骤的计算机可读程序代码。

Images