CN1531302A

CN1531302A - 用于将节点分成多个分区的方法及多节点系统

Info

Publication number: CN1531302A
Application number: CNA2004100080661A
Authority: CN
Inventors: ��ɵ¡�R��; 唐纳德·R·德索塔; M; 布鲁斯·M·吉尔伯特; 罗伯特·乔尔泽
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 2003-03-10
Filing date: 2004-03-09
Publication date: 2004-09-22
Anticipated expiration: 2024-03-09
Also published as: US8578130B2; CN100479466C; TWI269226B; US20040181647A1; TW200422946A

Abstract

公开了将多节点系统的一个节点划分成多个分区。将节点的第一资源物理划分成多个分区。物理划分到每个分区的第一资源不能被节点的其他分区直接访问。然后，将节点的第二资源在内部逻辑划分到这些分区。每个第二资源在内部分隔一个分区的事务与其他分区的事务。而且，节点可以动态重新划分成其他分区如单个分区而无需关闭多节点系统。节点的操作系统(OS)实例可以具有被提供以支持动态分区的假设，例如停顿正在进行重新配置的处理器和/或输入/输出组件，在整个OS范围内清除远端高速缓冲存储器条目等。每个分区可以与受到保护而不被其他分区访问的寄存器相关联。

Description

用于将节点分成多个分区的方法及多节点系统

技术领域

本发明一般涉及将具有多个节点的多节点系统分成多个分区，特别涉及将系统的单个节点分成多个分区。

背景技术

存在很多不同类型的多处理器计算机系统。对称多处理器(SMP)系统包括多个共享公共存储器的处理器。SMP系统提供可扩展性(scalability)。根据需要，可以增加附加的处理器。SMP系统通常范围从2个到32个或更多处理器。一个处理器通常引导系统，并且装载SMP操作系统，这使其他处理器在线。在不分区的情况下，存储器中只有一个操作系统实例和一个应用实例。操作系统使用处理器作为全部都同时执行的处理资源池，其中，每个处理器处理数据或者处于空闲循环中等待执行任务。每当处理可以重叠时，SMP系统的速度就提高。

大规模并行处理器(MPP)系统可以使用数千或更多处理器。MPP系统使用与更常用的SMP系统不同的编程范例(programmingparadigm)。在MPP系统中，每个处理器都包含其自己的存储器以及操作系统和应用的副本。每个子系统通过高速互连相互通信。为了有效使用MPP系统，信息处理问题必须可分成能够同时求解的片断。例如，在科学环境中，特定模拟和数学问题可以分裂开来，并且同时处理每个部分。

非统一存储器访问(NUMA)系统是一种多处理器系统，其中，存储器分成多个独立的存储体(bank)。NUMA系统类似于SMP系统。然而，在SMP系统中，所有处理器以相同速度访问公共存储器。作为比较，在NUMA系统中，与处理器相同的处理器板上或者与处理器相同的构建块、节点中的存储器的访问速度快于其他处理器板上或者其他构建块或节点中的存储器的访问速度。也就是，局部存储器的访问速度快于远端共享存储器的访问速度。与SMP系统相比，NUMA系统一般可以更好地扩展到更高数目的处理器。

多处理器或多节点系统是大规模计算环境，它们通常允许分区以在不同的操作系统(OS)实例之间划分它们的资源。这些划分典型地发生于系统内的物理边界处，如节点处。这种划分称作物理划分，并且通常在分区之间存在保护机制，从而分区不会不正确地访问其他分区的资源。而且，动态分区允许在运行系统的时候修改分区边界，而无需不利地关闭系统。

将分区限定于物理边界意味着分区尺寸具有固定最小尺寸。在多节点系统内，分区通常向下可达节点级来完成，并且不能更低。也就是，分区的最小物理尺寸是系统的单个节点，并且例如，单个节点不能分成多个分区。然而，节点本身已变得非常强大，并且将每个节点限定于仅一个分区可能大于所需，从而浪费资源。由于这一和其他原因，因此需要本发明。

发明内容

本发明涉及将一个节点分成多个分区。在用于将多节点系统的一个节点物理划分成多个分区的本发明方法中，将节点的第一资源物理划分成多个分区。物理划分到每个分区的第一资源不能被节点的其他分区直接访问。每个第一资源可以通过该资源在物理上所划分的分区在多节点系统上访问。然后，将节点的第二资源在内部逻辑划分到这些分区。每个第二资源在内部分隔一个分区的事务与其他分区的事务。每个第二资源也可以通过该资源在逻辑上所划分的分区在多节点系统上访问。

本发明的另一个方法首先由多节点系统的节点的一个分区接收事务。判定事务是否与该分区的资源相关。响应判定事务与该分区的资源相关，处理事务。否则，将事务发送到具有与事务相关的资源的节点另一个分区。

本发明的多节点系统包括多个节点，其中，每个节点可分成一个或多个分区。每个节点包括可以动态地物理划分成多个分区的第一资源，以及可以在内部逻辑划分到这些分区的第二资源。通过下面结合附图对本发明的优选实施例进行详细描述，本发明的其他特性、方面、实施例和优点将会变得清楚。

附图说明

在此所引用的附图形成说明书的一部分。除非特别指明，附图所示的特性旨在示例性地说明本发明的仅仅一些实施例，而不是本发明的所有实施例。

图1是根据本发明一个优选实施例的方法的流程图，并且建议打印在专利首页上。

图2是结合其可以实现本发明实施例的具有多个多处理器节点的多节点系统的图。

图3是根据本发明一个实施例的图2多节点系统的节点之一的详示图。

图4是根据本发明一个实施例的分成两个分区的图3节点的图。

图5是根据本发明一个实施例的分成一个分区的图3节点的图。

图6是根据本发明一个实施例的用于在多节点系统的节点的多个分区之间执行事务处理的方法的流程图。

具体实施方式

方法和概述

图1示出根据本发明一个优选实施例的方法100。方法100可以作为具有计算机可读介质及其中用于执行方法100的功能的手段(means)的制造品来实现。介质可以是可记录数据存储介质、调制载波信号或其他类型的介质，而手段可以是计算机可执行指令如计算机程序等。方法100最好可在多处理器或多节点系统的节点内运行。

节点动态划分成多个分区(102)。例如，最好是将节点分成两个分区。然而，在本发明的可选实施例中，节点分成两个以上分区。将节点动态划分成多个分区在两部分中完成。将节点的第一独立资源物理划分成节点的多个分区(104)。分到节点给定分区的第一资源是不能被节点其他分区直接访问的资源。

这种第一资源的例子包括节点的局部存储器、节点的局部处理器、节点的输入/输出(I/O)组件，这将在本部分的后面章节中作更详细的描述。次级控制器最好分别划分到节点的每个分区，并且独占性地管理向对应划分到次级控制器分区的节点局部存储器一部分和节点局部处理器子集的访问。类似地，I/O控制器最好分别划分到节点的每个分区，并且独占性地管理向对应划分到I/O控制器分区的节点I/O组件子集的访问。

下一步，将节点的第二共享资源在内部逻辑划分到节点的这些分区(106)。分到节点给定分区的第二资源是保持可以被节点的其他分区直接访问的共享资源。这种第二资源的例子包括节点的主控制器和远端高速缓冲存储器。每个共享资源在内部分隔一个分区的事务与其他分区的事务。例如，每个主控制器容纳来自所有分区的事务，但是在内部确保每个分区的事务不允许访问或共享关于其他分区事务的信息。

一旦节点分成多个分区，则它可以动态重新划分成其他分区，而无需使整个多节点系统离线或关闭。例如，节点可以动态重新划分成单个分区(108)。这涉及将第一独立资源物理重新划分成单个分区(110)，并且将第二共享资源在内部逻辑重新划分到这一单个分区(112)。根据需要，可以重复将节点动态重新划分成多个分区和/或单个分区的过程，如箭头114所示。

技术背景和代表性系统

图2示出根据其可以实现本发明实施例的系统200。系统200包括多个多处理器节点202A、202B、202C和202D，它们统称作节点202。节点202通过互连网络204相互通信。节点202中的每一个均可以包括多个处理器和存储器。给定节点的存储器对于节点的处理器是局部的，并且对于其他节点的处理器是远端的。因此，在本发明的一个实施例中，系统200可以实现非统一存储器架构(NUMA)。

图3更详细地示出根据本发明一个实施例的可以实现图2的节点202中的一个或多个的节点300。本领域的普通技术人员可以理解，图3仅示出实现本发明的一个实施例所需的那些组件，并且节点300还可以包括其他组件。存在统称作处理器306的处理器306A、306B、306C和306D，以及统称作处理器318的处理器318A、318B、318C和318D。

还存在左局部存储体308和右局部存储体320。左局部存储体308是对于处理器306“本地(home)”或“近(near)”的连续存储块。处理器306和存储体308所属的分区中其他节点的所有存储器是“远端(remote)”或“远(far)”的。右局部存储体320是对于处理器318“本地”或“近”的连续存储块。处理器318和存储器320所属的分区中其他节点的所有存储器是“远端”或“远”的。如果节点中的所有处理器和存储器都处于同一分区中，则左局部存储器308是处理器318的“同胞(sibling)”，并且右局部存储器320是处理器306的“同胞”。“同胞”存储器远于“近”存储器，但是近于“远”存储器。“远端”或“远”存储器可以缓存在高速缓冲存储器312和324中。即使节点是单个分区，存储器308与存储器320也不一定连续。

左和右主控制器310和322管理对存储体308和320的请求和来自它们的响应。在一个实施例中，控制器310和322中的每一个均可以是专用集成电路(ASIC)，以及不同软件和硬件组合。控制器310和322还分别具有高速缓冲存储器312和324，用于管理与远端存储器相关的请求和响应，其中，远端存储器是节点300以外的其他节点的局部存储器。换句话说，存储体308和320对于节点300是局部的，并且对于节点300以外的其他节点是远端的。

主控制器310最好管理具有偶数高速缓冲存储器线地址的来自存储体308或存储体320的所有请求和响应。主控制器322最好管理具有奇数高速缓冲存储器线地址的来自存储体308或存储体320的所有请求和响应。高速缓冲存储器312存储为有益于任一存储体而缓存的偶数远端高速缓冲存储器线。高速缓冲存储器324存储为有益于任一存储体而缓存的奇数远端高速缓冲存储器线。主控制器310管理高速缓冲存储器312，并且主控制器322管理高速缓冲存储器324。注意如果节点的左右一半分别处于不同分区，则主控制器310和322以及高速缓冲存储器312和324最好分离请求和响应以及它们所管理的高速缓冲存储器线，从而使得不访问不同分区中的存储器位置。

此外，左次级控制器314特定地通过接口相互连接存储体308、处理器306以及主控制器310和322，并且右次级控制器326特定地通过接口相互连接存储体320、处理器318以及主控制器310和322。左主控制器310能够与左次级控制器314以及右次级控制器326直接通信。类似地，右主控制器322能够与右次级控制器326以及左次级控制器314直接通信。主控制器310和322最好相互直接连接，并且均连接到连接所有节点的互连网络如图2的互连网络204。对于主控制器310，这以线316表示，而对于主控制器322，这以线328表示。

类似地，左输入/输出(I/O)控制器330特定地通过接口连接统称作左I/O组件334的左I/O组件334A、334B、...、334N，并且右I/O控制器332特定地通过接口连接统称作右I/O组件336的右I/O组件336A、336B、...、336N。左主控制器310能够与左I/O控制器330以及右I/O控制器332直接通信。类似地，右主控制器322能够与右I/O控制器332以及左I/O控制器330直接通信。

节点分区

图4示出根据本发明一个实施例的分成第一分区402和第二分区404的图3节点300。分区402和404相互隔离，并且可以相互独立地被初始化和复位。存在分别对应于分区402和404的第一独立资源406和408，以及由两个分区402和404共享的第二共享资源410。

第一分区402的独立资源406包括处理器306、局部存储体308、次级控制器314、输入/输出(I/O)控制器330以及I/O组件334。类似地，第二分区404的独立资源408包括处理器318、局部存储体320、次级控制器326、I/O控制器332以及I/O组件336。第一分区402的独立资源406不能被第二分区404的独立资源408直接访问，同样地，第二分区404的单独资源408不能被第一分区402的独立资源406直接访问。这是因为独立资源406和408分别物理划分到分区402和404。也就是，在资源406和408之间存在物理边界，即缺少资源406和408之间的直接连接。

共享资源410包括主控制器310和322以及分别用于控制器310和322的高速缓冲存储器312和324。主控制器310和322中的每一个均可以在内部逻辑划分到分区402和404两者。也就是，主控制器310和322中的每一个均能够从分区402和404接收和处理事务，但是根据事务与哪一个分区相关保持事务隔离。这是通过当处理事务时主控制器310和322在内部分隔从分区402和404中的一个接收的事务与从分区402和404中的另一个接收的事务来完成。例如，从分区402接收的事务不允许与从分区404接收的事务访问或共享信息，相反，从分区404接收的事务不允许与从分区402接收的事务访问或共享信息。

图5示出根据本发明一个实施例的可选地分成单个分区502的图3节点300。第一独立资源406和408保持独立，因为资源406不能直接访问资源408并且相反。然而，在图5的实施例中，它们是单个分区502的一部分。例如，即使次级控制器314独占性地管理存储体308，并且次级控制器326独占性地管理存储体320，控制器314和326以及存储体308和320也被认为是同一分区502的一部分。对于I/O控制器330和332以及它们所管理的I/O组件334和336同样也是如此。第二共享资源410也是单个分区502的一部分。而且，由于节点被配置为单个分区，因此从资源406和408接收的事务可以自由地在它们之间访问和共享信息。

对于图4的实施例的多分区场景或图5的实施例的单分区场景，要由分区执行的进入事务最好都有一个字段被设置用来区分事务与哪一个分区相关联。该字段根据与事务相关的分区以及与事务相关的操作系统(OS)实例，确定在处理事务中要使用资源406、408和/或410中的哪一个。

节点300的任何寄存器如错误和控制/状态寄存器最好也与正确分区相关联。这可以涉及复制分区的主控制器310和322内的寄存器逻辑，并且根据所接收事务的分区字段，将错误或控制/状态操作引导(steer)到适当的控制器和/或OS实例。最好提供保护，从而使一个分区不能向另一分区的寄存器写入。这些寄存器可以包括用于控制分区存储器范围的寄存器、用于控制分区逻辑标识符的寄存器、将逻辑标识符映射到物理标识符的寄存器以及在整个系统结构内提供路由表的寄存器。

操作系统假设

最好，系统中的每个分区均具有其自己的操作系统(OS)实例。这意味着在节点或系统的一个分区中运行的OS实例与在节点或系统的其他分区中运行的OS实例相独立运行。系统中的每个分区正好只有一个由作为那个分区成员的系统所有节点共享的OS实例。如果节点分成两个分区，则每个分区可以是不同分区的成员，或者可以自身作为独立分区存在。这些分区的OS实例可以是相同或不同OS的实例。这些OS的例子包括但不限于UNIX、Linux、Microsoft Windows OS各版本等。

对于能够在节点300内提供的动态分区，在本发明的一个实施例中提供下面OS假设。也就是，对于要重新进行而无需使节点300或其作为一部分的系统200离线或关闭的对节点300的分区，在一个实施例中假设下面OS特性。为了使分区相互隔离或者可以独立且单独地被初始化和复位，也可以提供这些假设。首先，停顿(quiesce)正在进行分区重新配置的输入/输出(I/O)组件。其次，由OS释放正在进行分区重新配置的局部存储器。最后，停顿正在进行分区重新配置的总线处理器，从而使OS不提供要由处理器执行的任何活动。正在进行分区重新配置的局部存储器也被OS释放。

而且，在整个OS范围内清除任何远端高速缓冲存储器条目，并且终止正在进行重新配置的局部存储器线的任何共享。与重新配置的局部存储器相关的远端高速缓冲存储器中的所有线均被归位到它们的主节点(home node)。在一个实施例中，这种清除、终止和归位(bring home)可以通过在正在进行重新配置的分区上启动适当的处理来完成。另外，对于新增加的分区，OS最好激活该分区的处理器、I/O组件和存储器。然而，在重新配置过程中，OS最好防止访问正被增加或删除的分区的可缓存地址。最后，OS最好负责增加或删除在重新配置过程中增加或删除的存储页条目。

节点间通信

到此为止，本发明的实施例是关于将多节点系统的一个节点分成一个或多个分区来描述的。在多节点系统内，节点之间可以相互通信。因此，在一个节点具有多个分区的情况下，与节点的通信更具体地是与节点分区之一的通信。图6示出根据本发明一个实施例的从由具有多个分区的节点接收的事务的角度详细示出该通信的方法600。

节点的一个分区首先从多节点系统的另一个节点的另一个分区接收事务(602)。事务可以是请求、响应或其他类型的事务。事务可以与存储器、输入/输出(I/O)设备相关，或者可以与其他类型的资源相关。分区判定事务是否与已划分到其自身的资源相关(604)。如果事务与分区的自己资源之一相关(606)，则分区自己处理事务(608)。例如，在事务是请求的情况下，这可以包括发送响应到产生事务的节点。可选地，如果事务不与分区的自己资源之一相关(606)，则这意味着事务与相同节点的另一分区的资源相关，并且分区将事务发送到该另一分区(608)。然后，接收分区自己处理事务。

高于现有技术的优点

本发明的实施例提供高于现有技术的优点。因为单个节点可以具有多个分区，因此不浪费节点资源，而在节点只能具有单个分区的情况下则将浪费节点资源。但是，单个节点内的分区不相互隔离，并且可以独立且单独地被复位和初始化。节点给定分区的寄存器受到保护而不能被节点其他分区访问。在分区内发生的错误还转发到分区的特定操作系统(OS)实例。

可选实施例

应该理解，虽然本发明的特定实施例在此是为了示例说明的目的而描述的，但是在不脱离本发明的精神和范围的情况下可以进行各种修改。例如，系统是在具有一个或两个分区的节点的特定上下文中描述的。然而，本发明也适用于具有一个或两个以上分区的节点。作为另一个例子，上面所述的系统具有支持分成两个分区的配置的主控制器。然而，在一个不同实施例中，主控制器也可以支持两个以上分区。类似地，该实施例将主控制分段成两个控制器和缓存；其他实施例可以使用单个控制器和缓存或两个以上，或者没有高速缓冲存储器。因此，本发明的保护范围仅由所附权利要求及其等价物限定。

Claims

1.一种用于将多节点系统的一个节点物理划分成多个分区的方法，包括：

在所述多个分区之间物理划分多个第一资源，从而使物理划分到每个分区的多个第一资源不能被节点的其他分区直接访问，并且每个第一资源可以通过该资源在物理上所划分的分区在多节点系统上访问；以及

在所述多个分区之间在内部逻辑划分多个第二资源，从而使多个第二资源中的每一个在内部分隔一个分区的事务与其他分区的事务，并且每个第二资源可以通过该资源在逻辑上所划分的分区在多节点系统上访问。

2.如权利要求1所述的方法，其中，在多个分区之间物理划分多个第一资源包括在第一分区和第二分区之间物理划分多个第一资源，并且在多个分区之间逻辑划分多个第二资源包括在第一分区和第二分区之间逻辑划分多个第二资源。

3.如权利要求1所述的方法，其中，物理划分多个第一资源包括分配用来管理分区的控制器。

4.如权利要求1所述的方法，其中，物理划分多个第一资源包括将输入/输出(I/O)控制器物理划分到每个分区，每个I/O控制器独占性地管理节点的I/O组件的子集，从而使I/O组件的子集对应地物理划分到I/O控制器的分区。

5.如权利要求1所述的方法，其中，在内部逻辑划分多个第二资源包括在内部逻辑划分多个主控制器，每个主控制器独占性地管理对节点的高速缓冲存储器的一部分的访问。

6.如权利要求1所述的方法，其中，在多个分区之间在内部逻辑划分多个第二资源包括在第一分区和第二分区之间在内部逻辑划分第一主控制器和第二主控制器，从而使每个主控制器在内部分隔一个分区的事务与其他分区的事务。

7.如权利要求1所述的方法，还包括将节点的多个分区动态重新划分成单个分区。

8.如权利要求7所述的方法，其中，将节点的多个分区动态重新划分成单个分区包括：

将多个第一资源物理重新划分到所述单个分区；以及

将多个第二资源在内部逻辑重新划分到所述单个分区。

9.如权利要求7所述的方法，还包括将节点的单个分区动态划分成多个分区。

10.一种多节点系统，包括：

多个节点，

每个节点可分成一个或多个分区，并且包括：

多个第一资源，可以动态地物理划分成所述一个或多个分区；以及

多个第二资源，可以在内部逻辑划分到所述一个或多个分区。

11.如权利要求10所述的系统，其中，每个节点的多个第一资源包括节点的局部存储器、节点的局部处理器以及节点的输入/输出(I/O)组件。

12.如权利要求10所述的系统，其中，每个节点的多个第一资源包括与节点可划分的一个或多个分区相对应的一个或多个输入/输出(I/O)控制器，每个I/O控制器独占性地管理节点的I/O组件的子集，从而使I/O组件的子集对应地物理划分到I/O控制器的分区。

13.如权利要求10所述的系统，其中，每个节点的多个第二资源包括节点的远端高速缓冲存储器。

14.如权利要求10所述的系统，其中，每个节点的多个第二资源包括一个或多个主控制器，每个主控制器独占性地管理对节点的高速缓冲存储器的一部分的访问。

15.如权利要求10所述的系统，其中，每个节点的一个或多个分区中的每一个均与一个或多个寄存器相关联，从而保护每个分区的一个或多个寄存器不被一个或多个分区中的其他分区访问。

16.如权利要求10所述的系统，其中，每个节点的一个或多个分区中的每一个均与符合支持节点动态划分的假设的操作系统(OS)实例相关联。

17.如权利要求16所述的系统，其中，所述假设包括以下一个或多个：

停顿正在进行分区重新配置的处理器；

停顿正在进行分区重新配置的输入/输出(I/O)组件；

释放正在进行分区重新配置的局部存储器；

清除远端高速缓冲存储器条目；

终止局部存储器共享；

将远端高速缓冲存储器线归位到主节点；

激活新分区的处理器、I/O组件和局部存储器；

防止访问新分区的可缓存地址；以及

增加和删除在分区重新配置期间被增加和删除的存储页条目。

18.一种方法，包括：

由多节点系统的节点的一个分区接收事务；

由该分区判定事务是否与该分区的资源相关；

响应判定事务与该分区的资源相关，由该分区处理事务；以及

否则，将事务发送到具有与事务相关的资源的节点另一个分区。

19.如权利要求18所述的方法，其中，由多节点系统的节点的一个分区接收事务包括从多节点系统的另一个节点接收事务。

20.如权利要求19所述的方法，其中，由分区处理事务包括将响应发送到多节点系统的所述另一个节点。