CN102112967A - 多处理器系统、多处理器系统用管理装置、以及记录有多处理器系统用管理程序的计算机可读的记录介质 - Google Patents

Abstract

本发明通过实现考虑了系统特性的资源分配来实现分区分割的最优化，从而提高了系统整体的处理性能。因此，在本发明的系统管理部(30)中，根据与多个资源相互间的距离相关的距离信息和多个资源相互间的数据移动频率，计算出针对各分区的多个资源的最佳分配，并借助于多个分区管理部(21、22)来将多个资源分配给多个分区(P1、P2)，以使成为该最佳分配的状态。

Description

多处理器系统、多处理器系统用管理装置、以及记录有多处理器系统用管理程序的计算机可读的记录介质

技术领域

本发明涉及将CPU(Central Processing Unit：运算处理部)、存储器等多个资源分配给多个分区来进行分割，并使用属于各分区的资源按每个分区执行数据处理的、适用于多处理器系统等计算机系统的技术。

背景技术

通常，在由多个CPU、存储器、I/O(输入输出部)构成的大规模多处理器系统中，经常采用被称为NUMA(Non-Uniform MemoryAccess：非一致存储访问结构)的架构。在该NUMA架构中，具有存储器的延迟非一致、也就是说存在“近存储器”和“远存储器”这样的特征。这里，所谓的延迟，对应于CPU等对存储器进行访问时存储器的响应时间，可以将延迟较小的存储器定义为“近存储器”而将延迟较大的存储器定义为“远存储器”。

另外，大规模多处理器系统如上述那样，具备多个CPU和存储器、I/O作为资源而构成。在这种大规模多处理器系统中，使用了一种分区技术，即将多个资源分割给多个分区并在各分区中以独立的OS(Operating System：操作系统)工作的分区技术。

另外，例如在下记的专利文献1、2中，公开了逻辑分区(软分区)技术。在该逻辑分区技术中，在主机OS(控制主机)上按每个逻辑分区启动多个OS。对各逻辑分区分配了逻辑处理器等，通过主机OS，逻辑处理器等和物理处理器等建立对应关系，同时按每个逻辑分区执行基于各OS的处理。逻辑分区技术是使用虚拟的分区的技术，而与此相对，本发明是以分割使用资源的硬分区技术、即按每个分区使用物理上不同的资源的技术作为前提的。

专利文献1：日本特开2006-127462号公报

专利文献2：日本特开2007-193776号公报

但是，当在采用了NUMA架构的多处理器系统中进行分区分割时，为了不会导致处理性能的下降，最理想的是构成为，尽量使分区的构成元件(资源)不横跨多个节点的系统构成。所以，通常都以节点为单位进行分区分割。但是，在分割后，当在各分区内进行伴随着CPU和存储器的追加/减少/故障的变更等时，有时会意外地发生分区的构成元件横跨了多个节点的情况(例如参照图5)。

在分区构成不适当的情况下，例如，在如上述那样分区的构成要素横跨多个节点的情况下，会产生下面这样的问题。也就是说，处理器(CPU)会访问“远存储器”，从而导致存储器延迟增加。另外，在进行存储器访问时会经由相对多的通信线路，从而会不必要地增加整个多处理器系统中的流量。其结果会导致整个系统的处理性能下降。

发明内容

本发明的目的之一是，通过实现考虑了系统特性的资源分配来实现分区分割的优化，从而提高系统整体的处理性能。

另外，并不限于上述目的，作为本发明的其他目的之一能够实现通过用于实施后述的发明的最佳方式所示的各构成而导出的、无法通过以往的技术得到的作用效果。

这里公开的多处理器系统具备多个资源、多个分区管理部以及系统管理部。该多个资源能够被单独分配给多个分区中的任意一个。该多个分区管理部管理属于该多个分区每一个的资源。该系统管理部管理该多个资源和该多个分区管理部。并且，该系统管理部具备第1表存储单元、收集单元、第2表存储单元、计算单元和分配单元。这里，该第1表存储单元存储定义与该多个资源相互间的距离有关的距离信息的第1表。该收集单元收集该多个资源相互间的数据移动信息。该第2表存储单元存储第2表，该第2表保持基于通过该收集单元收集的上述数据移动信息的该多个资源相互间的数据移动频率。该计算单元根据该第1表的距离信息和第2表的数据移动频率，计算针对各分区的该多个资源的最佳分配。该分配单元借助于该多个分区管理部来将该多个资源分配给该多个分区，以使针对该多个分区的该多个资源的分配状态成为通过该计算单元计算出的上述最佳分配。

另外，这里公开的多处理器系统用管理装置，在具有上述多个资源和多个分区管理部的多处理器系统中，管理该多个资源和该多个分区管理部。并且，该管理装置具备上述的第1表存储单元、收集单元、第2表存储单元、计算单元和分配单元。

并且，这里公开的多处理器系统用管理程序使计算机作为在具有上述多个资源和多个分区管理部的多处理器系统中管理该多个资源和多个分区管理部的管理装置(系统管理部)发挥作用。该程序使该计算机作为上述的第1表存储单元、收集单元、第2表存储单元、计算单元和分配单元发挥作用。另外，这里公开的计算机可读的记录介质记录了上述的多处理器系统用管理程序。

根据公开的技术，根据多处理器系统内的资源间的距离信息和数据移动频率，统计地计算出针对各分区的资源的最佳分配，并进行与该最佳分配相应的资源分配。由此，实现了考虑了系统特性的资源分配，优化了分区分割，大幅度提高了系统整体的处理性能。

附图说明

图1是表示作为本发明的一实施方式的多处理器系统的构成的框图。

图2是表示本实施方式的存取延迟表(第1表)的一例的图。

图3是表示本实施方式的资源间数据移动频率表(第2表)的一例的图。

图4是用于对图1所示的多处理器系统用管理装置的动作进行说明的流程图。

图5是为了对图1所示的多处理器系统中的分区分割的具体的最优化动作例进行说明而对该系统的优化前的状态进行表示的图。

图6是为了对图1所示的多处理器系统中的分区分割的具体的优化动作例进行说明而对该系统的优化后的状态进行表示的图。

图中符号说明：

1...服务器(多处理器系统)、10...资源群、21、22...分区管理部、30...服务器管理装置(多处理器系统用管理装置、系统管理部)、31...存储部(第1表存储单元、第2表存储单元)、31a...存取延迟表(第1表、节点间距离表)、31b...资源间数据移动频率表(第2表)、32...收集单元、33...计算单元、34...分配单元、N1～N8...节点、CB1、CB2...纵横开关、Ci1～Ci14(i＝1～8)...CPU(运算处理部、资源)、Mi(i＝1～8)...存储器(资源)、MCi(i＝1～8)...存储器控制器(收集单元)、Ti(i＝1～8)...数据移动信息收集用表(收集单元)、B1、B2...资源间数据移动信息收集用总线(收集单元)、P1、P2...分区

具体实施方式

下面参照附图对本发明的实施方式进行说明。

图1是表示作为本发明的一实施方式的多处理器系统的构成的框图。作为该图1所示的本实施方式的多处理器系统的例子的服务器1将CPU、存储器等多个资源(参照资源群10)分配给多个分区来进行分割，并使用属于各分区的资源按每个分区执行数据处理。另外，在本实施方式中，对设定有2个分区P1、P2的情况进行了说明，但是分区的数量并不限于2个。下面也存在将多处理器系统1单纯地称为“系统1”的情况。

本实施方式的多处理器系统1具有资源群10、分区管理部21、22以及服务器管理装置30。这里，分区管理部21、22以及服务器管理装置30分别例如以卡为单位构成。

资源群10在本实施方式中包含能够单独分配给P1、P2多个分区中的任意一个的CPU和存储器等多个资源。更具体来讲，在本实施方式中，资源群10包含8个节点N1～N8、以及在这8个节点N1～N8的相互间可通信地连接的纵横开关CB1、CB2。

并且，4个节点N1～N4与纵横开关CB1连接，能够借助于纵横开关CB1相互通信。同样，4个节点N5～N8与纵横开关CB2连接，能够借助于纵横开关CB2相互通信。另外，纵横开关CB1与CB2连接，在4个节点N1～N4和4个节点N5～N8之间，能够借助于纵横开关CB1和CB2相互通信。

各节点N1～N8是将系统1中的多个资源通过其物理上的配置而进行了分割后的资源的集合，各资源仅属于1个节点。例如，各节点Ni(i＝1～8)，作为资源包含4个CPUCi1～Ci4、1个存储器Mi、1个存储器控制器MCi、和1个数据移动信息收集用表Ti。

这里，1个存储器Mi例如被构成为多个DIMM(Double InlineMemory Module：双直列内存条)的组合。另外，存储控制器MCi具有对CPUCi1～Ci4、存储器Mi和纵横开关CB1(或者CB2)的相互间的数据移动进行控制的功能。并且，存储器控制器MCi还具有如下功能，即在存在针对存储器Mi的读取请求的情况下，将与是来自哪个CPU的读取请求有关的数据移动信息记录在表Ti中的功能。各表Ti中记录的数据移动信息如后述那样，经由资源间数据移动信息收集用总线B1或者B2，由服务器管理装置30的收集单元32进行收集。

另外，在图1、图5和图6中，图示了节点N1、N2、N5和N6中的CPU C11～C14、C21～C24、C51～C54、C61～C64、存储器M1、M2、M5、M6、存储器控制器MC1、MC2、MC5、MC6、表T1、T2、T5、T6。另一方面，省略了节点N3、N4、N7、N8中的CPU C31～C34、C41～C44、C71～C74、C81～C84、存储器M3、M4、M7、M8、存储器控制器MC3、MC4、MC7、MC8、表T3、T4、T7、T8的图示。

另外，根据硬件的构造不同，也会有对于CPU和存储器的特定的组，无法将CPU与存储器分离的情况。这里，认为全部的CPU和存储器的组都是可以分离的来进行说明。但是，本发明并不限定CPU和存储器是不能分离还是能够分离。

并且，在图1、图5和图6所示的系统1中，对节点数是8，纵横开关数是2，另外，各节点Ni中的CPU数是4，存储器数是1的情况进行了说明，但是本发明并不限定这些数量。

分区管理部21、22，分别对应于分区P1、P2而被设置，对属于分区P1、P2的CPU和存储器之类的资源进行管理。另外，各分区管理部21、22根据关于各分区P1、P2的条件表来识别属于各分区P1、P2的资源。按照该识别结果，各分区管理部21、22将多个资源分别分配给分区P1、P2来进行分割分配，并对属于各分区P1、P2的资源进行管理。另外，各分区管理部21、22中的条件表由服务器管理装置30进行指示、设定。

服务器管理装置(多处理器系统用管理装置、系统管理部)30对被表示为资源群10的多个资源和多个分区管理部21、22进行管理，具有存储部31、收集单元32、计算单元33和分配单元34。

存储部31例如由RAM(Random Access Memory：随机存取存储器)构成，作为第1表存储单元和第2表存储单元发挥作用。该第1表存储单元用于存储作为第1表的存取延迟表31a。该第2表存储单元用于存储作为第2表的资源间数据移动频率表31b。

这里，存取延迟表(节点间距离表)31a定义了与属于图1所示的系统1的资源群10的多个资源相互间的距离有关的距离信息。在该存取延迟表31a中，作为该距离信息，例如如图2所示那样，定义了各资源所属的节点间的距离，更具体来讲是节点间的实际的存取延迟(存取等待时间、单位是nsec)。

在该存取延迟表31a中定义的距离信息、即存取延迟作为系统1、或者系统1中包含的资源群10的性能，通过性能试验被预先取得，被预先提供并登记在存储部31的存取延迟表31a中。

这里，图2是表示本实施方式的存取延迟表31a的一例的图。

例如，在图2所示的存取延迟表31a中，将节点N1和节点N2之间的距离定义为100nsec，将节点N3和节点N8之间的距离定义为200nsec。另外，作为第1表的存取延迟表31a中的值并不限定于如本实施方式那样的存取延迟和与该存取延迟成比例的值。对于存取延迟表31a中的值，只要是与资源相互间的距离有关，则除了实际的存取延迟以外，也能够使用例如利用数据通过的通信线路的吞吐量等进行了加权后的值。

另外，在下面的说明中，将利用存取延迟表31a定义的节点Ni和节点Nj之间的距离、即存取延迟如下记载为distance(i，j)。

distance(i，j)＝50(i＝j)

100(i≤4且j≤4且i≠j)或者

(5≤i且5≤j且i≠j)

200(除此以外)

资源间数据移动频率表31b保持基于由收集单元32收集的数据移动信息的多个资源相互间的数据移动频率。

这里，收集单元32经由总线B1、B2，从各表Ti接收并收集在各节点Ni中的表Ti中由存储器控制器MCi记录的数据移动信息。该数据移动信息如上所述，是表示从哪个CPU接受了针对存储器Mi的读取请求的信息。

并且，收集单元32具有如下功能，即通过将从各表Ti接收到的数据移动信息登记到资源间数据移动频率表31b中来进行统一的功能。由此，在资源间数据移动频率表31b中，将与哪个CPU向哪个存储器发出了几次读取请求有关的信息、例如通信次数/数据移动次数/读取访问次数作为数据移动频率进行登记。

另外，这里，对读取请求进行了计数，但是也可以利用存储器控制器MCi和表Ti来收集写入请求、即与从CPU向存储器的写入请求有关的数据移动信息。在这种情况下，在资源间数据移动频率表31b中，将与哪个CPU向哪个存储器发出了几次写入请求有关的信息、即通信次数/数据移动次数/写入访问次数作为数据移动频率进行登记。另外，也可以只将与读取请求有关的数据移动次数作为数据移动频率进行计数，只将与写入请求有关的数据移动次数作为数据移动频率进行计数，还可以将与读取请求和写入请求的两者有关的数据移动次数的合计值作为数据移动频率进行计数。

由此，在本实施方式中，由存储器控制器MCi、表Ti、总线B1、B2、资源间数据移动频率表31b、以及收集单元32，构成了对多个资源相互间的数据移动信息进行收集的收集单元。在使用该收集单元在CPU和存储器之类的资源间进行了通信时，识别出从哪里到哪里进行了数据移动，并作为数据移动频率记录到资源间数据移动频率表31b中。

这里，图3表示了本实施方式的资源间数据移动频率表31b的一个例子。在该图3所示的资源间数据移动频率表31b中，记录有各CPU针对各存储器的访问次数的具体例。根据资源间数据移动频率表31b例如可知CPU11对存储器M1进行了1000次的访问而对存储器M2进行了500次的访问的情况。另外，例如可知CPU23对存储器M2进行了1000次的访问。

另外，在图3所示的资源间数据移动频率表31b中，各CPU所属的节点编号i被记入到#NODE栏中，同时各CPU所属的分区编号被记入到#PART栏中。这里，与在后面参照图5说明的例子同样，8个CPUC11、C12、C13、C14、C21、C22、C51、C52以及2个存储器M1、M5属于分区P1，4个CPU C23、C24、C61、C62以及1个存储器M2属于分区P2。

在下面的说明中，将登记在资源间数据移动频率表31b中的、CPUCik(i＝1～8、k＝1～4)和存储器Mn(n＝1～8)之间的数据移动次数(访问次数)记载为F(Cik，Mn)。例如，CPU C13和存储器M5之间的登记数据移动次数F(C13，M5)＝1500。

另外，将CPU Cik和存储器Mn之间的距离、即节点间距离或者存取延迟记载为D(Cik，Mn)，则D(Cik，Mn)＝distance(CPU所属的节点的节点ID编号i，存储器所属的节点的节点ID编号n)＝distance(i，n)。例如，CPU C61和存储器M2之间的距离是D(C61，M2)＝distance(6，2)，若参照图2所示的存取延迟表31a则是200。

计算单元33根据存取延迟表31a的距离信息(存取延迟/存储器延迟)和资源间数据移动频率表31b的数据移动频率，计算出针对各分区P1、P2的多个资源的最优分配。

此时，计算单元33首先根据存取延迟表31a的距离信息和资源间数据移动频率表31b的数据移动频率，关于被分配给各分区P1、P2的多个资源的全部组合的每个计算出平均距离、即平均存储器延迟。

也就是说，计算单元33针对每个上述组合，计算出在资源间数据移动频率表31b中作为数据移动频率记录的各CPU Cik对各存储器Mn的访问次数F(Cik，Mn)和、在存取延迟表31a中作为距离信息定义的对应存储器延迟、即节点间存取延迟D(Cik，Mn)＝distance(i，n)的乘积的总和。并且，计算单元33计算出将该乘积的总和除以访问次数的总和而得到的值，作为关于该组合的平均距离。然后，计算单元33从多个资源的全部组合中选择对于该组合计算出的平均距离为最小的资源的组合作为最佳分配。

这里，如上所述，向分区P1分配了8个CPU以及2个存储器，并且向分区P2分配了4个CPU以及1个存储器。在这样的情况下，例如以分区P2为例，若假定从节点N1～N8中的32个CPU以及8个存储器中选择4个CPU以及1个存储器分配给分区P2，则多数的组合被考虑。计算单元33如下述那样，根据存取延迟表31a和资源间数据移动频率表31b的数据计算关于该各组合的平均距离、即平均存储器延迟。

这里，为了简单起见，对根据分别如图2和图3所示的存取延迟表31a和资源间数据移动频率31b的数据，计算如图5所示那样的被分配了4个CPU C23、C24、C61、C62以及1个存储器M2的分区P2的平均存储器延迟的情况进行具体说明。

首先，分区P2中的存储器访问次数的总数，根据如图3所示的节点间距离表31b中记录的数值，表示为下式。

F(C23，M2)+F(C24，M2)+F(C61，M2)+F(C62，M2)

＝1000+4000+3000+2000

＝10000

所以，根据图2所示的存取延迟表31a中记录的存储器延迟以及图3所示的资源间数据移动频率表31b中记录的访问次数，计算图5所示的资源组合的分区P2中的平均存储器延迟。

[图5所示的分区P2的平均存储器延迟]

＝∑’D(C，M)*F(C，M)/10000

＝{D(C23，M2)*F(C23，M2)+D(C24，M2)*F(C24，M2)

+D(C61，M2)*F(C61，M2)+D(C62，M2)*F(C62，M2)}/10000

＝(50*1000+50*4000+200*3000+200*2000)/10000

＝1250000/10000

＝125nsec

另外，∑’指的是针对属于分区P2的CPU以及存储器的全部组合计算出的D(C，M)*F(C，M)的总和。

相对于此，如下述那样计算出在被分配给分区P2的资源中，图5所示的CPU C23、C24以及存储器M2如图6所示那样分别被置换为CPU C63、C64以及存储器M6的情况下的平均存储器延迟。此时，CPUC63、C64对存储器M6的访问次数分别和CPU C23、C24对存储器M2的访问次数相同。也就是

F(C63，M6)＝F(C23，M2)＝1000

F(C64，M6)＝F(C24，M2)＝4000

图6所示的分区P2中的平均存储器延迟如下述那样计算。

[图6所示的分区P2的平均存储器延迟]

＝∑’D(C，M)*F(C，M)/10000

＝{D(C63，M6)*F(C63，M6)+D(C64，M6)*F(C64，M6)

+D(C61，M6)*F(C61，M6)+D(C62，M6)*F(C62，M6)}/10000

＝(50*1000+50*4000+50*3000+50*2000)/10000

＝1250000/10000

＝50nsec

图6所示的分区P2的平均存储器延迟减少至图5所示的分区P2的平均存储器延迟的40％(＝50/125)，系统1的大幅度的性能改善可以被预见。

如上述那样，计算单元33针对所有的资源的组合计算出平均距离，并求出该平均距离最小的资源组合，作为最佳的分区构成(最佳分配)。

也就是说，若记载为一般形式，则计算单元33针对τ：{CPU的集合}→{CPU的集合}、ρ：{存储器的集合}→{存储器的集合}，计算

平均距离AvgD(τ，ρ)＝∑’D(τ(C)，ρ(M))＊F(C，M)/10000并求出使其值最小的τ，ρ。作为其结果得到的τ(分区P2的CPU的集合)以及ρ(分区P2的存储器的集合)成为使平均延迟最小的、最佳的分区P2的资源构成(资源分配)。另外，∑’与上述同样，指的是针对属于分区P2的CPU和存储器的全部组合计算出的D(τ(C)，ρ(M))*F(C，M)的总和。

另外，分别属于分区P1和分区P2的资源不能属于其他的分区。所以，实际上，计算单元33依次选择分别属于分区P1和分区P2的12个CPU和3个存储器的组合，与上述同样地，针对各组合计算出平均存储器延迟，并根据其平均距离选择最佳分配、即平均距离最小的资源组合。

分配单元34借助于各分区管理部21、22对各分区P1、P2分配CPUCik和存储器Mn，以使得针对各分区P1、P2的资源分配状态成为通过计算单元33计算出的最佳分配状态。此时，分配单元34对各分区管理部21、22通知与最佳分配有关的信息，并改写变更各分区管理部21、22中的关于各分区P1、P2的条件表的内容。这里，从分配单元34向各分区管理部21、22通知的与最佳分配有关的信息是用于指定各分区P1、P2中应该包含的CPU Cik以及存储器Mn的信息。

基于该分配单元34的分配变更处理是在深夜等系统1的使用频率较低的时间段，在包含变更对象资源所属的节点的卡的电源被切断的基础上执行的。在进行该分配变更处理时，进行各分区管理部21、22中的条件表的改写，并且执行将变更对象的CPU内数据和存储器的存储数据向变更后的CPU和存储器移动的处理。由此，各分区P1、P2内的资源的构成被变更成最佳的分区构成。但是，本发明并不限定于这样的分配变更处理，也可以通过卡的热插拔等来进行分配变更处理。

基于该分配单元34的资源分配变更在存在有平均距离比现状的分区构成中的平均距离小的分区构成的情况下被执行。特别是，此时，在通过使用分配变更后的分区构成，与现状、即分配变更前的分区构成相比能够得到规定基准以上的性能改善的情况下执行资源分配变更。更具体来讲，优选在如上述那样计算出的性能改善率、即[分配变更后的平均距离]/[分配变更前的平均距离]在规定值以下的情况下，执行上述的资源分配变更。

另外，上述的基于计算单元33和分配单元34的处理，例如以新分区的增加、规定时间的经过、用户(服务器管理者)的请求等为触发，在深夜等系统1的使用频率较低的时间段被执行。

另外，理想的是，计算单元33在成为最佳分配的资源组合存在多个的情况下，将进行后述的基于分配单元34的资源分配时资源分配变更量最少的资源组合选择为最佳分配。由此，能够将伴随着资源分配变更的、各分区管理部21、22中的条件表的改写变更、和CPU/存储器中的数据移动等处理抑制在最小限度，能够有效地进行分配变更。

接着，按照图4所示的流程图(步骤S1～S8)，参照图5和图6对如上述那样构成的本实施方式的多处理器系统1(服务器管理装置30)的动作进行说明。另外，图5和图6都是为了说明图1所示的系统1中的分区分割的具体优化动作例的图，图5表示系统1的优化前的状态，图6表示系统1的优化后的状态。

这里，即使各分区使用了相同量的资源，根据各分区P1、P2中的资源的组合不同，系统1的性能也会有很大差异。于是，在本实施方式中，对各分区P1、P2进行资源的再分配，从而优化系统1的处理性能。

在图5所示的例子中，8个CPU C11、C12、C13、C14、C21、C22、C51、C52以及2个存储器M1、M5属于分区P1，4个CPU C23、C24、C61、C62以及1个存储器M2属于分区P2。也就是说，属于分区P1的CPU被分散配置给3个节点N1、N2、N5，属于分区P1的存储器M1、M5被分散配置给2个节点N1、N5。另外，属于分区P2的CPU被分散配置给2个节点N2、N6。若这样将同一分区内的CPU和存储器分散配置给不同的节点，则需要在节点间进行通信，存储器延迟会恶化。例如，属于节点N6的CPU C61需要访问另外的节点N2中的存储器M2，存储器延迟恶化。

相对于此，图6所示的例子是优化后的状态，该状态是服务器管理装置30使用例如图2和图3所示的存取延迟表31a和资源间数据移动频率31b，对如图5所示那样分配的资源，按照图4所示的顺序进行最优化处理而得到的。在该图6所示的例子中，8个CPU C11、C12、C13、C14、C21、C22、C23、C24以及2个存储器M1、M2属于分区P1，4个CPU C61、C62、C63、C64以及1个存储器M6属于分区P2。

通过这样进行再分配，属于分区P2的CPU和存储器被配置在一个节点N6内。所以，在CPU进行存储器访问时，必定会访问自身节点N6的存储器M6，存储器延迟成为最小。

另外，属于分区P1的CPU和存储器被配置在收容于同一个纵横开关CB1的2个节点N1、N2内。所以，在这种情况下，在CPU进行存储器访问时，会访问自身节点的存储器或者同一纵横开关CB1收容的其他节点的存储器，存储器延迟也成为最小。

而且，当本实施方式的服务器管理装置30开始动作时，如图4所示那样，首先，在将存取延迟表31a初始化以后(步骤S1)开始系统1的运用(步骤S2)。另外，在存取延迟表31a的初始化中，与本系统1的资源群10相对应的存取延迟表31a被登记存储在存储部31中。另外，在进行动作开始时的初始化时，也进行各节点Ni中的表Ti的初始化(清空)。

然后，由收集单元32，开始收集资源间的数据移动信息(步骤S3)。在该收集处理中，经由总线B1、B2从各表Ti收集各节点Ni中的表Ti中记录的数据移动信息，并登记到资源间数据移动频率表31b中。由此，在资源间数据移动频率表31b中，将与在资源群10中哪个CPU向哪个存储器发出了几次请求有关的信息、即通信次数/数据移动次数/读取访问次数等作为数据移动频率进行登记。持续进行上述那样的资源间的数据移动信息的收集(步骤S4的否的分支)，直到信息分析的触发发生。

并且，当例如新分区的增加、规定时间的经过、用户(服务器管理者)的请求等一些触发产生时(步骤S4的是的分支)，由计算单元33，根据存取延迟表31a的距离信息、即存取延迟/存储器延迟和资源间数据移动频率表31b的数据移动频率，计算出针对各分区P1、P2的资源的最佳分配(步骤S5)。也就是说，由计算单元33，如上述那样，针对所有的资源的组合计算出平均距离，并求出该平均距离最小的资源组合作为最佳的分区构成(最佳分配)。

然后，在服务器管理装置30中，针对通过计算单元33得到的最佳的分区构成(最佳区分)，计算上述那样的性能改善率、即[分配变更后的平均距离]/[分配变更前的平均距离]。并且，判断该性能改善率是否在规定值以下(步骤S6)。

在性能改善率超过了规定值的情况下，判断为不存在比现状的分区构成好的分区构成(步骤S6的否的分支)，维持现状的分区构成。也就是说，服务器管理装置30继续收集资源间的数据移动信息，并向步骤S4的处理转移。

另一方面，在性能改善率在规定值以下的情况下，判断为存在比现状的分区构成好的分区构成(步骤S6的是的分支)，执行基于分配单元34的分配变更处理(步骤S7)。

此时，例如在将图5所示的分区构成分配变更成图6所示的分区构成的情况下，作为变更对象的节点N1、N2、N5、N6的动作停止。并且，通过分配单元34，改写各分区管理部21、22中的关于各分区P1、P2的条件表的内容，并且将变更对象的CPU内数据和存储器的存储数据向变更后的CPU和存储器移动。此时，存储器M2的存储数据向存储器M6移动，并且CPU C23、C24的内部数据向CPU C63、C64移动。然后，存储器M5的存储数据向存储器M2移动，并且CPU C51、C52的内部数据向CPU C23、C24移动。执行完这样的数据移动处理后，接通节点N1、N2、N5、N6的电源，各分区P1、P2内的资源的构成被变更成最佳的分区构成(最佳分配)。

当分区构成的变更结束时，在资源间数据移动频率表31b和表T1、T2、T5、T6中，将与成为了变更对象的资源有关的数据移动频率和数据移动信息之类的信息清空(步骤S8)，服务器管理装置30向步骤S3的处理转移。

这样，根据作为本发明的一实施方式的多处理器系统1和服务器管理装置30，基于多处理器系统1内的资源间的距离信息和数据移动频率，统计地计算出针对各分区的资源的最佳分配，并进行与该最佳分配相应的资源分配。由此，实现了考虑了系统1的特性的资源分配，优化了分区分割、即针对分区的资源分配，大幅度提高了系统整体的处理性能。也就是说，通过进行考虑了系统1的NUMA特性的资源再配置，能够将使用了同一资源的情况下的处理性能最大化。

另外，本发明并不限定于上述的实施方式，能够在不脱离本发明的主旨的范围内进行各种变形来实施。

另外，作为上述的存储部(第1表存储单元、第2表存储单元)31、收集单元32、计算单元33以及分配单元34的功能(各单元的全部或者一部分的功能)，可以通过由计算机(包含CPU、信息处理装置、各种终端)执行规定的应用程序(多处理器系统用管理程序)来实现。

该程序以记录在例如软盘、CD(CD-ROM、CD-R、CD-RW等)、DVD(DVD-ROM、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW、蓝光光盘等)等计算机可读的记录介质中的形式被提供。在这种情况下，计算机从该记录介质中读取多处理器系统用管理程序，并将其传送到内部存储装置或者外部存储装置中进行存储来使用。另外，也可以将该程序预先记录到例如磁盘、光盘、磁光盘等存储装置(记录介质)中，经由通信线路从该存储装置提供给计算机。

这里，所谓计算机是包含硬件和OS(操作系统)的概念，是指在OS的控制下进行动作的硬件。另外，在不需要OS而是由应用程序单独使硬件动作的情况下，该硬件自身相当于计算机。硬件至少具备CPU等微型处理器、和用于读取记录介质中记录的程序的单元。作为上述分布式存储系统用控制程序的应用程序包含在上述那样的计算机中实现作为单元31～34的功能的程序代码。另外，该功能的一部分也可以不通过应用程序而是通过OS来实现。

并且，作为本实施方式中的记录介质，除了上述的软盘、CD、DVD、磁盘、光盘、光磁盘以外，还可以利用IC卡、ROM磁盘、磁带、穿孔卡、计算机的内部存储装置(RAM和ROM等存储器)、外部存储装置等、或印刷有条形码等符号的印刷物等计算机可读的各种介质。

Claims (17)

1.一种多处理器系统，其特征在于，

具备：多个资源，能够被单独分配给多个分区中的任意一个；

多个分区管理部，其管理属于该多个分区的每一个的资源；和

系统管理部，其管理该多个资源和该多个分区管理部；

该系统管理部具备：

第1表存储单元，其存储定义与该多个资源相互间的距离有关的距离信息的第1表；

收集单元，其收集该多个资源相互间的数据移动信息；

第2表存储单元，其存储第2表，该第2表保持基于由该收集单元收集的上述数据移动信息的该多个资源相互间的数据移动频率；

计算单元，其根据该第1表的距离信息和该第2表的数据移动频率，计算针对各分区的该多个资源的最佳分配；和

分配单元，其借助于该多个分区管理部将该多个资源分配给该多个分区，以使针对该多个分区的该多个资源的分配状态成为由该计算单元计算出的上述最佳分配的状态。

2.根据权利要求1所述的多处理器系统，其特征在于，

作为该第1表中的上述距离信息，定义了各资源所属的节点间的存取延迟。

3.根据权利要求1或2所述的多处理器系统，其特征在于，

作为该第2表中的上述数据移动频率的、上述多个资源相互间的数据移动次数被记录更新。

4.根据权利要求3所述的多处理器系统，其特征在于，

作为该多个资源包含多个运算处理部和多个存储器，作为上述数据移动次数的、各运算处理部和各存储器之间的通信次数被记录更新。

5.根据权利要求1～4的任意一项所述的多处理器系统，其特征在于，

该计算单元基于该第1表的距离信息和该第2表的数据移动频率，针对被分配给各分区的该多个资源的全部组合分别计算出平均距离，并将该平均距离最小的资源的组合选择为上述最佳分配。

6.根据权利要求5所述的多处理器系统，其特征在于，

在存在作为上述最佳分配的多个组合的情况下，该计算单元将在进行基于该分配单元的资源分配时的分配变更量最少的组合选择为上述最佳分配。

7.根据权利要求5或6所述的多处理器系统，其特征在于，

作为该多个资源包含多个运算处理部和多个存储器；

该计算单元，按每个上述组合计算出在该第2表中作为上述数据移动频率记录的各运算处理部针对各存储器的访问次数和、在该第1表中作为上述距离信息定义的对应存储器延迟之间的乘积的总和，并计算出将该乘积的总和除以上述访问次数的总和而得到的值，作为关于该组合的上述平均距离。

8.一种多处理器系统用管理装置，其特征在于，在具备多个资源和多个分区管理部的多处理器系统中对该多个资源和该多个分区管理部进行管理，该多个资源能够被单独分配给多个分区中的任意一个，该多个分区管理部管理属于该多个分区的每一个的资源，该多处理器系统用管理装置具备：

第1表存储单元，其存储定义与该多个资源相互间的距离有关的距离信息的第1表；

收集单元，其收集该多个资源相互间的数据移动信息；

第2表存储单元，其存储第2表，该第2表保持基于由该收集单元收集的上述数据移动信息的该多个资源相互间的数据移动频率；

计算单元，其根据该第1表的距离信息和该第2表的数据移动频率，计算针对各分区的该多个资源的最佳分配；和

分配单元，其借助于该多个分区管理部将该多个资源分配给该多个分区，以使针对该多个分区的该多个资源的分配状态成为由该计算单元计算出的上述最佳分配的状态。

9.根据权利要求8所述的多处理器系统用管理装置，其特征在于，

作为该第1表中的上述距离信息，定义了各资源所属的节点间的存取延迟。

10.根据权利要求8或9所述的多处理器系统用管理装置，其特征在于，

作为该第2表中的上述数据移动频率的、上述多个资源相互间的数据移动次数被记录更新。

11.根据权利要求10所述的多处理器系统用管理装置，其特征在于，

作为该多个资源包含多个运算处理部和多个存储器，作为上述数据移动次数的、各运算处理部和各存储器之间的通信次数被记录更新。

12.根据权利要求8～11的任意一项所述的多处理器系统用管理装置，其特征在于，

该计算单元基于该第1表的距离信息和该第2表的数据移动频率，针对被分配给各分区的该多个资源的全部组合分别计算出平均距离，并将该平均距离最小的资源的组合选择为上述最佳分配。

13.根据权利要求12所述的多处理器系统用管理装置，其特征在于，

在存在作为上述最佳分配的多个组合的情况下，该计算单元将在进行基于该分配单元的资源分配时的分配变更量最少的组合选择为上述最佳分配。

14.根据权利要求12或13所述的多处理器系统用管理装置，其特征在于，

作为该多个资源包含多个运算处理部和多个存储器；

该计算单元，按每个上述组合计算出在该第2表中作为上述数据移动频率记录的各运算处理部针对各存储器的访问次数和、在该第1表中作为上述距离信息定义的对应存储器延迟之间的乘积的总和，并计算出将该乘积的总和除以上述访问次数的总和而得到的值，作为关于该组合的上述平均距离。

15.一种记录有多处理器系统用管理程序的计算机可读的记录介质，其特征在于，记录有使计算机作为在具备多个资源和多个分区管理部的多处理器系统中对该多个资源和该多个分区管理部进行管理的多处理器系统用管理装置发挥功能的程序，该多个资源能够被单独分配给多个分区中的任意一个，该多个分区管理部管理属于该多个分区的每一个的资源，该程序使该计算机作为以下单元发挥功能：

第1表存储单元，其存储定义与该多个资源相互间的距离有关的距离信息的第1表；

收集单元，其收集该多个资源相互间的数据移动信息；

第2表存储单元，其存储第2表，该第2表保持基于由该收集单元收集的上述数据移动信息的该多个资源相互间的数据移动频率；

计算单元，其根据该第1表的距离信息和该第2表的数据移动频率，计算针对各分区的该多个资源的最佳分配；和

分配单元，其借助于该多个分区管理部将该多个资源分配给该多个分区，以使针对该多个分区的该多个资源的分配状态成为由该计算单元计算出的上述最佳分配的状态。

16.根据权利要求15所述的记录有多处理器系统用管理程序的计算机可读的记录介质，其特征在于，

该程序在使该计算机作为该计算单元发挥功能时，使该计算机发挥如下功能：基于该第1表的距离信息和该第2表的数据移动频率，针对被分配给各分区的该多个资源的全部组合分别计算出平均距离，并将该平均距离最小的资源的组合选择为上述最佳分配。

17.根据权利要求16所述的记录有多处理器系统用管理程序的计算机可读的记录介质，其特征在于，

作为该多个资源包含多个运算处理部和多个存储器；

该程序在使该计算机作为该计算单元发挥功能时，使该计算机发挥如下功能：按每个上述组合计算出在该第2表中作为上述数据移动频率记录的各运算处理部针对各存储器的访问次数和、在该第1表中作为上述距离信息定义的对应存储器延迟之间的乘积的总和，并计算出将该乘积的总和除以上述访问次数的总和而得到的值，作为关于该组合的上述平均距离。

Images