CN107908502A - 一种基于大型系统拓扑结构的容错节点分配方法 - Google Patents

Abstract

本发明公开一种基于大型系统拓扑结构的容错节点分配方法，包括如下步骤:步骤一、定义系统拓扑结构中节点位置分布，确定节点的位置；步骤二、建模任意两个节点同时失效的概率模型，从而得到任意两个节点同时失效函数；步骤三、计算任意两点同时失效的概率，得到任意两点同时失效的概率为固定值；步骤四、构建节点分配模型，将计算节点集合抽象成对应的无向加权图G(V,E,W)；步骤五、运行覆盖算法，求解最优节点组合，使得集合权值最小，并且将结果保存并返回。本发明相对于传统的节点分配技术，能够使得全系统内存检查点失效概率降低3倍。这也意味着我们能把多级检查点系统中的检查点恢复开销相对于传统做法降低67％。

Description

一种基于大型系统拓扑结构的容错节点分配方法

技术领域

本专利属于信息技术及计算机领域，尤其涉及一种基于大型系统拓扑结构的容错节点分配方法。

背景技术

当前高性能计算系统的计算节点普遍采用的是多核处理器和大容量存储器，随之而来的是系统的可靠性问题越来越严重，应用程序在高性能计算机系统运行时，经常会由于硬件或者软件错误导致系统出现故障。系统的平均无故障时间随高性能计算机体系结构的复杂化而大大缩短，比如，蓝色基因的平均无故障时间为八小时，甚至一些极大规模的系统平均无故障时间都不到半小时。容错技术是一种能够确保大规模系统能够持续正确运行的方法，它通过保证在单节点或者多节点系统故障情况下应用能够持续运行而提高系统的平均无故障时间。目前最流行的容错技术是检查点技术，这种技术把应用的状态定期保存到稳定存储设备上，当系统出现故障时，应用从检查点映像中恢复执行。对于内存检查点的容错节点分配方式，目前通常的做法主要分为以下几种：

1.通过备份每一个检查点文件到配对节点上，双备份模式的方法能够允许节点错误。只要配对节点不同时出错，应用程序就能无故障运行。但是这种做法需要两倍的存储空间，并且配对方式比本地存储速度上要慢。

2.XOR容错节点分配方法把节点分配到不相交且大小为N的集合。它计算来自不同节点文件中的异或部分文件，并且把这部分文件划分为大小为N的片段，之后把每个片段分散到一个节点中。每个节点再根据各自检查点文件所在位置把这些片段文件保存到本地存储。只要不是两个同集合节点同时出错，这种方式能够允许多节点错误。但是这种做法相比配对方式更耗时间。

综上所诉，高性能计算系统的容错处理是解决系统可靠性问题的关键技术。而目前主流的节点分配方式各自都存在着弊端。

发明内容

为解决上述问题，本发明公开了一种基于大型系统拓扑结构的容错节点分配方法。本发明相对于传统的节点分配技术，能够使得全系统内存检查点失效概率降低3倍。这也意味着我们能把多级检查点系统中的检查点恢复开销相对于传统做法降低67％。

为实现上述目的，本发明的技术方案为：

一种基于大型系统拓扑结构的容错节点分配方法，包括如下步骤:

步骤一、定义系统拓扑结构中节点位置分布，确定节点的位置；

步骤二、建模任意两个节点同时失效的概率模型，从而得到任意两个节点同时失效函数；

步骤三、计算任意两点同时失效的概率，得到任意两点同时失效的概率为固定值；

步骤四、构建节点分配模型，将计算节点集合抽象成对应的无向加权图G(V,E,W)，其中G表示无向加权图，V表示顶点集，E表示边集，W表示边的权集，C表示clique集(最大团集)。步骤五、运行覆盖算法，求解最优节点组合，使得集合权值最小，并且将结果保存并返回。

进一步的改进,包括如下步骤：

步骤一、定义大型系统拓扑结构中节点的具体位置分布：

1)用1,2,3,…表示系统中计算节点的编号；

2)用(x_i,y_i,z_i,k_i)表示计算节点i在整个大型系统拓扑结构中所处的位置。其中x_i表示计算节点i所在的主板号，y_i表示计算节点i所在的机框号，z_i表示计算节点i所在的机柜号，k_i表示所计算节点i所在的组号；

3)表示节点i,j同时失效的概率。

步骤二、建模并计算任意两点同时失效的概率函数根据任意两个节点在系统中所处的位置得出配对节点同时失效的概率函数，函数包含五个部分：单节点失效概率，相同主板上节点同时失效概率，相同机框内节点同时失效概率，相同机柜内节点同时失效概率和同排机框内节点同时失效概率；概率函数具体计算过程如下：

3.1)计算单节点失效概率P_s，即节点,平均无故障时间MTBF_n的倒数：

3.2)计算电源模块失效概率P_m，电源模块失效概率P_m等于电源模块平均无故障时间MTBF_m的倒数：

3.3)计算同机框内两节点同时失效的概率P_b即等于电源模块失效概率P_m，即P_b＝P_m；

3.4)计算风扇故障概率P_f；风扇故障概率P_f等于风扇平均无故障运行时间MTBF_f的倒数：

3.5)计算空调影响的节点失效概率P_c；同一组机柜有相同空调控制温度，一旦空调出现故障，节点也会同样因温度过高而出现故障，于是，空调影响的节点失效概率P_c为空调平均无故障时间(MTBF_c)的倒数：

3.6)计算冷却系统故障导致的节点失效概率P_l。同一排节点也会受到冷却系统故障的影响，冷却系统故障导致的节点失效概率P_l为冷却系统平均无故障时间(MTBF_l)的倒数：

3.7)得出任意两个节点i,j同时失效的失效函数进而得出同时失效函数公式：

其中：

其中，else表示其它情况；

步骤三、计算任意两点i,j同时失效的概率；通过判断两个节点的位置关系，并进一步求出这两个节点同时失效的概率，求解方式如下例：

4.1)若给定的两个节点i,j不在同一个主板，则：

4.2若给定的两个节点i,j在同一个机框，则：

4.3)继续可得：同理：

4.4)得到位置关系：b＝0,f＝1,c＝1,l＝1；

4.5)代入失效函数公式得：

P_i ^j＝1-(1-P_s(i∩j))*(1-P_f(i∩j))*(1-P_c(i∩j))*(1-P_l(i∩j))，将P_s、P_m、P_b、P_f、P_c、P_l的计算公式代入失效函数公式即可可求出节点i,j同时失效的概率。

步骤四、构建节点分配模型：对于任意作业系统给作业分配的计算节点集合，基于概率模型，建立计算节点集合对应的无向加权图G(V,E,W)，图的顶点对应所能选取的节点，而连接两个顶点的边表示这两个节点可以被分配在同一个检查点集合内，每条边所加的权值则表示相连两个节点同时失效的概率；

步骤五、运用k-clique覆盖算法，对于被抽象成无向加权图G(V,E,W)的目标系统，从中找出一个最优节点组合使得集合权值最小，即整个系统内存检查点出错概率最小。

进一步的改进,所述覆盖算法为k-clique覆盖算法。

附图说明

图1为本发明的总流程图；

图2为容错节点分配模型局部图；

图3为节点映射带权无向图。

实施例

实施例1

本发明提出了一种基于大型系统拓扑结构并利用k-clique覆盖算法的容错节点分配方法，此方法较大程度提升了全系统可恢复概率。

本发明首先针对目标系统建立起一个概率模型，通过该概率模型能计算出系统中任意两个计算节点同时出错的概率大小。然后我们将目标系统抽象成一张加权无向图，图中的顶点代表计算节点；边则表示此边相连的两个计算节点可以划分在同一个容错集合中；边上的权值通过概率模型计算得到，这个值是此边相连的两个计算节点同时出错的概率。对于任意作业系统给作业分配的计算节点集合，基于概率模型，建立计算节点集合对应的无向加权图；

第一步、做出容错节点分配方法的简单假设，这些简单假设使得此方法普适于大多数情况。假设包括以下几点：

1.假定模型遇到的错误不是极端的，而是一般可恢复的；

2.假定单节点故障没有传递性，是完全独立的。一个节点的错误不会对其他节点有直接或者间接的影响；

3.假定同种故障概率为定值，如单风扇故障率、单节点故障率、空调故障率和电源故障率等都为固定不变的数值。

第二步、定义大型系统拓扑结构中节点的具体位置分布(图2)：

1.用1,2,3,…表示系统中计算节点的编号；

2.用(x_i,y_i,z_i,k_i)表示计算节点i在整个大型系统拓扑结构中所处的位置。其中xi表示计算节点i所在的主板号，yi表示计算节点i所在的机框号，zi表示计算节点i所在的机柜号，ki表示所计算节点i所在的组号；

3.表示节点i,j同时失效的概率。

第三步、建模并计算任意两点同时失效的概率函数这里，可以根据任意两个节点在系统中所处的位置得出配对节点同时失效的概率函数，函数包含五个部分：单节点失效概率，相同主板上节点同时失效概率，相同机框内节点同时失效概率，相同机柜内节点同时失效概率和同排机框内节点同时失效概率。概率函数具体计算过程如下：

3.1计算单节点失效概率P_s，即节点平均无故障时间(MTBF_n)的倒数：

3.2计算电源模块失效概率P_m。同机框的节点共用电源模块，电源模块故障会引起同机框内计算节点同时失效，所以电源模块失效概率P_m等于电源模块平均无故障时间(MTBF_m)的倒数：

3.3计算同机框内两节点同时失效的概率即等于电源模块失效概率P_b＝P_m；

3.4计算风扇故障概率P_f。同一机柜内的节点由相同的风扇组散热，当一台风扇出现故障的时候，各节点温度的升高引发节点故障，风扇故障概率(P_f)等于风扇平均无故障运行时间(MTBF_f)的倒数：

3.5计算空调影响的节点失效概率P_c。同一组机柜有相同空调控制温度，一旦空调出现故障，节点也会同样因温度过高而出现故障，于是，空调影响的节点失效概率P_c为空调平均无故障时间(MTBF_c)的倒数：

3.6计算冷却系统故障导致的节点失效概率P_l。同一排节点也会受到冷却系统故障的影响，冷却系统故障导致的节点失效概率P_l为冷却系统平均无故障时间(MTBF_l)的倒数：

3.7得出任意两个节点(i,j)同时失效的失效函数上述讨论了任意两个计算节点同时失效的所有可能概率，由此我们得出同时失效函数：

其中：

第四步、计算任意两点(i,j)同时失效的概率。通过第三步，我们得出了任意二点同时失效的概率函数根据第三步3.7得出的失效函数，我们通过判断两个节点的位置关系，并进一步求出这两个节点同时失效的概率，求解方式如下例：

4.1假如给定的两个节点i,j不在同一个主板，则：

4.2继续判断是否在同一个机框，假定在同一个机框，则：

4.3继续可得：同理：

4.4得到位置关系：b＝0,f＝1,c＝1,l＝1；

4.5代入第三步3.7中的失效函数公式得：P_i ^j＝1-(1-P_s(i∩j))*(1-P_f(i∩j))*(1-P_c(i∩j))*(1-P_l(i∩j))，将之前的各情况概率公式代入可求出节点i,j同时失效的概率。

第五步、构建节点分配模型(图3)。对于任意作业系统给作业分配的计算节点集合，基于概率模型，建立计算节点集合对应的无向加权图G(V,E,W)，图的顶点对应所能选取的节点，而连接两个顶点的边表示这两个节点可以被分配在同一个检查点集合内，每条边所加的权值则表示相连两个节点同时失效的概率；

第六步、运用k-clique覆盖算法，对于被抽象成带权无向图G(V,E,W)的目标系统，从中找出一个最优节点组合使得集合权值最小(即整个系统内存检查点出错概率最小)。以内存双备份模式为例，此时clique大小为2(当采用XOR，clique大小为sizeXOR)，具体过程如下例：

6.1带权无向图G(V,E,W)，初始化顶点集V，边集E，边的权集W，clique集C；

6.2将图G(V,E,W)中的边全部去除；

6.3添加最小权值边的到图；

6.4根据每个顶点所连接的边数按升序重排，依次去寻找大小为2的clique，将找到的团加入到clique集C，并且在图G中将已加入C的顶点移除；

6.5如果图G顶点不为空，返回至6.3，否则执行6.6；

6.6返回大小为2的clique集C(这个集就是配对节点解)。

第七步、结束

与现有技术相比，采用本发明可达到以下技术效果：

1.第三步和第四步，我们将任意二个计算节点进行建模，并且基于第一步的简单假设，能够使得任意二个节点同时失效概率的计算适用于大多数情况。

2.第五步和第六步，我们把计算节点以及他们之间的同时失效概率转化为一个带权无向图，利用我们的容错节点分配方法在图中寻找clique，从而更合理地分配计算节点到XOR集。

3.我们将一般的跳步分配节点算法和我们的容错节点分配方法以为出错概率为指标进行了比较。实验结果表示，当XOR集大小较小时，我们的容错节点分配方法效果非常好。特别XOR为2时，我们的容错节点分配方法的出错概率只有跳步分配算法的十万分之一左右。

5.本发明提出了一种基于大型系统拓扑结构的容错节点分配方法，这种方法相对于传统的节点分配技术，能够使得全系统内存检查点失效概率降低3倍。这也意味着我们能把多级检查点系统中的检查点恢复开销相对于传统做法降低67％。

尽管本发明的实施方案已公开如上，但并不仅仅限于说明书和实施方案中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里所示出与描述的图例。

Claims (3)

1.一种基于大型系统拓扑结构的容错节点分配方法，其特征在于,包括如下步骤:

步骤一、定义系统拓扑结构中节点位置分布，确定节点的位置；

步骤二、建模任意两个节点同时失效的概率模型，从而得到任意两个节点同时失效函数；

步骤三、计算任意两点同时失效的概率，得到任意两点同时失效的概率为固定值；

步骤四、构建节点分配模型，将计算节点集合抽象成对应的无向加权图G(V,E,W)，其中G表示无向加权图，V表示顶点集，E表示边集，W表示边的权集，C表示最大团集；

步骤五、运行覆盖算法，求解最优节点组合，使得集合权值最小，并且将结果保存并返回。

2.如权利要求1所述的基于大型系统拓扑结构的容错节点分配方法，其特征在于,包括如下步骤：

步骤一、定义大型系统拓扑结构中节点的具体位置分布：

1)用1,2,3,…表示系统中计算节点的编号；

2)用x_i,y_i,z_i,k_i分别表示计算节点i在整个大型系统拓扑结构中所处的位置；其中x_i表示计算节点i所在的主板号，y_i表示计算节点i所在的机框号，z_i表示计算节点i所在的机柜号，k_i表示所计算节点i所在的组号；

3)表示节点i,j同时失效的概率；

步骤二、建模并计算任意两点同时失效的概率函数根据任意两个节点在系统中所处的位置得出配对节点同时失效的概率函数，函数包含五个部分：单节点失效概率，相同主板上节点同时失效概率，相同机框内节点同时失效概率，相同机柜内节点同时失效概率和同排机框内节点同时失效概率；概率函数具体计算过程如下：

3.1)计算单节点失效概率P_s，即节点,平均无故障时间MTBF_n的倒数：

3.2)计算电源模块失效概率P_m，电源模块失效概率P_m等于电源模块平均无故障时间MTBF_m的倒数：

3.3)计算同机框内两节点同时失效的概率P_b即等于电源模块失效概率P_m，即P_b＝P_m；

3.4)计算风扇故障概率P_f；风扇故障概率P_f等于风扇平均无故障运行时间MTBF_f的倒数：

3.5)计算空调影响的节点失效概率P_c；同一组机柜有相同空调控制温度，一旦空调出现故障，节点也会同样因温度过高而出现故障，于是，空调影响的节点失效概率P_c为空调平均无故障时间MTBF_c的倒数：

3.6)计算冷却系统故障导致的节点失效概率P_l；同一排节点也会受到冷却系统故障的影响，冷却系统故障导致的节点失效概率P_l为冷却系统平均无故障时间MTBF_l的倒数：

3.7)得出任意两个节点i,j同时失效的失效函数进而得出同时失效函数公式：

其中：

步骤三、计算任意两点i,j同时失效的概率；通过判断两个节点的位置关系，并进一步求出这两个节点同时失效的概率，得到两个节点的位置关系，代入失效函数公式，并将P_s、P_m、P_b、P_f、P_c、P_l的计算公式代入失效函数公式即可可求出节点i,j同时失效的概率；

步骤四、构建节点分配模型：对于任意作业系统给作业分配的计算节点集合，基于概率模型，建立计算节点集合对应的无向加权图G(V,E,W)，图的顶点对应所能选取的节点，而连接两个顶点的边表示这两个节点可以被分配在同一个检查点集合内，每条边所加的权值则表示相连两个节点同时失效的概率；

步骤五、运用覆盖算法，对于被抽象成无向加权图G(V,E,W)的目标系统，从中找出一个最优节点组合使得集合权值最小，即整个系统内存检查点出错概率最小。

3.如权利要求1或2所述的基于大型系统拓扑结构的容错节点分配方法，其特征在于,所述覆盖算法为k-clique覆盖算法。