CN101986602B - 基于报文数目检验无阻塞检查点设置和故障进程恢复方法 - Google Patents

Abstract

本发明公开了一种基于报文数目检验无阻塞检查点设置和故障进程恢复方法，它解决了以往分布式系统检查点建立过程中控制信息开销过大和故障进程由于回滚计算损失过大问题。针对分布式系统检查点的建立过程中控制报文数目过多和进程阻塞问题，本发明以报文数目的定量分析判断代替以往研究中的基于因果关系的定性分析判断，提供一种基于分布式系统扩展模型和报文数目检验无阻塞同步检查点设置和崩溃进程恢复方法，真正实现所有进程在检查点设置过程中无阻塞运行，真正实现某进程崩溃时，仅仅该崩溃进程回退恢复的系统最小回卷，达到了提高分布式系统性能的目的。

Description

基于报文数目检验无阻塞检查点设置和故障进程恢复方法

技术领域

本发明涉及基于报文数目检验无阻塞检查点设置和故障进程恢复方法。

背景技术

逻辑上分布式系统可视为由若干个既各自独立又进行复杂交互的进程组成，此类进程通过报文交换完成进程间的通信进而实现系统资源的共享，相互协作共同完成一个任务。分布式系统的常见故障主要有：故障性故障、遗漏性故障和时序故障、响应故障和随意性故障等。故障处理方法有基于硬件和软件的两种方案，软件方案主要有主动复制和被动复制。被动复制可采用前向恢复和后向恢复两种方法：前向恢复是假定可准确得到故障的性质并可排除此类故障从而使系统继续向前执行，前向恢复系统运行效率高但通常很难实现；后向恢复适用于系统故障无法预知和排除的情况，因此需定时存储系统的状态，一旦出现故障系统可恢复到先前状态执行。

后向恢复主要有同步检查点、异步检查点和消息日志方法。一般而言，同步检查点方法可靠性高，主要缺点是由于同步等待时间的存在致使系统性能下降。绝大多数同步检查点方法的研究主要集中在两方面，一是减少检查点的数目和同步报文数目算法的研究，一是检查点设置过程中所有进程均无阻塞运行算法的研究。由G.Cao和M.Singhal在IEEE Trans.Parallel Distributed System 9(12)(1998a)：1213-1225发表的题为《On coordinatedcheckpointing in distributed systems》文章中提出了Prakash-Singhal算法，该算法首次将减少检查点的数目和同步报文数目算法及检查点设置过程中所有进程均无阻塞运行算法的研究集于一体，推出了min-process and non-blocking检查点算法，遗憾的是由G.Cao和M.Singhal在Proc.27th Internat.Conf.on Parallel Processing，IEEE Press，NewYork，1998b，pp.37-44发表的题为《On the impossibility of min-process non-blockingcheckpointing and an eFcient checkpointing algorithm for mobile computing systems》文章中，证明了此算法所设置检查点不满足一致性要求；Guohong Cao在TheoreticalComputer Science，Volume 290，January 2003，Pages：1127-1148发表的题为《Checkpointing with mutable checkpoints》的文章通过引入可变检查点(mutablecheckpoint)解决了检查点设置过程中检查点数目雪崩增加问题，实现了较少数量的进程无阻塞地设置永久检查点。此类算法为达成检查点的一致性，需追踪报文收发因果关系以满足全局状态的一致性要求，从而使得进程的控制报文数目大大增加，不仅占用了系统通信资源而且占用了较多cpu运行时间，极大降低了系统的性能。在检查点设置过程中，现存大部分同步检查点算法其所有进程均停止正常任务的执行(阻塞)，转而执行检查点算法。由于检查点建立过程中控制报文的传送总存在一定的网络延时，若此段时间进程阻塞势必降低系统的性能，因此若能使得进程无阻塞运行必能大大提高系统运行效率。

通常同步或异步检查点算法在系统某进程出现故障时，所有进程均回退至先前保存的检查点重新执行，由此造成的损失为回退所造成的重复计算。如何把回退造成的损失减少到最小是本发明欲实现的又一目标。

发明内容

本发明的目的就是针对分布式系统检查点的建立过程中的控制报文数目过多和进程阻塞问题，以报文数目的定量分析判断代替以往研究中的基于因果关系的定性分析判断，提供一种基于分布式系统扩展模型和报文数目检验无阻塞检查点设置和故障进程恢复方法，真正实现所有进程在检查点设置过程中无阻塞运行，真正实现某进程故障时仅仅故障进程回退恢复的系统最小回卷，达到提高分布式系统性能的目的。

为实现上述目的，本发明采用如下技术方案：

一种基于报文数目检验无阻塞检查点设置和故障进程恢复方法，它的步骤为：

(1)协调进程Pc定期向所有普通进程发出检查点设置报文NB；

(2)初始化所有普通进程；

(3)判断普通进程间是否向对方发送数据报文或接收对方的数据报文，如果是，则处理数据报文，保存数据报文信息至内存变量和磁盘，然后转入步骤(3)继续判断；如果否，则转入步骤(4)；

(4)判断任一普通进程是否收到Pc的NB报文；如果是，则保存检查点和内存变量至磁盘，然后转入步骤(3)继续判断；如果否，则转入步骤(5)；

(5)检测所有普通进程，如果其中任何一个普通进程发生故障，则转入步骤(6)，其它所有未发生故障的普通进程转入步骤(7)；如果所有普通进程均未发生故障，则转入步骤(7)；

(6)恢复发生故障的进程，恢复完成后转入步骤(3)继续判断；

(7)所有未发生故障的普通进程，如果收到故障进程的重建报文XB，则进行相应的处理；反之则转入步骤(3)继续判断。

将发生故障的普通进程标记为P_i，i＝1，2，3…n，未发生故障的普通进程标记为P_j，j≠i，j＝1，2，…n，所述步骤(6)中恢复P_i过程如下：

Step1：P_i回退至发生故障时的前一个周期所对应的检查点，将保存在磁盘中的信道信息取至进程内存变量；

Step2：P_i发送重建报文XB至所有未发生故障的普通进程；

Step3：根据P_i的信道输入状态数组从磁盘读取并处理当前检查点周期接收到的数据报文，重建进程改进的向量时钟T_i；

Step4：根据P_i的信道输出状态数组从磁盘读取并处理当前检查点周期发送的数据报文，重建进程发送向量U_i；

Step5：判断P_i是否接收到未发生故障的普通进程P_j的信息报文RB；如果是，则将RB所携带U_ji存入P_i的U_ji，并转入步骤step6；如果否，则直接转入步骤step6；其中，U_ji表示P_j发送至P_i的报文数目；

Step6：判断P_i是否收到所有未发生故障的普通进程的信息报文RB；如果是，则求得所有差值U_ji-T_ij，j≠i，j＝1，2，…n，并转入步骤step7；如果否，则返回步骤step5；其中，T_ij表示P_i所接收到的P_j发送的报文数目；

Step7：对于j≠i，j＝1，2，…n，判断是否存在大于0的差值，如果存在，则P_i发送数据请求报文RE并传送此差值到相应的P_j，并转入步骤step8；反之，转入步骤step9；

Step8：判断P_i是否接收到P_j的中途数据报文；如果是，则T_ij加一，保存数据报文信息至内存变量和磁盘，然后转入步骤step7；如果否，则转入step8继续判断；

Step9：发送结束报文EB至所有未发生故障的普通进程，完成P_i的恢复。

所述步骤(7)中进行相应处理的步骤如下：

A.停止向所有普通进程发送数据报文，并传送发送向量分量U_ji至故障进程P_i；

B.判断P_j是否收到故障进程P_i的数据请求报文RE，如果是则取得差值U_ji-T_ij，根据差值查找中途报文，发送中途报文至P_i，如果否，则直接转入步骤C；

C.判断P_j是否接收到数据报文；如果是，则保存内存变量至磁盘并转入步骤D，否则直接转入步骤D；

D.判断P_j是否收到故障进程P_i的结束报文EB，如果是则P_j继续向P_i发送报文，如果否则转入步骤B。

本发明的原理如下：

分布式系统有限状态机扩展模型：

一个系统被定义为一组元素的集合，为了实现某些目标这些元素以特定规则相互作用和相互关联而集合在一起，从分布式应用和资源共享的角度，分布式系统可定义为若干个进程的集合。

分布式系统有限状态机扩展模型是由有限个进程组成的集合：

P＝{P₁，P₂，…P_n}，P_i表示进程，i＝1，2，3…n；n≥2。

P_i＝{I，O，S_P，Q，F}，其中：

a.I＝E_in×E_out是分布式系统进程输入事件集合，为内部输入事件集E_in与外部输入事件集E_out的笛卡积；

其中，E_in＝{e_ik|k＝1，2…m}，e_ik为分布式系统的内部输入事件；i表示输入事件，k为内部输入事件序号，m为自然数。E_out＝{e_ok|k＝1，2…n}，e_ok为分布式系统的外部输入事件；o表示输出事件，k为外部输入事件序号，n为自然数。

b.O＝O_in×O_out是分布式系统进程输出事件的集合，为对内输出事件集O_in与对外输出事件集O_out的笛卡积，其中，O_in＝{o_ik|k＝1，2…l}，o_ik为分布式系统的对内输出事件；i表示对内输出，k为对内输出事件序号。O_out＝{o_ok|k＝1，2…w}，o_ok为分布式系统的对外输出事件；下标o表示对外输出，k为对外输出事件序号。

c.S_P＝S×K×M×T×U是分布式系统进程状态的集合，为进程内部状态集S、信道输入状态集K、信道输出状态集M、改进的向量逻辑时钟集T和发送向量集U的笛卡积；其中，

S＝{S_m|m＝1，2，…k}为进程内部状态集合，S_m是进程的内部状态，内部状态记忆了内部输入事件，m表示内部状态序号，k为自然数。

K＝{K_t|t＝1，2…r}为信道输入状态集合，K_t是信道的输入状态，其记忆了信道所接收报文的信息，t表示信道输入状态序号，r为自然数。K_t可进一步描述为：K_t＝{K_tk|k＝1，2，…w}，K_tk＝{F_tk，B_tk}；K_tk表示进程所发送某份报文的信息，F_tk为发送此报文进程的标识，B_tk是报文的标识，F_tk和B_tk均来自于其他报文发送进程，t表示信道输入状态序号，k为进程所接收报文序号，w为自然数。

M＝{Mw|w＝1，2…l}为信道输出状态集合，Mw是信道的输出状态其记忆了信道所发送报文的信息，w为信道输出状态序号，l为自然数。Mw可进一步描述为：Mw＝{{Fwk，Bwk}|k＝1，2，…z，其中{Fwk，Bwk}表示进程所发送某份报文的信息，Fwk是发送进程的标识，Bwk是报文的标识；w为信道输出状态序号，k表示发送报文序号，z为自然数。

T＝{Ti(k)|k＝1，2…l}为进程P_i信道改进的向量逻辑时钟集合，Ti(k)是进程P_i信道的向量逻辑时钟，k表示进程的状态时间变量，l为自然数，i表示进程P_i的序号。

Ti(k)＝(Ti1(k)，Ti2(k)…Tin(k))

其中Tii(k)表示进程P_i在当前信道状态时间k内发送报文的数目，其初值是零，每发送一份报文其值加一；Tij(k)(i≠j，j＝1，2…n)表示进程P_i在当前信道状态时间内所接收的进程P_j的报文的数目；i为进程P_i的序号，j为进程P_j的序号，k是进程状态时间变量。

U＝{U_i ^(k)|k＝1，2…w}为进程P_i的发送向量集合，U_i ^(k)为进程P_i的发送向量，k是进程状态时间变量，i为进程P_i序号，k为进程P_i发送向量序号，w为自然数。

U_i ^(k)＝(U_i1 ^(k)，U_i2 ^(k)…U_in ^(k))

其中，若i≠j，则U_ij ^(k)为进程P_i发送至进程P_j的报文数目；若i＝j，则U_ij ^(k)＝0；i表示进程P_i的序号，j表示进程P_j的序号，k为进程状态时间变量。

d.Q＝I×SP-＞O，是进程的输出函数，

e.F＝I×S_P-＞S_P，是进程状态转移函数。

全局一致性状态及丢失报文之进程判定：设分布式系统的进程为：p₁、p₂、p₃、…p_n，与其对应的向量时钟为：T₁ ^(k)、T₂ ^(k)、T₃ ^(k)…T_n ^(k)。

令 $T=\left(\begin{array}{c}{T_1}^{\left(k\right)}\\ {T_2}^{\left(k\right)}\\ {T_3}^{\left(k\right)}\\ ...\\ {T_n}^{\left(k\right)}\end{array}\right)=\left(\begin{array}{cccc}{T_{11}}^{\left(k\right)}& {T_{12}}^{\left(k\right)}& ...& {T_{1n}}^{\left(k\right)}\\ {T_{21}}^{\left(k\right)}& {T_{22}}^{\left(k\right)}& ...& {T_{2n}}^{\left(k\right)}\\ {T_{31}}^{\left(k\right)}& {T_{32}}^{\left(k\right)}& ...& {T_{3n}}^{\left(k\right)}\\ & ...& & \\ {T_{n1}}^{\left(k\right)}& {T_{n2}}^{\left(k\right)}& ...& {T_{\mathrm{nn}}}^{\left(k\right)}\end{array}\right)$

上式矩阵的主对角元素T_ii ^(k)对应于进程P_i所发送报文数目，T_ij ^(k)(i≠j)对应于进程P_i所接收P_j进程的报文数目。

若上式所对应矩阵主对角线的所有元素T_ii与其对应的第i列的元素的代数和都相等，即

${T_{\mathrm{ii}}}^{\left(k\right)}=\underset{j=1}{\overset{i-1}{\mathrm{\Σ}}}{T_{\mathrm{ji}}}^{\left(k\right)}+\underset{j=i+1}{\overset{n}{\mathrm{\Σ}}}{T_{\mathrm{ji}}}^{\left(k\right)},i=\mathrm{1,2}...n---\left(2\right)$

则所有进程所发送的每份报文必定都被接收，即此刻的分布式系统的状态是一个全局一致性状态。

因为T_ii ^(k)表示P_i进程发送报文数目，T_ji ^(k)(j≠i)表示进程P_j所接收P_i进程发送的报文数目，(2)式表明任一进程P_i所发送的报文都被其他进程接收；所以所有进程所发送的报文必然都被接收，此刻的分布式系统状态必然是一个全局一致性状态。

设分布式系统的进程p₁、p₂、p₃、…p_n对应的发送向量为：U₁ ^(k)、U₂ ^(k)、U₃ ^(k)…U_n ^(k)，

令 $U=\left(\begin{array}{c}{U_1}^{\left(k\right)}\\ {U_2}^{\left(k\right)}\\ {U_3}^{\left(k\right)}\\ ...\\ {U_n}^{\left(k\right)}\end{array}\right)=\left(\begin{array}{cccc}{U_{11}}^{\left(k\right)}& {U_{12}}^{\left(k\right)}& ...& {U_{1n}}^{\left(k\right)}\\ {U_{21}}^{\left(k\right)}& {U_{22}}^{\left(k\right)}& ...& {U_{2n}}^{\left(k\right)}\\ {U_{31}}^{\left(k\right)}& {U_{32}}^{\left(k\right)}& ...& {U_{3n}}^{\left(k\right)}\\ & ...& & \\ {U_{n1}}^{\left(k\right)}& U_{N2\left(k\right)}& ...& {U_{\mathrm{nn}}}^{\left(k\right)}\end{array}\right)---\left(3\right)$

若T_ji ^(k)＝U_ij ^(k)(j≠i)，则进程P_j所接收P_i进程的报文数目与进程P_i发送至进程P_j的报文数目相等，即进程P_i发送至进程P_j的报文无遗漏。因为T_ji ^(k)表示进程P_j所接收P_i进程的报文数目，U_ij ^(k)表示进程P_i发送至进程P_j的报文数目，所以由题设条件可知结论成立。

若T_ji ^(k)≠U_ij ^(k)，则表明P_i发送至进程P_j的报文至少有一份未被接收，且丢失报文的发送进程是P_i，接受进程是P_j。由所设条件可知，进程P_i发送至进程P_j的报文数目与P_j所接收P_i进程的报文数目不等，必然有U_ij ^(k)＞T_ji ^(k)，即P_i发送至进程P_j的报文至少有一份未被接收，由此可得丢失报文的发送进程是P_i、接收进程是P_j。

上述内容参考中国专利公开号为CN101572723A的“分布式系统有限状态机扩展模型及检查点准同步方法”。

若分布式系统不存在重复报文和乱序报文，P_i为发送进程，P_j为接收进程，则进程P_i和进程P_j的局部状态中存在中途报文的充分必要条件是：

U_ij(k_i)＞T_ji(k_j)

其中，k_i表示P_i进程的时间值，k_j表示P_j进程的时间值；U_ij(k_i)为P_i进程发送向量的第j个分量，T_ji(k_j)为进程P_j改进向量时钟的第i各分量。

(a)充分性，若U_ij(k_i)＞T_ji(k_j)，即P_i进程发送至P_j进程的报文数目大于P_j进程所接收P_i进程的报文数目，在满足题设条件时不可能出现中途报文和孤儿报文相互抵消的情况，则至少有一份报文的发送事件出现在P_i的局部状态中而其接收事件未出现在P_j的局部状态中，即在进程P_i和进程P_j的局部状态中存在中途报文。

(b)必要性，若在进程P_i和进程P_j的局部状态中存在中途报文，根据题设条件不可能出现中途报文和孤儿报文相互抵消的情况，则P_i发送报文数目必大于P_j接收报文的数目，即U_ij(k_i)＞T_ji(k_j)。

设分布式系统由进程p₁、p₂…p_n组成，统一时钟分布式系统全局状态函数可表示为：

GS(t)＝GS(C1(t)，C2(t)…Cn(t))                        (4)

其中，t为物理时间变量，C_i为进程P_i的局部状态函数，C_i可进一步表示为：

C_i(t)＝C_i(P_i(t)，CH_i(t))

其中，P_i(t)为进程P_i的内部状态函数；CH_i(t)为进程P_i信道的状态函数。

信道状态函数CH_i(t)可进一步表示为信道的接收状态函数r_i(t)和发送状态函数s_i(t)的复合函数：

CH_i(t)＝CH_i(r_i(t)，s_i(t))

接收状态函数r_i(t)记忆了进程所接收报文信息，发送函数s_i(t)记忆了进程所发送报文信息。(4)式表明任一时刻的所有进程的状态函数构成了此刻系统全局状态函数。

统一时钟分布式系统的全局状态表示为：

GS(k)＝GS(C₁(k)，C₂(k)…C_n(k))

其中k表示时间值，GS(k)表示t＝k时分布式系统的全局状态。

设分布式系统由进程p₁、p₂…p_n组成，非统一时钟分布式系统全局状态函数表示为：

GS(t₁，t₂…t_n)＝GS(C₁(P₁(t₁)，CH₁(t₁))，C₂(P₂(t₂)，CH₂(t₂))…C_n(P_n(t₂)，CH_n(t_n)))

其中，P_i(t_i)为进程P_i的内部状态函数；CH_i(t_i)为进程P_i的信道状态函数，C_i(t_i)表示进程P_i的局部进程状态函数，i＝1，2，..n。t_i为进程P_i的时钟时间变量，t_i＝t-Δt_i，t为物理时间变量。

非统一时钟分布式系统的全局状态表示为

GS(k1，k₂，…k_n)＝GS(C₁(k₁)，C₂(k₂)…C_n(k_n))

其中k_i表示t_i＝k_i的时钟时间值，GS(k₁，k₂，…k_n)表示了不同时刻的进程状态所组成的分布式系统的全局状态。

若分布式系统不存在重复报文和乱序报文，进程的信道为可靠信道，且满足以下条件，则分布式系统全局状态GS(k₁，k₂…k_n)是一个全局一致性状态。

$\∀i,i\∈\{1,2...n\}\∀j,j\∈\{\mathrm{1,2}...n\}i\≠j{U_{\mathrm{ij}}}^{\left(\mathrm{ki}\right)}={T_{\mathrm{ji}}}^{\left(\mathrm{kj}\right)}---\left(5\right)$

因为系统中不存在重复报文和乱序报文，故不可能出现中途报文数目与孤儿报文数目相互抵消的情况。由于对于任意两个进程P_i和P_j总有U_ij ^(ki)＝T_ji ^(kj)和U_ji ^(kj)＝T_ij ^(ki)，即对于任意进程P_i和P_j，P_i进程在t＝k_i时刻及t＝k_i之前发送至P_j进程的报文在t＝k_j时已被P_j接收，P_j进程在t＝k_j时刻及t＝k_j时刻之前发送至P_i进程的报文在t＝k_i时已被P_i接收，因此任意进程P_i在k_i时刻及之前所发送的报文必然被其它进程P_j在k_j(j≠i，j＝1，2…n)时刻及之前接收，即分布式系统全局状态GS(k₁，k₂…k_n)必然是一个全局一致性状态。

若分布式系统进程的信道为可靠信道(不存在重复报文和乱序报文)，P_i为发送进程，P_j为接收进程，则进程P_i和进程P_j的局部状态中存在中途报文的充分必要条件是：

U_ij(k_i)＞T_ji(k_j)                                (6)

其中，U_ij(k_i)为P_i进程发送向量的第j个分量，T_ji(k_i)为进程P_j改进向量时钟的第i各分量。

(a)充分性，若U_ij(k_i)＞T_ji(k_j)，即P_i进程发送至P_j进程的报文数目大于P_j进程所接收P_i进程的报文数目，在满足题设条件时不可能出现中途报文和孤儿报文相互抵消的情况，则至少有一份报文的发送事件出现在P_i的局部状态中而其接收事件未出现在P_j的局部状态中，即在进程P_i和进程P_j的局部状态中存在中途报文。

(b)必要性，若在进程P_i和进程P_j的局部状态中存在中途报文，根据题设条件不可能出现中途报文和孤儿报文相互抵消的情况，则P_i发送报文数目必大于P_j接收报文的数目，即U_ij(k_i)＞T_ji(k_j)。

报文数目检验无阻塞检查点方法原理：

报文数目检验无阻塞检查点方法(message number checking and nonblocking，)旨在以报文数目的定量分析判断代替以往研究中的基于因果关系的定性分析判断，以达到优化算法、减少控制报文数目提高算法性能的目的。根据(5)式可知，任何一个分布式系统状态只要满足(5)式，此系统状态必然是一个一致的全局状态。

报文数目检验无阻塞检查点算法在检查点设置阶段只是简单地保存检查点并不考虑检查点的一致性，而在故障进程回退恢复过程中根据进程发送和接收数据报文的数目(U_ij和T_ji)使得全局状态达成一致。

报文数目校验无阻塞检查点方法对应算法中包含普通进程和协调进程。算法的执行包括三个阶段，正常执行阶段、检查点设置阶段和故障进程回卷恢复阶段。

在正常执行阶段，普通进程在任何时刻均无阻塞执行，每发送和接收一份数据报文其信息总是保存在信道输入状态数组instatus和信道输出状态数组outstatus以及T_i和U_i向量中，instatus和outstatus以及T_i和U_i向量随之存入磁盘。

在检查点设置阶段，普通进程在任何时刻均无阻塞执行。协调进程发出保存检查点通知报文至普通进程，普通进程接到协调进程保存检查点的通知报文后，保存永久检查点而后继续执行其他计算。协调进程和普通进程对于所存检查点的一致性在检查点设置阶段不作任何处理。

在故障进程回卷恢复阶段，发生故障进程回卷至csn-1周期所存的检查点(csn为检查点序号)，恢复csn-1周期所存的进程内部状态和信道状态。然后从磁盘存储中恢复进程故障前所存的instatus和outstatus数组以及Ti和Ui向量。继而根据instatus从磁盘读取csn周期(进程发生故障的检查点周期)接收的数据报文并处理之。对于故障进程回卷时非故障进程发送至故障进程的中途数据报文(此类报文由于故障进程回卷未被接收)，由故障进程和非故障进程根据(5)式协商恢复。未发生故障进程，由于其进程和信道状态未被破坏，故不回卷。为保证故障进程恢复后系统全局状态的一致性，未发生故障进程在故障进程恢复阶段停止发送数据报文直到故障进程恢复处理阶段结束为止。

检查点方法的数据存储结构：

算法由协调进程负责检查点建立过程的控制，各普通进程分别对其外部输入事件和对外输出事件计数并存储至向量逻辑时钟T_i ^(k)、发送向量U_i ^(k)、信道输入状态数组instatus和信道输出状态数组outstatus。

信道输入状态数组instatus(如图4所示)每个元素由pid、mid、csn和file_num四个域组成，pid、mid、csn和file_num均为自然数；其中pid表示发送进程的标识，mid表示数据报文的标识，csn为检查点序列号，每保存一次检查点csn的值加一，file_num为数据报文文件的序号。

信道输出状态数组outstatus(如图5所示)每个元素由pid、mid、csn和file_num四个域组成，pid、mid、csn和file_num均为自然数；其中pid表示发送进程的标识，mid表示数据报文的标识，csn为检查点序列号，每保存一次检查点csn的值加一，file_num为数据报文文件的序号。

控制报文类型：

1.检查点建立、更新报文NB(图8)，其中，源进程标识一个字节，源进程为分布式系统中发送报文之进程，目的进程标识一个字节，目的进程为分布式系统中接收报文之进程，报文类型一个字节；其功能是启动算法，由协调进程发送至各进程。

2.重建报文XB(图9)，其中，源进程标识一个字节，目的进程标识一个字节，报文类型一个字节；由故障进程发送至未故障进程，通知未故障进程进入系统恢复阶段。

3.结束报文EB(图10)，结束算法，其中，源进程标识一个字节，目的进程标识一个字节，报文类型一个字节；由故障进程发送至未故障进程，通知未故障进程退出系统恢复阶段。

4.信息报文RB(图11)，其中，源进程标识一个字节，目的进程标识一个字节，报文类型一个字节，发送向量分量U_ji一个字节，由未故障进程发送至故障进程。

5.请求报文RE(图12)，其中，源进程标识一个字节，目的进程标识一个字节，报文类型一个字节，中途报文之发送进程标识一个字节，差值diff＝U_ij-T_ji一个字节，此报文由故障进程发送至未故障进程。

6.数据报文(图13)，其中，源进程标识一个字节，目的进程标识一个字节，报文类型一个字节，报文标识mid一个字节，检查点序列号csn一个字节，数据(data)k个字节，k为自然数。

分布式系统的拓扑结构可为星型(图1)、总线型(图2)、环型(图3)和树型等。分布式系统是由普通进程P₁，P₂，…P_n和协调进程P_c组成，其中n为自然数；每个进程均位于系统若干个节点之一。系统进程之间的报文直接可达或间接可达。进程信道为FIFO的可靠信道。检查点设置阶段：

算法的数据报文DB由四个域组成，pid表示发送或接收进程的标识；mid表示发送或接收报文的标识；csn表示检查点序列号，csn初值为0，每保存一次检查点csn的值加一；data为报文的数据域，为简明起见本算法设其为整型数据，实际应用中可设计为适用的类型。

普通进程P_i在执行过程中每接收一份数据报文将其信息保存在instatus中，将报文数目信息保存在T_i中，将数据报文的数据部分(DB.data)以文件名input.file_num存入磁盘，file_num为数据报文文件的序号，其初值是0，每保存一次文件file_num加一。

普通进程P_i在执行过程中每发送一份数据报文将其信息保存在outstatus中，将报文数目信息保存在T_i和U_i中，将数据报文的数据部分(DB.data)以文件名output.file_num存入磁盘，file_num的含义同上。

协调进程Pc定期向普通进程发出保存检查点的通知报文NB，此后协调进程退出算法。

普通进程P_i收到NB报文后保存T_i、U_i和csn至磁盘，保存检查点。为防止数组溢出，删除csn-2检查点周期所存instatus和outstatus中的元素。

尽管算法最终保存的检查点不一定是全局一致性检查点，然而由于数据报文信息被完整保存在instatus、outstatus、U_i、T_i、input.file_num文件和output.file_num文件中并及时存入硬盘，因此任何一个进程在任何时间点故障总可以由恢复算法依据上述信息恢复故障进程的内部状态和信道状态。

无故障时普通进程数据处理：

普通进程P_i每接收一份数据报文(如图6所示)将报文的pid、mid、csn和file_num存入instatus数组，instatus数组存入磁盘，数据报文以文件名input.file_num存入磁盘，报文数目信息存入T_i向量。

普通进程P_i每发送一份数据报文(如图7所示)将报文的pid、mid、csn和file_num存入outstatus数组，outstatus数组存入磁盘，数据报文以文件名output.file_num存入磁盘，报文数目信息存入T_i和U_i向量。

故障进程回卷恢复阶段数据处理原理：

通常同步或异步检查点算法在系统某进程p_i出现故障时，为避免产生中途报文和孤儿报文所有进程均需回退至先前保存的一致性检查点重新执行。然而，当进程P_i发生故障时，只有p_i进程的计算出现错误，未发生故障进程的计算并未出错，所有进程的回退必然造成系统较大的计算损失并影响系统性能。若能实现故障时仅仅故障进程P_i回卷，无故障进程不回卷，则可把由于进程故障导致的系统回退所造成的计算损失减至最小。

假设P_i在t＝k时发生故障且仅仅P_i回卷，其他进程不回卷，并且满足以下条件：

(a)分布式系统由进程p1、p2…pn组成，任一进程每发送和接收一份数据报文其信息(进程标识pid，报文标识mid等)均记录在T_i和U_i向量以及进程信道输出状态outstatus和信道输入状态instatus中。outstatus和instatus的内容被及时存入硬盘，每份数据报文内容亦以文件形式保存于磁盘；

(b)系统运行过程中在t＝k时进程pi发生故障，而其它进程均运行于无故障状态；

(c)进程的信道为可靠FIFO信道；

则所有进程的信道信息总可以恢复至t＝k时的状态。

$\begin{array}{c}U=\left[\begin{array}{c}{U}_1^{\left(k\right)}\\ ...\\ U_i^{\left(k\right)}\\ ...\\ U_n^{\left(k\right)}\end{array}\right]=\left[\begin{array}{cccc}{U}_{11}^{\left(k\right)}& U_{12}^{\left(k\right)}& ...& U_{1n}^{\left(k\right)}\\ ...& & & \\ U_{i1}^{\left(k\right)}& U_{i2}^{\left(k\right)}& ...& U_{\mathrm{in}}^{\left(k\right)}\\ ...& & & \\ U_{n1}^{\left(k\right)}& U_{n2}^{\left(k\right)}& ...& U_{\mathrm{nn}}^{\left(k\right)}\end{array}\right]\\ T=\left[\begin{array}{c}{T}_1^{\left(k\right)}\\ ...\\ T_i^{\left(k\right)}\\ ...\\ T_n^{\left(k\right)}\end{array}\right]=\left[\begin{array}{cccc}{T}_{11}^{\left(k\right)}& T_{12}^{\left(k\right)}& ...& T_{1n}^{\left(k\right)}\\ ...& & & \\ T_{i1}^{\left(k\right)}& T_{i2}^{\left(k\right)}& ...& T_{\mathrm{in}}^{\left(k\right)}\\ ...& & & \\ T_{n1}^{\left(k\right)}& T_{n2}^{\left(k\right)}& ...& T_{\mathrm{nn}}^{\left(k\right)}\end{array}\right]\end{array}---\left(7\right)$

由于P_i发送的数据报文已被其它进程接收并已被处理，在其它进程无故障不回卷的条件下不必考虑P_i进程发送报文的恢复，因此以下仅考虑P_i进程所接收报文的信息可被恢复。

P_i进程所接收报文信息恢复包含两方面，其一是P_i进程故障前已处理数据报文的恢复及处理，其二是P_i进程故障时P_j发送至P_i的中途报文的恢复。以下分别从这两方面对此予以证明。

1、对于P_i进程故障前已处理数据报文，由于其信息已被保存在P_i的磁盘中，因此P_i重启后总可以从磁盘所存instatus和数据报文件依次读取并处理每份所存数据报文，并将每份报文的数目信息记录在T_i向量对应分量T_ij(j≠i，j＝1，2…n)中，由此即可实现对故障前已处理数据报文的恢复。

2、对于P_i进程故障时P_j发送至P_i的中途报文，在假设条件下，分布式系统的T和U矩阵中的第i行信息必然丢失而其它行的信息必然得以保存。根据公式(7)，由于P_i故障后重启，U_i(k)和T_i(k)所存信息必然丢失；而P_j(j≠i，j＝1，2…n)未发生故障，T_j(k)和U_j(k)所存信息必然未丢失。根据公式(6)，若存在中途报文必有U_ji＞T_ij，差值U_ji-T_ij就是中途报文数目。由于U_ji保存在未发生故障进程P_j的U_j向量中，T_ij在P_i重启后已部分恢复，因此依据差值U_ji-T_ij控制P_j进程重发丢失的中途报文，P_i进程接收后重新处理之，由此所丢失P_j发送至P_i的中途数据报文即可被恢复之。

综上所述，P_i信道的信息总可以被恢复至t＝k时的状态，又因为未故障进程的信道信息无需恢复，所以所有进程的信道信息总可以被恢复至t＝k时的状态。

本发明的有益效果是：以报文数目的定量分析判断代替以往研究中的基于因果关系的定性分析判断，提供一种基于分布式系统扩展模型和报文数目检验无阻塞同步检查点设置和故障进程恢复方法，真正实现所有进程在检查点设置过程中无阻塞运行，真正实现某进程故障时仅仅故障进程回退恢复的系统最小回卷，达到了提高分布式系统性能的目的。

附图说明

图1分布式系统型结构；

图2分布式系统总线型结构；

图3分布式系统环形结构；

图4信道输入状态；

图5信道输出状态；

图6数据报文的接收及处理；

图7数据报文的发送及处理；

图8更新报文结构；

图9重建报文结构；

图10结束报文结构；

图11信息报文结构；

图12请求报文结构；

图13数据报文结构；

图14协调进程流程图；

图15普通进程流程图；

图16分布式系统实例图；

图17分布式系统故障进程恢复实例图；

图18故障进程中途报文恢复实例图；

图19恢复故障进程实验结果图。

具体实施方式

下面结合实施例对本发明作进一步说明。

在工程科学如计算机科学中，凡是一种情况或一种活动的发生都可称作一个事件，为此将分布式系统视为事件系统，即在事件的驱动下系统发生状态迁移并产生相应的操作。

根据事件对分布式系统的影响，可将事件分为输入和输出两种类型：

1、输入事件，来自进程内部或外部输入操作所对应的事件。分布式系统的输入事件或来自于进程自身或来自于进程外部环境，如其它进程；此类事件不仅影响进程自身的状态迁移，而且有可能影响其他进程的状态变化。

输入事件按其的来源进一步分为：

(1)内部输入事件，是由于时钟的滴答所引起的进程的一条计算机指令或一段程序的执行等事件。内部输入事件源于进程所处节点计算机的系统时钟，并引起进程的内部状态迁移。显然，内部输入事件对应于外部不可见的进程内部操作和进程内部状态的迁移，是引起系统内部运动的主要因素。

(2)外部输入事件，此类事件来自于进程外部或系统的其他进程，如进程的报文发送而导致其他进程的报文接收事件。此类事件主要引起进程通信信道状态的变化。

2、输出事件，在输入事件的作用下进程状态迁移并产生的输出事件。

输出事件按其作用的对象分，可分为：

(1)对内输出事件，此类事件在进程内部状态迁移时出现且仅作用于此进程或进程所在计算机环境。如，引起变量值的更新、外设的动作等。

(2)对外输出事件，此类事件作用于其它进程，体现了进程对分布式计算环境的影响。典型的对外输出事件，如进程的报文发送事件，此类事件作为其他进程的外部输入事件直接影响其通信信道的状态。

一种基于报文数目检验无阻塞检查点设置和故障进程恢复方法，它的流程如下：

(1)协调进程Pc(如图14所示)

定期向所有普通进程发出检查点设置报文NB。

(2)普通进程P_i(如图15所示)

1.初始化；

2.若发送数据报文至P_j，则处理数据报文，保存数据报文信息至内存变量和磁盘。

a.将接收进程的标识pid存入数据报文的pid域，将数据报文索引file_num存入数据报文mid标识域。

b.将接收进程的进程标识pid、数据报文标识mid、当前检查点序列号csn和数据报文索引file_num存入信道输出状态数组outstatus，将outstatus数组以文件形式存入磁盘。

c.改进T向量的分量T_ii加一：T_i[i]←T_i[i]+1。

d.发送向量U的分量U_ij加一：U_i[j]←U_i[j]+1。

e.将数据报文以文件名“output.file_num”存入磁盘。

f.数据报文索引加一：file_num←file_num+1。

g.发送数据报DB至进程P_j。

3.若接收到P_j的数据报文，保存数据报文信息至内存变量和磁盘。

a.将发送进程的进程标识pid、数据报文标识mid、当前检查点序列号csn和数据报文索引file_num存入信道输出状态数组instatus，将instatus数组以文件形式存入磁盘。

b.改进T向量的分量T_ij加一：T_i[j]←T_i[j]+1。

c.处理数据报文的数据。

d.将数据报文以文件名“input.file_num”存入磁盘。

e.数据报文索引加一：file_num←file_num+1。

4.若接收到检查点设置报文NB，则

a.T_i、U_i和csn存入磁盘

b.保存检查点(进程内部状态)。

c.删除outstatus数组中满足outstatus.csn＝csn-2的所有元素。

d.删除instatus数组中满足instatus.csn＝csn-2的所有元素。

e.当前检查点序列号csn加一：csn←csn+1。

f.退出检查点设置算法，执行进程的其它计算。

5.若未检测到故障转入10。

6.若收到故障进程的重建报文NB，则

a.停止发送数据报文。

b.传送发送向量分量U_ij至故障进程P_j。

否则转入2。

7.若收到故障进程pi的数据请求报文RE，则

a.将RE所携带的差值(U_ij-T_ji)送入diff变量。

b.根据diff变量值在信道输出状态数组outstatus中找到最先发送的中途报文m，将m发送至故障进程P_i。

8.若接收到P_j的数据报文，则保存数据报文信息至内存变量和磁盘。

a.将发送进程的进程标识pid、数据报文标识mid、当前检查点序列号csn和数据报文索引file_num存入信道输出状态数组instatus，将instatus数组以文件形式存入磁盘。

b.改进T向量的分量T_ij加一：T_i[j]←T_i[j]+1。

c.处理数据报文的数据。

d.将数据报文以文件名“input.file_num”存入磁盘。

e.数据报文索引加一：file_num←file_num+1。

9.若收到故障进程P_i的结束报文EB则转入2，否则转入7。

10.(若检测出故障)回退至所存检查点，将保存在磁盘中的信道信息取至进程内存变量：

a.回退至所存检查点，将P_i故障前保存在磁盘中instatus和outstatus信息送入instatus和outstatus数组；保存在磁盘中T_i信息存入T_i；保存在磁盘中的U_i信息存入U_i；保存在磁盘中的检查点序列号csn信息存入csn变量。

b.检查点序列号csn加一，根据检查点序列号csn从本机磁盘中依次读取、并处理csn检查点周期中P_j发送至P_i的数据报文文件：“input.file_num”。

11.发送重建报文XB至P_j，j≠i，j＝1…n。

12.根据信道输入状态数组从磁盘读取并处理当前检查点周期接收的数据报文，重建进程改进的向量时钟T_i。

13.根据信道输出状态数组从磁盘读取并处理当前检查点周期发送的数据报文，重建进程发送向量U_i。

14.若接收到P_j进程的信息报文RB，则将RB所携带的U_ji存入P_i进程的U_ji变量。

15.若未收到所有进程的信息报文RB则转入14。

16.对于j≠i，j＝1，2，…n，判断是否存在大于0的差值，如果存在，则P_i发送数据请求报文RE并传送此差值到相应的P_j，并转入步骤17；反之，转入步骤18；

17.判断P_i是否接收到P_j的中途数据报文；如果是，则T_ij加一，保存数据报文信息至内存变量和磁盘，然后转入步骤16；如果否，则转入17继续判断；

18.发送结束报文EB至P_j，j≠i，j＝1…n，转入2。

以下以实例说明算法工作原理。如图16所示，设分布式系统由P₁、P₂和P₃组成，在t＝t₁时P₂进程发生故障。图16中，m1为P₃发送至P₂的数据报文，m2为P₁发送至P3的数据报文，m3为P₂发送至P₁的数据报文，m4为P₃发送至P₂的数据报文(由于P₂在t1时发生故障回卷此报文未被P₂接收)，m5为P₁传送至P₂的数据报文。算法工作过程如图17所示，由于P₁和P₃未发生故障故m2和m3无需恢复处理，P₂重新启动后首先从本地磁盘恢复T₂、U₂、instatus、outstatus，向P₁和P₃发送重建报文XB，此后在本地存储中读取并处理m1和m5，并修改向量逻辑时间分量T₂₁和T₂₃。P₁收到重建报文XB后，向P₂发送含有U₁₂的信息报文RB，P₂收到重建报文XB后，向P₂发送含有U₃₂的信息报文RB。由于P₁至P₂不存在中途报文，故有U₁₂＝T₂₁。由于P₃至P₂存在中途报文m4，必有U₃₂＞T₂₃，P₂求出差值(U₃₂-T₂₃)后向P₃发送RE报文，P₃接收后在本地磁盘和outstatus中查找进程标识pid＝2的数据报文，找到后重发数据报文m4。P₂接收后，T₂₁＝U₁₂和T₂₃＝U₃₂条件满足，故向P₁和P₃发出结束报文EB，P₁和P₃接收后退出恢复阶段，P₂亦退出恢复阶段，至此系统重新开始运行。

发生故障进程的恢复分为两个阶段，一是从本地存储恢复，二是由发生故障进程与未发生故障进程协商恢复丢失的中途报文(如图16中的m4)。

第一个阶段，发生故障P_i从本地存储依次读取进程未发生故障前所接收、保存的P_j(j≠i，j＝1，2…n)的数据报文并处理之，处理后的数据报文数目保存在T_ij中。由于P_i未故障前每接收一份数据报文总是存入本地存储，因此保存在本地存储的数据报文总可以由算法恢复之。

第二个阶段，P_i发送XB报文至P_j(j≠i，j＝1…n)，P_j接收后发送RB报文传送U_ji至P_i。P_i接收后根据U_ji＞T_ij条件检查故障回卷后是否有未接收的中途数据报文。

j≠i，U_ji＞T_ij当U_ji＞T_ij满足时(必存在P_j发送至P_i的中途报文未被P_i接收)，P_i向P_j发送RE请求报文并传送差值U_ji-T_ij至P_j。P_j接收RE报文后根据差值和故障进程的pid在outstatus和本地磁盘查找丢失的中途数据报文并重新发送至故障进程。故障进程P_i发送RE报文后等待接收丢失的中途数据报文，每接收一份丢失的中途报文其T_ij加一，直到所有丢失的中途报文都被接收为止。

j≠i，T_ij＝U_ji，条件满足表明P_j发送至P_i的报文数目与P_i接收的P_j的报文数目相等，不存在任何中途报文，故P_i向所有进程发送结束报文EB，其他进程接收后退出恢复过程，继续其它的计算。综上所述，故障进程与发送进程存在丢失中途报文的情况下，若信道为FIFO可靠信道则总可以采用报文数目检验策略由故障进程与未发生故障进程协商恢复丢失的中途报文。

未发生故障进程接收到重建报文XB后仅仅停止当前的计算并配合故障进程恢复丢失的中途报文，接收到结束报文EB后必可由暂停处继续进行原来的计算。由于未发生故障进程的信息未被破坏，无需恢复进程的内部状态和信道状态，因此最终无故障进程总可以从暂停时间点继续原来的计算。

综上所述，在恢复算法的控制下任何进程最终均可恢复至发生故障时间点(故障进程)或暂停时间点(未发生故障进程)处执行。

如图18所示，设分布式系统由p₁、p₂和p₃组成。p₁在“x”处发生故障，p₁回卷至csn-1检查点周期所存的检查点C_1，1，恢复csn-1周期所存的进程内部状态和信道状态。继而恢复进程故障前所存的instatus和outstatus数组以及T_i和U_i向量，根据instatus从磁盘读取csn周期接收的数据报文并处理之，最后由两个进程协商处理p₁故障时p₂发送至p₁的中途报文m。

算法性能：

1、检查点设置阶段

检查点的数目，MNC-Non blocking算法每个检查点周期设置检查点的数目为n，n为分布式系统含有的进程数。

控制报文数目，控制报文的数目为n，n为分布式系统含有的进程数。

算法的所有进程在检查点设置过程中均无阻塞运行。

2、恢复阶段

在仅有一个进程发生故障的情况下，实现了故障进程的单独回滚，将由于进程发生故障所造成的损失减少到了最小。故障进程恢复过程中的控制报文数目约为3*(n-1)+k，其中n为分布式系统的进程数，k为P_i进程故障时其它进程发送至P_i的中途报文数目。

此算法不适用于多个进程同时故障时的情况。由于多个进程同时故障出现的概率较小，因此该算法对小概率事件未予以考虑。事实上，由于进程故障或回滚时信道的信息已被保存在硬盘，因此若多个进程同时故障，系统所有进程的状态或从硬盘、或通过进程协商从其它进程总可被恢复至故障或回滚前的状态。

实验结果

SPIN(Simple Promela Interpreter)是一个基于计算机科学的“形式化方法”模型检测工具，使用此工具可自动验证

其中M为系统的有限状态机模型，

为系统的某种属性。例，验证系统是否具有无死锁、最终进入(Eventual Entry)、活性(liveness)等属性。

本文使用spin工具对未发生故障进程和故障进程可恢复性进行了验证。分布式系统实例是由P_i、P_j1和P_j2组成，假设P_i故障后P_j1和P_j2各有一份中途报文未被P_i接收。设P_i的向量时钟和发送向量分别为T₁和U₁，P_j1的向量时钟和发送向量分别为T₂和U₂，P_j2的向量时钟和发送向量分别为T₃和U₃。如图19所示，故障进程P_i重启后首先处理本地存储中的数据报文，并重建T_i＝[0，0，0](该向量中的分量T₁₂＝0，T₁₃＝0)。之后，P_i发送重建报文

至P_j1和P_j2，P_ji和P_j2接收后发送信息报文

至P_i。P_i接收后求得U₂₁-T₁₂＝1和U₃₁-T₁₃＝1，表明P_j1发送至P_i的一份报文未被接收以及P_j2发送至P_i的一份报文未被接收。由于U₂₁＞T₁₂，U₃₁＞T₁₃，

j≠i，U_ji＞T_ij条件满足，故P_i发送信息报文

分别至P_j1和P_j2。P_j1和P_j2接收后分别发送数据报文

至P_i。P_i接收后，T_j1←T_j1+1，T_j2←T_j2+1，

j≠i，U_ji＝T_ij条件满足，P_i分别发送结束报文

至P_j1和P_j2，之后P_i、P_j1和P_j2分别退出恢复阶段执行正常计算。

一般而言，衡量一个检查点算法优劣的标准与实际的算法应用场合有关。在移动计算应用中，由于站点(mobile hosts)能量限制往往将控制报文数目和检查点数目作为主要指标，以求减少信息传送量使得站点具有尽可能长的生命周期。在大型的分布式计算中，为了满足计算的可恢复性往往将算法的健壮性和稳定性作为主要指标，以求在某进程故障时将系统的损失减少至最小。考虑到一般分布式应用，本文采用六项指标作为衡量算法优劣的标准：

1、永久检查点的数目，由于永久检查点被保存在文件服务器中的稳固存储器(stablestorage)中，故检查点的数目占用系统较大的通信开销。

2、控制报文开销，定义为控制报文数目与传送一份控制报文的平均时间的乘积。

3、阻塞时间，在检查点设置期间停止基本计算的时间。

4、是否分布式，检查点算法是否由某个进程统一控制。

5、回退进程数目，任何进程故障时需随同回退的进程数目。

6、算法的健壮性，任何一个进程在任何时刻故障时是否可恢复。

表1将MNC-Non Blocking报文数目检验-无阻塞算法与具有代表性的3个检查点算法进行了比较。

表1中：

C_uni：发送一份报文至其他进程的通信开销[8]。

C_broad：广播一份报文至所有进程的通信开销。

T_disk：保存永久检查点至稳固存储器的时延。

T_data：传送永久检查点至稳固存储器的时延。

T_msg：检查点期间处理控制报文所占用时间。

T_ch：设置检查点占用时间。

T_ch＝T_msg+T_data+T_disk

N_min，需设置检查点的最少进程数。

N，分布式系统所有进程的数目。

N_dep[6]，为进程所依赖的平均进程数，1≤N_dep≤N-1。

从表1可知与其它检查点算法比较，MNC-Non Blocking报文数目检验-无阻塞算法其检查点数量为N，多于其他检查点算法所设置检查点数量，这主要是基于分布式系统进程的状态是由进程内部状态和信道状态组成的考量。控制报文的数目最少的为MNC-Non Blocking，其次为Koo-toueg算法。阻塞时间最少的为MNC-Non Blocking、Non-blocking和Elnozahy。对于是否分布式这一指标，MNC-Non Blocking算法的为集中式，但是由于控制报数目只有n不可能造成报文收发瓶颈。某进程故障时回退进程数目，Koo-toueg算法与故障进程相关联的进程需回退，MNC-Non Blocking算法仅仅故障进程回退，其他进程回退进程数目未知，此项指标MNC-Non Blocking算法优于其它算法。健壮性，MNC-Non Blocking算法当任何一个进程在任何一个时间点故障时均可通过核实收发数据报文数目恢复之，此项指标MNC-Non Blocking算法优于其它算法。

总之，MNC-Non Blocking算法在六项指标中除检查点数目一项指标外其它五项性能指标或优于或与其它算法性能指标持平，充分体现了采用系统状态一致性定量判断较之传统的基于因果关系系统状态一致性定性判断的优越性。

表1

Claims (3)

1.一种基于报文数目检验无阻塞检查点设置和故障进程恢复方法，其特征是，它的步骤为：

(1)协调进程Pc定期向所有普通进程发出检查点设置报文NB；

(2)初始化所有普通进程；

(3)判断普通进程间是否向对方发送数据报文或接收对方的数据报文，如果是，则处理数据报文，保存数据报文信息至内存变量和磁盘，然后转入步骤(3)继续判断；如果否，则转入步骤(4)；

(4)判断任一普通进程是否收到Pc的NB报文；如果是，则保存检查点和内存变量至磁盘，然后转入步骤(3)继续判断；如果否，则转入步骤(5)；

(5)检测所有普通进程，如果其中任何一个普通进程发生故障，则转入步骤(6)，其它所有未发生故障的普通进程转入步骤(7)；如果所有普通进程均未发生故障，则转入步骤(7)；

(6)恢复发生故障的进程，恢复完成后转入步骤(3)继续判断；

(7)所有未发生故障的普通进程，如果收到故障进程的重建报文XB，则进行相应的处理；反之则转入步骤(3)继续判断。

2.如权利要求1所述的基于报文数目检验无阻塞检查点设置和故障进程恢复方法，将发生故障的普通进程标记为P_i，i＝1，2，3…n，未发生故障的普通进程标记为P_j，j≠i，j＝1，2，…n，其特征是，所述步骤(6)中恢复P_i过程如下：

Step1：P_i回退至发生故障时的前一个周期所对应的检查点，将保存在磁盘中的信道信息取至进程内存变量；

Step2：P_i发送重建报文XB至所有未发生故障的普通进程；

Step3：根据P_i的信道输入状态数组从磁盘读取并处理当前检查点周期接收到的数据报文，重建进程改进的向量时钟T_i；

Step4：根据P_i的信道输出状态数组从磁盘读取并处理当前检查点周期发送的数据报文，重建进程发送向量U_i；

Step5：判断P_i是否接收到未发生故障的普通进程P_j的信息报文RB；如果是，则将RB所携带U_ji存入P_i的U_ji，并转入步骤step6；如果否，则直接转入步骤step6；其中，U_ji表示P_j发送至P_i的报文数目；

Step6：判断P_i是否收到所有未发生故障的普通进程的信息报文RB；如果是，则求得所有差值U_ji-T_ij，j≠i，j＝1，2，…n，并转入步骤step7；

如果否，则返回步骤step5；其中，T_ij表示P_i所接收到的P_j发送的报文数目；

Step7：对于j≠i，j＝1，2，…n，判断是否存在大于0的差值，如果存在，则P_i发送数据请求报文RE并传送此差值到相应的P_j，并转入步骤step8；反之，转入步骤step9；

Step8：判断P_i是否接收到P_j的中途数据报文；如果是，则T_ij加一，保存数据报文信息至内存变量和磁盘，然后转入步骤step7；如果否，则转入step8继续判断；

Step9：发送结束报文EB至所有未发生故障的普通进程，完成P_i的恢复。

3.如权利要求1所述的基于报文数目检验无阻塞检查点设置和故障进程恢复方法，未发生故障的普通进程记为P_j，其特征是，所述步骤(7)中进行相应处理的步骤如下：

A.停止向所有普通进程发送数据报文，并传送发送向量分量U_ji至发生故障的普通进程P_i；

B.判断P_j是否收到发生故障的普通进程P_i的数据请求报文RE，如果是则取得差值U_ji-T_ij，根据差值查找中途报文，发送中途报文至P_i，如果否，则直接转入步骤C；

C.判断P_j是否接收到数据报文；如果是，则保存内存变量至磁盘并转入步骤D，否则直接转入步骤D；

D.判断P_j是否收到发生故障的普通进程P_i的结束报文EB，如果是则P_j继续向P_i发送数据报文，如果否则转入步骤B。

Images