JP2001509291A - 多重プロセッサシステムにおけるプロセッサメンバーシップの分散形取り決め - Google Patents

Abstract

(57)【要約】 多重プロセッサシステム（１００）における通信障害及び／又は定期的事象故障で残存するプロセッサ群を決定するためのシステム。プロセッサ（１１２）は、それぞれメモリ（１１８）を有しかつプロセッサ間通信ネットワーク（１１４）に接続され、プロセッサが通信できる一組のプロセッサが変化したということを検出する。そして、プロセッサは、プロセッサの切断群が再編成動作（６２２ｂ）の開始で独立したシステムとして動作することを継続するという可能性を最小化することに基づいて動作を停止するか又は継続することを選択する。プロセッサは、他のプロセッサがプロセッサ（６８２）からの周期的メッセージの欠落を検出した場合に、故障したことを疑われる。これが起きた場合には、プロセッサの全ては、プロセッサがプロセッサの状態及び連結性を互いに繰り返し放送する一連のステージの対象になる。疑問をもたれたプロセッサは、打ち切られた動作を有しているか又はそのタイマ機構が故障している場合には再編成のためにステージを通って進行しない。

Description

【発明の詳細な説明】 多重プロセッサシステムにおけるプロセッサメンバーシップの分散形取り決め発明の分野 本発明は、一般に、故障許容（フォールトトレラント）多重プロセッサシ ステムに関する。特に、本発明は、部分的及び全体的通信故障シナリオにおける かつ構成プロセッサ上の周期的又は定期的事象の故障にもかかわらず多重プロセ ッサシステムの障害許容力を改良する方法に関する。関連特許出願 １９９４年６月２３日に出願され、発明者がロバートＬ．ヤーディン、リチャ ードＭ．コリンズ及びラリーＤ．リーブズであり、本発明の譲受人に譲渡された 「停電又はドロップアウトからの欠陥許容マルチプロセッサシステムの回復方法 及び装置(Method and Apparatus for Fault-Tolerant Multi-processing System Recovery from Power Failure or Drop-Outs)」と題する米国特許出願第０８／ ２６５，５８５号； １９９５年６月７日に出願され、発明者がロバートＬ．ヤーディン、リチャー ドＭ．コリンズ及びＡ．リチャードザッチャーであり、本発明の譲受人に譲渡さ れた「非均一な停電の許容範囲を改善する方法(A Method to Improve Tolerance of Non-Homogeneous Power Outages)」と題する米国特許出願第０８／４８７， ９４１号； 本発明と同日に出願され、発明者がロバートＬ．ヤーディン、ムラリバサバイ ア及びカローラＳ．クリシナクマーであり、本発明の譲受人に譲渡された「マル チプロセッサシステムにおける知能分割回避方法及び装置(Method and Apparatu s for Split-Brain Avoidancein a Multi-Processor System)」と題する米国特 許出願； 本発明と同日に出願され、発明者がムラリバサバイア及びカローラＳ．クリシ ナクマーであり、本発明の譲受人に譲渡された「回復中に最大限の全接続に対し マルチプロセッサシステムをノード剪定する方法及び装置(Method and Apparatu s for Node Pruning a Multi-Processor System for Maximal，Full Connecti on During Recovery)」と題する米国特許出願；及び 本発明と同日に出願され、発明者かムラリバサバイア，カローラＳ．クリシナ クマー及びスリニバサＤ．ムーシーであり、本発明の譲受人に譲渡された「マル チプロセッサシステムの回復中に失われたタイマーチックを許容する方法及び装 置(Method and Apparatus for Toleration of Lost Timer Ticks During Recove ry of a Multi-Processor System)」と題する米国特許出願。先行技術の説明 分散型で、何も共用しないマルチプロセッサアーキテクチャー、及びプロセス 対を使用する欠陥許容（フォールトトレラント）のソフトウェアは、システムの 全てのプロセッサが、そのシステムを作り上げるプロセッサの一貫したイメージ をもつことを必要とする。（本発明の譲受人から入手できるＮｏｎＳｔｏｐ Ｋ ｅｒｎｅｌ（登録商標）は、このような欠陥許容ソフトウェアの一例である。） この一貫したシステムイメージは、システムオペレーションに必要なグローバル システムテーブルを維持し、そしてデュアルポートＩ／Ｏコントローラ又は共用 バス（ＳＣＳＩのような）を経て同じＩ／Ｏデバイスにアクセスする異なるプロ セッサにおいて例えば一次及びバックアッププロセスの入力／出力プロセス対（ ＩＯＰ）により生じるデータ崩壊を防止するために必要である。 プロセッサ欠陥の検出は、「ＩａｍＡｌｉｖｅ」メッセージ形態で迅速に行なわ れる。各プロセッサは、「ＩａｍＡｌｉｖｅ」パケットをシステム内の他の各プロ セッサに周期的に送信する。システム内のプロセッサは、別のプロセッサが動作 するかどうかを、そこからのタイミングパケットにより決定する。所与のプロセ ッサからパケットを受信せずに時間インターバルが経過したときには、第１のプ ロセッサは、第２のプロセッサが故障したと判断する。 古いシステムでは、再グルーピングが実施される前に、第２のプロセッサが第 １のプロセッサにパケットを送信するときに次のことが生じ得る。第１のプロセ ッサは、第２のプロセッサの機能が不適切であると判断し、ポイゾンパケットで 応答する。第１のプロセッサは、第２のプロセッサからのパケットの内容を無視 する。 最終的に、他のプロセッサの多く又は全部が終了となり、その影響を受けるプ ロセッサを無視する（それを停止するよう試みる以外は）。この影響を受けるプ ロセッサは、実際には、システムの外部にあり、あたかも独立したシステムであ るかのように機能する。この状態は、知能分割(split-brain)問題とも称される 。 再グルーピングを伴わない状態では、次の状態が生じ得る。異なるプロセッサ で実行されるプロセス対の両プロセスがそれら自体を一次とみなし、バックアッ プ機能を遂行する能力を破壊し、そしておそらく、ファイルを崩壊することにな る。全てのシステムプロセッサは、無限ループに捕獲された状態となり、共通の リソースに対して競合する。システムテーブルは、崩壊状態となる。 再グルーピングは、「ＩａｍＡｌｉｖｅ」／ポイゾンパケット方法を補足する。 再グルーピングは、投票アルゴリズムを使用して、システム内の各プロセッサの 真の状態を決定する。各プロセッサは、他の全プロセッサの状態の記録を志願し 、その記録を他のプロセッサからの記録と比較し、そしてそれに応じてその記録 を更新する。投票が完了すると、全てのプロセッサは、システム状態の同じ記録 を有することになる。プロセッサは、機能するが既に分離されたプロセッサを再 統合すると共に、機能しないプロセッサを正しく識別しそして分離するために、 それら自体の間で整合を行う。 再グルーピングは、プロセッサ間の物理的な通信が可能に保たれるときだけ、 プロセッサの論理的な状態に関わりなく機能する。プロセッサが他のプロセッサ との全ての通信経路を失った場合に、そのプロセッサは再グルーピングできなく なる。このプロセッサは、通信が回復しそしてシステムがコールドロードされる まで分離されたままとなる。（このようなプロセッサは、通常、それ自体停止す る。というのは、その自己チェックコードがメッセージシステムパケットをそれ 自身との間でやり取りできないからである。） プロセッサの論理状態とその条件は区別される。プロセッサは、適切に構成さ れたシステムにおいて２つの論理状態、即ちアップ又はダウンを有する。しかし ながら、プロセッサは、３つの条件、即ち論理状態ダウンと同じであるデッド、 論理状態アップと同じである健全、及び以下に詳細に述べるマラトス(malatose) を有する。 プロセッサは、システムの他部分と通信しない場合にデッドである。デッドの プロセッサは、例えば、停止又はシステム凍結命令を実行するプロセッサ、内部 レジスタパリティエラーのような低レベルの自己チェックエラーに遭遇するプロ セッサ、全ての割り込みがディスエーブルされた状態で無限ループを実行するプ ロセッサ、データ崩壊のために非終了命令を実行するプロセッサ、又はリセット 状態にあるプロセッサを含む。 デッドのプロセッサは有害であるが、再グルーピングアルゴリズムは、それら をシステム構成から除去する。他のプロセッサは、デッドのプロセッサを検出し 、そしてそれらをダウンと宣言する。 プロセッサは、そのオペレーティングシステム（好ましくは、本発明の譲受人 から入手できるＮｏｎＳｔｏｐ Ｋｅｒｎｅｌ（登録商標）オペレーティングシ ステム）を実行し、そして適度な時間内に他のプロセッサとパケットを交換でき る（好ましくは、冗長な高速バス又はスイッチングファブリックを経て）場合に は健全である。再グルーピングアルゴリズムは、プロセッサが健全なプロセッサ をダウンと宣言するのを防止する。 マラトスのプロセッサは、デッドでも健全でもない。このようなプロセッサは 、適時に応答しない（おそらくはタイマーチックの欠落のために）か、ある低レ ベルアクティビティにおいて一時的に凍結状態となる。マラトスのプロセッサは 、例えば、最も高い優先順位の割り込みで溢れていてプロセッサが低い優先順位 の割り込みを実行できないか、又は低い優先順位の割り込みで溢れていて、「Ｉ ａｍＡｌｉｖｅ」パケットの発生が遅れるようなものである。マラトスプロセッ サは、クロックが停止した欠陥ハードウェアデバイスを待機するか、又は相互に 排他的なメカニズムにより割り込みがディスエイブルされた状態で長時間動作す る。 再グルーピングアルゴリズムは、マラトスプロセッサを検出し、そしてそれを 強制的に健全又はデッド、即ちアップ又はダウンにする。対応的に、プロセッサ は、ダウンと宣言していない別のプロセッサがダウンと宣言するときには、それ 自身停止する。 再グルーピングに関しては、システムの各プロセッサは、安定（即ち、動作の 必要性を待機する）であるか、又は以下に述べる多数の状態を含む混乱状態であ る。 プロセッサが安定であるときには、「ＩａｍＡｌｉｖｅ」メッセージ機構が動作 し続ける。別のプロセッサからの「ＩａｍＡｌｉｖｅ」メッセージがない状態で、 所定長さの時間、例えば、２．４秒が経過した場合には、プロセッサは混乱状態 となる。 混乱状態である間に、プロセッサは、特別にマークされたパケットを他の混乱 状態のプロセッサと交換して、システムの現在プロセッサ構成を決定する。その 構成に合意するときには、プロセッサは、再び安定状態となる。 プロセッサは、ほとんどの時間を安定状態に費やす。 再グルーピング事象は、プロセッサが混乱状態になったときに開始し、そして 全てのプロセッサが再び安定状態になったときに終了する。各再グルーピング事 象は、最後のシステムコールドロード以来の再グルーピング事象の数であるシー ケンス番号を有する。 又、各プロセッサは、１つは古い構成でそして１つは新しい構成である２つの 構成を記憶するための変数も維持する。プロセッサが安定である間には、ＯＵＴ ＥＲ＿ＳＣＲＥＥＮ及びＩＮＮＥＲ＿ＳＣＲＥＥＮと称する両ビットマップ変数 は、古い構成を含む。 プロセッサが安定である間には、古い構成である各プロセッサがアップであり 、そして古い構成でない各プロセッサがダウンであることが知られている。古い 構成にある各プロセッサは、同じ再グルーピングシーケンス番号を有する。 プロセッサが混乱である間には、構成の展望（及びそれ自身の状態）をそのバ ス又はファブリックにブロードキャストする。プロセッサは、この展望を周期的 に、例えば、０．３秒ごとに、古い構成の他の全てのプロセッサに送信する。こ のような送信を受け取ると、その構成にあるいかなる安定なプロセッサも混乱す る。 以下に述べる再グルーピングプロトコルの４つの段階は、混乱状態にある全て のプロセッサがシステム構成について同じ展望を形成するようにさせる。再グル ーピングが完了したときには、システム内の全てのプロセッサが安定となり、同 じ新たな構成を含む。又、新たな構成にある各プロセッサは、古い構成の番号よ り大きな同じ再グループシーケンス番号を有する。 新たな構成は、古い構成になかったプロセッサを含まない。事象全体にわたっ て健全に保持された全てのプロセッサは、新たな構成にある。 事象が開始したときにデッドであるか又は事象中にデッドとなったプロセッサ は、新たな構成にない。プロセッサが事象中にデッドとなった場合には再グルー ピングが再スタートする。 対応的に、事象が開始したときにマラトスであったプロセッサは、完了した事 象にそれらが関与している場合には新たな構成において健全なプロセッサとして 存在する。 再グルーピング方法は、新たな構成にある全てのプロセッサが同じプロセッサ を包含し及び除外するように確保する。 既存の再グループのプロセッサ段階 既存のアルゴリズムに基づく各プロセッサ再グルーピングは、ＥＶＥＮＴ＿Ｈ ＡＮＤＬＥＲ（）手順と、図７に示された再グループ制御テンプレート＃＿７０ ０とここで称するデータ構造体とを維持する。ＳＥＱＵＥＮＣＥ＿ＮＵＭＢＥＲ とここで称する変数は、現在再グループシーケンス番号を含む。 各プロセッサは、動作中に次の段階、即ち段階０、段階５及び段階１ないし４ を通過する。段階０は、システム形成時にプロセス制御ブロックにおいて定義さ れた特殊な段階である。段階５は、上記の安定状態である。段階１ないし４は、 上記の混乱状態を作り上げる。 プロセッサは、変数ＳＴＡＧＥに現在段階を維持する。又、プロセッサは、段 階１ないし４の各々に対し変数ＫＮＯＷＮ＿ＳＴＡＧＥ＿１ないしＫＮＯＷＮ＿ ＳＴＡＧＥ＿４を維持する。これら変数の各々は、その変数に対応する段階にお いて再グループ事象に参加すべき維持プロセッサに知られた全てのプロセッサの プロセッサ番号を記録するビットマスクである。 プロセッサは、それがコールドロードされるときに段階０に入る。プロセッサ は、それが段階０にある間は、再グルーピングに参加しない。この状態において プロセッサを混乱させる試みは、プロセッサを停止させる。プロセッサは、プロ セス間及びプロセッサ間メッセージシステムへの統合が完了するまで段階０に留 まる。次いで、プロセッサは、段階５に入る。図８Ａ及び８Ｂは、その後の動作 を要約するものである。 再グルーピング事象は、通常、プロセッサが「ＩａｍＡｌｉｖｅ」メッセージを 時間内に送信し損なったときに開始する（ステップ＃＿８１０）。この欠陥は、 欠陥を検出するプロセッサを混乱させる。 プロセッサが混乱されると（ステップ＃＿８０５）、段階１に入る。段階１は 、参加する全てのプロセッサを同じ再グルーピング事象の一部分として同期させ る（ステップ＃＿８３０）。古い事象が終了する前に新たな事象がスタートし得 るので、参加するプロセッサが最新の事象のみを処理するよう確保するための方 法が必要となる。 図９は、段階５から段階１への移行を要約するものである。プロセッサは、Ｓ ＥＱＵＥＮＣＥ＿ＮＵＭＢＥＲ＃＿７１０を増加し、段階＃＿７２０を１にセッ トし、ＫＮＯＷＮ＿ＳＴＡＧＥ＿ｎ変数を０にセットし、そしてＫＮＯＷＮ＿Ｓ ＴＡＧＥ＿１＃＿７５０ａにおけるそれ自身のビットを１にセットする。（プロ セッサは、自分以外のどのプロセッサが健全であるかまだ知らない。） メッセージシステムは、プロセッサを周期的に、１つの実施形態では０．３秒 ごとに、目覚めさせ、従って、プロセッサは、許容し得る入力を受け取るために ３ないし６回の試みをすることができる。古い構成の２つ以上のプロセッサが未 確認のままであるか、パワーアップが生じたか、又はアルゴリズムが新たな事象 としいて再スタートした場合に、４つ以上の試みが生じる。 プロセッサは、目覚めたときに、その状態を古い構成のプロセッサヘブロード キャストする（ステップ＃＿８３０）。その状態は、その再グループ制御テンプ レート＃＿７００を含む。 通常、他の混乱状態のプロセッサからの状態パケットが最終的に到着する。Ｏ ＵＴＥＲ＿ＳＣＲＥＥＮ＃＿７３０により定められるように古い構成でなかった プロセッサからパケットが到着する場合には、このプロセッサはパケットを無視 し、そしてポイゾンパケットで応答する。 プロセッサは、それが無視しないパケットについては、パケットのシーケンス 番号をＳＥＱＵＥＮＣＥ＿ＮＵＭＢＥＲ＃＿７１０と比較する。パケットシーケ ンス番号が小さい場合には、送信者は、現在事象に参加しない。パケットの他の データは、現在のものではなく、無視される。プロセッサは、新たな状態パケッ トをそのプロセッサに送信して、それに同期させ、現在事象に参加させる。 パケットのシーケンス番号がＳＥＱＵＥＮＣＥ＿ＮＵＭＢＥＲ＃＿７１０より 大きい場合には、新たな事象がスタートしている。ＳＥＱＵＥＮＣＥ＿ＮＵＭＢ ＥＲ＃＿７１０は、パケットのシーケンス番号にセットされる。プロセッサは、 そのデータ構造休を再初期化し、そしてパケットデータの残りを受け入れる。 パケットのシーケンス番号がＳＥＱＵＥＮＣＥ＿ＮＵＭＢＥＲ＃＿７１０と同 じである場合には、プロセッサは、単にパケットデータを受け入れる。データの 受け入れは、パケットのＫＮＯＷＮ＿ＳＴＡＧＥ＿ｎフィールドをそれに対応す るプロセッサ変数＃＿７５０と論理オアして、２つのプロセッサの知識を１つの 構成へ合体することより成る。 段階１は、２つの方法のいずれかで終了する。第１に、全てのプロセッサがそ れ自体を考慮する。即ち、プロセッサが、そのＫＮＯＷＮ＿ＳＴＡＧＥ＿１変数 ＃＿７５０ａが全ての既知のプロセッサを含む（即ちＯＵＴＥＲ＿ＳＣＲＥＥＮ ＃＿７３０に等しい）ことに気付いたときに、プロセッサは段階２へ進む。しか しながら、プロセッサ欠陥の場合には、プロセッサは、それら自体を全て考慮す るのではない。それ故、段階１は、時間切れで終了となる。時間限界は、警告及 び非警告モードで異なるが、全てのプロセッサがそれら自体を考慮するかどうか に関わりなくその時間が経過したときにプロセッサは段階２へ進む。 図１０は、段階１の始めから段階１の終りまでの移行を要約するものである。 段階１の終わりに、ＫＮＯＷＮ＿ＳＴＡＧＥ＿１＃＿７５０ａは、このプロセッ サが現在事象中に通信すべきところの有効プロセッサとして確認するプロセッサ を識別する。その後の段階で、プロセッサは、確認されたプロセッサからのパケ ットのみを受け入れる。 段階２は、プロセッサにより確認されたプロセッサのセットに、その確認され たプロセッサにより確認された全てのプロセッサを追加することにより、新たな 構成を作り上げる（ステップ＃＿８５０）。実際に、新たな構成は、通信仲間の 間の合意である。 図１１は、段階２の終わりの条件を要約するものである。プロセッサは、段階 ＃＿７２０を２にセットし、その状態をＫＮＯＷＮ＿ＳＴＡＧＥ＿２に記録し、 そしてＫＮＯＷＮ＿ＳＴＡＧＥ＿１をＩＮＮＥＲ＿ＳＣＲＥＥＮ＿＃７４０にコ ピーする。プロセッサは、入力をチェックし続け、状態を周期的にブロードキャ ストし、到来するパケットをＯＵＴＥＲ＿ＳＣＲＥＥＮ及びＩＮＮＥＲ＿ＳＣＲ ＥＥＮ＃＿７３０、＃＿７４０に対して受け入れられるかどうかテストする（ス テップ＃＿８５０）。 段階１に参加していない古い構成のプロセッサからのパケットは、ＩＮＮＥＲ ＿ＳＣＲＥＥＮ＃＿７４０により識別され、そして無視される。確認されたプロ セッサからのパケットは、受け入れられ、そしてそれらの構成データは、ＮＫＯ ＷＮ＿ＳＴＡＧＥ＿ｎ変数と合体される。確認されたプロセッサからのパケット がまだ確認されていないプロセッサを識別するときには、ＩＮＮＥＲ＿ＳＣＲＥ ＥＮ＃＿７４０に新たなプロセッサも追加される。従って、段階１において現在 再グループ事象に参加するには低速過ぎたマラトスプロセッサでも段階２に参加 することはできる。 ＫＮＯＷＮ＿ＳＴＡＧＥ＿２＃＿７５０ｂ＿ｂＳＫＮＯＷＮ＿ＳＴＡＧＥ＿１ ＃７５０ａに等しくなったときには、構成に対してそれ以上の変化は生じない。 図１２は、段階２の終了における条件を要約するものである。ここで、段階３が 始まる。 段階３の始めに、図１３に示すように、プロセッサは、段階＃＿７２０を増加 し、そして新たな構成をＩＮＮＥＲ＿ＳＣＲＥＥＮ及びＯＵＴＥＲ＿ＳＣＲＥＥ Ｎ＃＿７４０、＃７３０の両方にコピーする。マラトスプロセッサは、もはや、 健全なプロセッサとして新たな構成に参加することができない。 メッセージシステムのクリーンアップ（ステップ＃＿８６０）は、次のように 行なわれる。新たな構成にあるプロセッサは、新たな構成にないプロセッサへの メッセージシステムを遮断する。それらは、除外されたプロセッサへの保留中の 送信を破棄し、そしてそこから到来する送信も破棄する。プロセッサ間トラフィ ック待ち行列は、除外されたプロセッサにおいて要求者／リンカーから待ち行列 処理されたが打ち消されていないメッセージに対してサーチされる。それにより 見つかった打ち消されていないメッセージは破棄される。プロセッサ間トラフィ ック待ち行列は、除外されたプロセッサにおいてサーバ／聴取者から待ち行列処 理されたが打ち消されていないメッセージに対してサーチされる。これにより見 つかった打ち消されていないメッセージは、段階４の間に処理するために据え置 き打ち消し待ち行列に添付される。 このクリーンアップは、新たな構成にあるプロセッサにおいてサーバ／聴取者 アプリケーションにより開始されたメッセージ交換が、新たな構成からの他のプ ロセッサの除外により、未解決のままとならないように確保する。除外されたプ ロセッサに送ることができた全てのメッセージが送信され、そしてそこから受け 取ることのできた全てのメッセージが受信される。 ほとんどのプロセッサ機能は、バス又はタイマー割り込みハンドラー動作とし て生じる。あるクリーンアップアクティビティは、長時間を要するので、割り込 みがディスエイブルされた状態で行うことができない。むしろ、これらのアクテ ィビティは、同じ段階に対して他のものから分離され、そして据え置かれる。 据え置かれたクリーンアップは、ディスパッチャー（プロセススケジューラー ）により呼び出されたメッセージシステムＳＥＮＤ＿ＱＵＥＵＥＤ＿ＭＥＳＳＡ ＧＥ手順により実行される。据え置かれたアクティビティは、次いで、ほとんど の時間イネーブルされるディスパッチャー以外の割り込みで実行される。 入力の周期的なチェック及び状態のブロードキャスト動作が続けられる。前記 した据え置かれたクリーンアップが終了するときには、プロセッサは、その状態 をＫＮＯＷＮ＿ＳＴＡＧＥ＿３＃７５０ｃに記録する。 ＩＮＮＥＲ＿ＳＣＲＥＥＮ及びＯＵＴＥＲ＿ＳＣＲＥＥＮ＃＿７４０及び＃＿ ７３０を越えたパケットは、ＫＮＯＷＮ＿ＳＴＡＧＥ＿ｎ変数＃＿７５０に合体 される。ＫＮＯＷＮ＿ＳＴＡＧＥ＿３＃＿７５０ｃｂＳＫＮＯＷＮ＿ＳＴＡＧＥ ＿２＃＿７５０ｂに等しいときには、新たな構成にある全てのプロセッサが同様 のクリーンアップを完了し、そして全て段階３に存在する。図１４は、段階３の 終りの条件を示す。 段階４において、プロセッサは、段階３のクリーンアップ動作を終了し、１つ 以上のプロセッサ欠陥が生じたことをプロセスに通知する（ステップ＃＿８７０ ）。プロセッサは、段階＃＿７２０を４に増加し、そして次のことを行う。即ち 、 ダウン状態にある除外されたプロセッサを示すようにプロセッサ状態変数をセッ トし、ここに述べるＧＬＵＰプロトコルに使用するように必要に応じてロッカー プロセッサを変更し、段階３から据え置かれたメッセージを処理し、Ｉ／Ｏコン トローラテーブルを必要に応じて操作してオーナーシップを得、そして要求者／ リンカーに通知する。 段階４は、別のプロセッサの欠陥を現在プロセッサにおいてメッセージシステ ムユーザにより知ることのできる第１のポイントである。この遅延は、他のプロ セスがアクティビティを開始して、欠陥プロセッサとの打ち消されないメッセー ジの交換のために誤った結果を生じるのを防止する。 再グルーピングプロセッサは、入力をチェックしそして状態をブロードキャス トし続ける（ステップ＃＿８７０）。据え置かれたクリーンアップが終了すると 、プロセッサは、その状態をＫＮＯＷＮ＿ＳＴＡＧＥ＿４＃＿７５０ｄに記録す る。図１５は、この動作を示す。 ＩＮＮＥＲ＿ＳＣＲＥＥＮ及びＯＵＴＥＲ＿ＳＣＲＥＥＮ＃＿７４０、＃＿７ ３０を越えるパケットは、ＫＮＯＷＮ＿ＳＴＡＧＥ＿ｎ変数＃＿７５０に合体さ れる。ＫＮＯＷＮ＿ＳＴＡＧＥ＿４＃＿７５０ｄがＫＮＯＷＮ＿ＳＴＡＧＥ＿３ ＃＿７５０ｃに等しいときには、新たな構成にある全てのプロセッサが同様のク リーンアップを完了し、そして全て段階４に存在する。図１６は、段階４の終り の条件を要約するものである。 段階５の始めに、段階＃＿７２０は、５となる。１つの最終的なブロードキャ スト及び更新が生じる。ＯＵＴＥＲ＿ＳＣＲＥＥＮ＃＿７３０は、次の再グルー ピング事象に対し何が古い構成となったかを含む。図１７は、この状態を示す。 最終的に、高レベルのオペレーティングシステムクリーンアップをここで開始 することができる。グローバルな更新回復は、ロッカープロセッサにおいてスタ ートする。 プロセッサは、それ自身のクリーンアップ処理を行う。ここで、欠陥プロセッ サを再スタートする試みを開始することができる。 事象の停止及び再開 プロセッサは、段階２ないし４を所定時間内に、１つの実施形態では３秒以内 に完了しなければならない。これらの段階をその時間内に完了しない場合には、 他のプロセッサか再グルーピング中におそらく欠陥となる。それ故、事象は停止 し、そして新たな事象が開始し、プロセッサが段階１の始めへ戻る。再スタート 時に末完了のままであったクリーンアップは、新たな事象の状態中に完了する。 クリーンアップ動作は、シーケンス要求も、明確に制御されるシーケンスも有し ておらず、従って、それらは、アルゴリズムの再スタートにより影響されない。 再スタート中に、ＩＮＮＥＲ＿ＳＣＲＥＥＮ及びＯＵＴＥＲ＿ＳＣＲＥＥＮ＃ ＿７４０、＃＿７３０は、再初期化されない。これらの変数を変更しないことに より、プロセッサは、既に健全でないと診断されたプロセッサを新たな構成から 除外し続ける。デッドであると分かっているプロセッサは、ＯＵＴＥＲ＿ＳＣＲ ＥＥＮ＃＿７４０２より除外される。既に健全であると確認されたプロセッサは 、ＩＮＮＥＲ＿ＳＣＲＥＥＮ＃＿７３０がプロセッサの通信を許すところのプロ セッサだけである。 プロセッサは、確認されたプロセッサからの状態のみを受け入れる。それ故、 確認されたプロセッサのみが、段階２の終了前に別のプロセッサを構成に追加す ることができる。段階２が終了しそして段階３が開始するときに、再グルーピン グプロセッサは、ＫＮＯＷＮ＿ＳＴＡＧＥ＿２＃＿７５０ｂがＯＵＴＥＲ＿ＳＣ ＲＥＥＮ及びＩＮＮＥＲ＿ＳＣＲＥＥＮ＃＿７４０、＃＿７３０にコピーされた ときに新たな構成から再スタートを生じさせた欠陥プロセッサを除外する。段階 ２が終了した後に、新たな事象がスタートするまで構成は変化しない。 停電及び回復再グルーピング プロセッサは、パワーアップ時に、新たな事象をスタートさせる。ブロードキ ャスト状態パケットのワードは、停電の発生を指示し、従って、受信側プロセッ サは、バスエラーカウンタをクリアし、そして再起動したプロセッサのバス又は ファブリックへのアクセスの遮断を差し控えることができる。プロセッサ間通信 ハードウェア（バス又はファブリック）の特性に基づき、停電の直後に若干異な る時間に部品が通電するときにエラーが生じ易い。 プロセッサ間通信経路欠陥の影響 プロセッサ間通信経路（ＩＰＣＰ）の欠陥が再グルーピングに及ぼす影響は、 欠陥が過渡的なものか永久的なものかによって左右される。過渡的な欠陥とは、 パケットを送信するためにＩＰＣＰを時々使用できるものである。永久的な欠陥 は、部品が交換されるまでその部品を通していかなるパケットも送ることができ ない。 段階１の間の過渡的なＩＰＣＰ欠陥は、通常、再グルーピングに影響を及ぼさ ない。状態パケットを送信するために２回以上の試みがなされ、各パケットごと に冗長な通信経路が使用される。送信は、ほとんど常時成功する。冗長経路の送 信が失敗する場合には、アルゴリズムが再スタートするか、又はプロセッサが停 止する。 首尾良く送信されたパケットは、３つの形式の１つとして受信することができ る。即ち、それらは、過渡的なＩＰＣＰ欠陥が生じそしてパケットの他のコピー を送信できないための「独特」；冗長なＩＰＣＰを経て受信されたための「複写 」；又はプロセッサが状態パケットを送信し、その状態を変更し、そして新たな 状態パケットを送信したが、１つ以上の経路が状態パケットを順序ずれして供給 したための「旧式」である。 再グループ制御テンプレート変数は、ビットを１にセットするがそれらを決し て０にセットしないことにより更新される。複写、旧式又は紛失パケットは、新 たな事象がスタートするまでその後の更新によってビットがクリアされないので 、新たな構成の精度を変更するものではない。順序ずれしたパケットの受信によ り何ら影響は生じない。 永久的なＩＰＣＰ欠陥の取り扱いは異なる。プロセッサが少なくとも１つの経 路を経てそれ自身と通信できないときには、そのプロセッサは、エラーで停止と なる。この動作は、全ての冗長なＩＰＣＰが欠陥となったときに、システムが全 てのプロセッサを自動的に停止することを意味する。再グルーピングは無関係と なる。 ＩＰＣＰエレメント又はＩＰＣＰアクセスエレメントの欠陥は、２つのプロセ ッサ間に１つの両方向通信経路が保持される限り、再グルーピングに影響しない 。少なくとも１つの他のプロセッサと通信できないプロセッサは、再グルーピン グプロセッサの監視機能によりそれ自身を停止する。 少なくとも１つの他のプロセッサと通信できるプロセッサは、新たな構成に含 まれる。というのは、新たな構成が合意によって達成されるからである。各プロ セッサは、状態パケットを受け取ると、報告された構成を追加して、それ自身の 状態記録を更新する。この合成された構成は、更新プロセッサから状態パケット を受け取るために次のプロセッサへ自動的に送られる。 例えば、次の状態について考える。冗長なＩＰＣＰ Ｘ及びＹが与えられると 、プロセッサ０及び２は、ＩＰＣＰ Ｘでのみ送信し、そしてＩＰＣＰ Ｙでの み受信することしかできない。一方、プロセッサ１は、ＩＰＣＰ Ｘでのみ受信 し、そしてＩＰＣＰ Ｙでのみ送信することしかできない。従って、プロセッサ ０及び２は、プロセッサ１との通信経路を有する。最終的に、３つの全プロセッ サは、同じ新たな構成をもつことになる。両プロセッサ０及び２からのプロセッ サ状態情報は、プロセッサ１を経て中継される。 未解決の欠陥状態 既存の再グループアルゴリズムは、プロセッサ欠陥及びマラトスプロセッサに 対して良好に機能する。しかしながら、良好に機能しない幾つかの通信欠陥状態 が存在する。これらの状態を理解するために、ワーキングマルチプロセッサシス テム（ＮｏｎＳｔｏｐ Ｋｅｒｎｅｌ（登録商標）システム）を、頂点が機能中 のプロセッサを表しそして縁が互いに直接通信する２つのプロセッサの能力を表 す接続グラフとして論理的に考える。システムが正常に動作するためには、グラ フは、完全に接続されねばならず、即ち全てのプロセッサは、他の全てのプロセ ッサと直接通信できねばならない。各対のプロセッサ間には論理的な接続がなけ ればならない。 （このグラフは、論理的な相互接続モデルである。物理的な相互接続は、各対 のプロセッサ間に異なる物理的相互接続が存在しない共用バスを含む種々の異な るトポロジーでよい。） 第１の状態においては、システムの２つのプロセッサが、システムで動作して いるプロセッサについて一貫性のない展望をもつことになる。それらは、システ ムのグラフを構成する頂点の組に関して合意しない。「知能分割」状態が生じたと 言える。この知能分割状態は、分割した知能にわたって存在するＩ／Ｏプロセス 対の一次及びバックアップの各々が、データ崩壊により、それが一次プロセスで あると考える事態を招く。 一般に、知能分割状態は、通信欠陥がシステムを、互いに切断された２つ以上 の個別のプロセッサクラスターに分割する場合に生じ得る。従って、システムの 接続性グラフが２つ以上の解体接続グラフに分離する。 第２の状態においては、通信欠陥により接続性グラフが部分的に接続されただ けとなる。これは、一対のプロセッサ間の通信が冗長な経路にも関わらず完全に 欠陥となるときに起きる。プロセッサの１つが、他のプロセッサからある時間中 ＩａｍＡｌｉｖｅメッセージを受信していないことに気付いたときに、再グルー プオペレーションをアクチベートする。しかしながら、その２つが通信できる第 ３のプロセッサがある場合には、既存の再グループオペレーションは、全てのプ ロセッサが健全であると判断し、何ら処置を行なわずに終了となる。いずれかの プロセッサで発信して他のプロセッサへ向けられるメッセージは、永久的に保留 となり、即ち２つのプロセッサは健全であり、そして欠陥許容メッセージシステ ムは、行先プロセッサ又はプロセスがダウンでない限りメッセージが供給される ように保証する。再グループオペレーションが行先プロセッサのダウンを宣言す るまで、メッセージシステムは、メッセージの再試みを維持するが、プロセッサ 間に通信経路がないために何の進行もない。 この第２の状態において、全システムは、次の環境の１つ以上により保留とな る。即ち、複写されたカーネルテーブルを更新するのに使用されるグローバル更 新（ＧＬＵＰ）プロトコル（参考としてここに取り上げる米国特許第４，７１８ ，００２号（１９８８年）に説明されている）は、プロセッサがシステム内の全 ての健全なプロセッサと通信できると仮定している。健全なプロセッサの１つと 通信できないプロセッサにおいてＧＬＵＰがスタートする場合には、ＧＬＵＰプ ロトコルが全システムにおいて保留となり、名前付けされたプロセスの形成及び 削除のようなアクティビティの完了を妨げる。又、システムは、重要なシステム プロセスが保留メッセージの完了を待機して保留となる場合にも、保留となる。 このようなシステム保留は、メッセージシステムがリソース以外で動作するた めにプロセッサの停止を招くことになる。 プロセッサ間通信経路が欠陥許容（例えば、二重バス）である一方、プロセッ サがフェイル・ファースト（例えば、単一の欠陥検出プロセッサ又はロックステ ッププロセッサが同じコード流を実行し、自己欠陥を検出した際にプロセッサが 直ちに停止する）である場合には、一対のプロセッサ間の通信遮断のおそれが、 プロセッサの故障よりも遥かに低くなる。しかしながら、エラーにより信号経路 をダウンさせるソフトウェアポリシーは、この状態の確率を高める。 更に、複雑なクラスターマルチプロセッサトポロジーの導入に伴い、接続欠陥 状態がより起き易くなると思われる。これらは、ルータの故障、システムソフト ウェアの欠陥、オペレータエラー等によるものである。 第３の状態においては、プロセッサが周期的なＩａｍＡｌｉｖｅメッセージを 送信できなくなるが、プロセッサ間通信メッセージは受信及び送信することがで きる。（このような状態は、例えば、時間リストの崩壊から生じ、オペレーティ ングシステムへのタイマー時間切れの報告を妨げる。）他のプロセッサの１つは 、プロセッサのこの欠陥を容易に検出し、再グループ事象をスタートする。しか しながら、見掛け上マラトスのプロセッサは、再グループパケットを受信しそし て再グループパケットをブロードキャストすることができるので、欠陥プロセッ サが再グループ事象に完全に参加する。この参加は、見掛け上マラトスのプロセ ッサが実際に健全であることを他のプロセッサに確信させるに充分である。プロ セッサは、再グループ事象に偽のスタートを迅速にダビングし、プロセッサダウ ンがないと宣言する。それにも関わらず、プロセッサがＩａｍＡｌｉｖｅの欠落 を次に検出するときに新たな再グループ事象がスタートする。従って、システム は、ＩａｍＡｌｉｖｅチェック頻度（例えば、２．４秒に一度）で周期的な再グ ループ事象を通り、欠陥を検出することなく、ほとんど即座に終了となる。 従って、これらの知能分割、部分的接続及びタイマー欠陥状態を回避するマル チプロセッサ再グループオペレーションが要望されている。 本発明の目的は、構成要素プロセッサがシステムを構成するプロセッサの一貫 したイメージを維持するマルチプロセッサコンピユータシステムを提供すること である。 本発明の別の目的は、システムが安定であるときに構成要素プロセッサが完全 に接続されるマルチプロセッサコンピユータシステムを提供することである。 本発明の更に別の目的は、タイマーの時間切れを受け取るプロセッサの欠陥が 検出されそしてプロセッサがダウンと宣言するマルチプロセッサコンピュータシ ステムを提供することである。 本発明の更に別の目的は、システムが安定であるときに上記プロセッサが最大 限に完全に接続されるマルチプロセッサシステムを提供することである。 本発明の更に別の目的は、一体化及び接続要件を満足するのに必要なシステム リソース（特に、プロセッサ）が最小限に除外されるマルチプロセッサシステム を提供することである。 本発明の更に別の目的は、再グルーピング時に、瞬間的に非応答のプロセッサ をシステムが考慮するようなマルチプロセッサシステムを提供することである。 本発明のこれら及び他の目的は、上記先行技術及び以下の説明から当業者に容 易に明らかであろう。発明の要旨 ここに、多重プロセッサシステムにおける通信障害及び／又は定期的事象 故障に残存するプロセッサ群を決定するための装置及びプロトコルを開示する。 プロセッサは、各々メモリを有し、かつプロセッサは、プロセッサ間通信ネット ワークにより結合される。 プロセッサは、それらが通信することができる一組のプロセッサが変化し たということを検出する。そして、それらは、プロセッサの切断群が独立システ ムとして動作することを継続するという可能性を最小化することに基づいて動作 を停止するか又は継続することを選択する。プロセッサは、再編成動作の開始で 連結性マトリックスを構築する。連結性情報は、残存する最終群における全ての プロセッサが群における全ての他のプロセッサと通信することができるというこ とを確実にするために用いられる。一つ以上のプロセッサがこの特性を達成する ことを停止しうる。 プロセッサは、他のプロセッサがプロセッサからの周期的メッセージの欠 落を検出した場合に、打ち切られた動作を有していること又は故障したタイマ機 構を有していることを疑われる。これが起きた場合には、プロセッサの全ては、 それらがそれらの状態及び連結性を互いに繰り返し放送する一連のステージの対 象になる。疑問をもたれたプロセッサは、打ち切られた動作を有しているか又は そのタイマ機構が故障している場合にはステージを通って進まない。図面の簡単な説明 図１は、マルチプロセッサシステムの簡単なブロック図である。 図２は、５プロセッサのマルチプロセッサシステムを示すグラフである。 図３は、２プロセッサのマルチプロセッサシステムを示すグラフである。 図４は、通信欠陥を受けたときの図２のグラフである。 図５は、通信欠陥を受けたときの図３のグラフである。 図６は、本発明の１つの実施形態による再グループオペレーションの段階１を 示すフローチャートである。 図７は、再グループ制御テンプレートを示す図である。 図８Ａ及び８Ｂは、再グループオペレーションの段階を要約する図である。 図９は、本発明の１つの実施形態により段階５から段階１への移行を示す図で ある。 図１０は、本発明の１つの実施形態により段階１の始めから段階１の終りへの 移行を示す図である。 図１１は、本発明の１つの実施形態により段階２の始めにおける条件を要約す る図である。 図１２は、本発明の１つの実施形態により段階２の終りにおける条件を要約す る図である。 図１３は、本発明の１つの実施形態により段階３の始めにおける状態を示す図 である。 図１４は、本発明の１つの実施形態により段階３の終りにおける状態を示す図 である。 図１５は、本発明の１つの実施形態により段階４の始めにおける状態を示す図 である。 図１６は、本発明の１つの実施形態により段階４の終りにおける状態を示す図 である。 図１７は、本発明の１つの実施形態により段階５の始めにおける条件を示す図 である。 図１８Ａ及び１８Ｂは、本発明の１つの実施形態による知能分割回避プロトコ ルを示すフローチャートである。好ましい実施形態の詳細な説明 目次 定義 全体の概要 データ構造 プロトコル タイーブレーカ・プロセッサ選択 リグループおよびスプリットーブレーン回避 ステージ１ ステージ２ リグループ及びノード・プルニング（枝刈り） ステージ３ ステージ４ ステージ５及び６ リスタート リグループ及びタイマー故障の検出 再訪問したシナリオ定義 カノニカル・マトリックス ：連結性マトリックスＣが、下記の場合に、及び下 記のみの場合に、カノニカル・フォームにあることをいう。 （１）プロセッサｉが不動作状態（以下デッド）であり、行Ｃ（ｉ，ｘ）がFA LSEであり、列Ｃ（ｘ，ｉ）がFALSEである場合；及び （２）Ｃ（ｉ，ｊ）がFALSEであり、Ｃ（ｊ，ｉ）がFALSEである場合：これは 、対称性すなわち双方向性の連結性を確保する。 連結グラフ ： グラフ中においてどのプロセッサも他のプロセッサからは絶縁 されていないグラフ。 連結性マトリックス ：以下のようなＮ×Ｎマトリックス。 Ｎはプロセッサの数。 各プロセッサには、１からＮ（又は、ゼロインデックスが使用される場合に は０からＮ−１）の間の特定の番号が付されている。 プロセッサｉが健康である場合には、Ｃ（ｉ，ｊ）はTRUEである。 プロセッサｉがデッド又は不存在である場合には、Ｃ（ｉ，ｊ）はFALSEで ある。 プロセッサｉがプロセッサｊ（ｉ≠ｊ）に接続されていない場合には、Ｃ（ ｉ，ｊ）はFALSEである。連結解除 ： グラフ中における、２つのプロセッサ間のエッジの欠如；グラフ内 のミッシング（喪失）・エッジ；プロセッサ間にエッジのない一対のプロセッサ ；およびＣ（ｉ，ｊ）がFALSEで且つＣ（ｊ，ｉ）がFALSEである一対（ｉ、ｊ） 。完全連結グラフ ： 各プロセッサが他の全てのプロセッサについてのエッジを有 するグラフ。グラフ ： マルチプロセッサシステム内の複数のプロセッサの表示であって、そ れらのプロセッサ中の通信リンクの表示。これらのグラフの頂点がプロセッサで あり、エッジが通信リンクである。エッジは双方向性である。 用語「頂点」および「プロセッサ」は、用語「通信リンク」および「リンク」 および「エッジ」であるとして互換的に用いられる。 （一対のプロセッサ間の冗長リンクは、一緒にして一つのリンクとして考慮さ れる。本実施例では、通信ネットワークは、本願の出願人から入手可能なServer Net（商標）であり、通信リンクは、ServerNet（商標）パスである。ServerNet （商標）パスは、一連のServerNetリンクとルータである。）グループ ： マルチプロセッサ中のプロセッサの適当なサブセット（小さな組） 。プロセッサのサブセットは、相互に通信可能に連結されている。完全に連結さ れたマルチプロセッサシステムが複数グループに分かれると、そのグループは、 ばらばらになり、必ずしも完全な連結にならない。最大限に、完全に連結されたサブグラフ ： 完全に連結されたサブグラフであっ て、同じグラフの別の完全連結されたサブグラフの適当なサブセットではない、 サブグラフ。全体の概要 本発明のマルチプロセッサシステムは、米国特許第４，８１７，０９１号およ び米国特許出願第０８／４８６，２１７号（１９９５年６月７日出願）の教示を 用いて、構成され得る。これらの米国特許および米国特許出願は、必要な範囲に おいて、参照文献として組み込まれる。 図１は、本発明を組み込んだマルチプロセッサシステムの、簡単にしたブロッ ク図である。プロセッサ１１２は、ネットワーク１１４および接続１１６によっ て相互に連結されて、プロセッサ１１２に、トランシーバ１１７を介してプロセ ッサ間通信を提供する。ネットワーク１１４は、イーサネットＬＡＮのような標 準通信接続によって実施され得るし、プロセッサ１１２を並列に接続するバスシ ステムによっても実施され得る。そのネットワークは、来国特許第４，８１７， ０９１号に教示されるようにプロセッサが持っている入力／出力（Ｉ／Ｏ）シス テムからは独立している。上記の代わりとして、ネットワーク１１４は、プロセ ッサ１１２に種々のＩ／Ｏユニット（プリンタや二次記憶装置等（図示せず）） へのアクセスだけでなく該プロセッサ１１２のためのプロセッサ間通信の通信パ スをも提供する結合Ｉ／Ｏシステムの一部として実施してもよい。ネットワーク １１４は、リングや完全連結スターおよびツリー等のポイント・ツー・ポイント ネットワークであってもよい。 プロセッサ１１２の各々の内側に、または各プロセッサ１１２に関連するよう に、メモリ１１８が、他のプロセッサのメモリ１１８とは独立に設けられ、他の プロセッサの時間及び日付クロックとは独立に、時間及び日付クロック（図示せ ず）が設けられている。また、各プロセッサ１１２に関連するように、一次電源 （例えば、交流電源（図示せず））を受ける電源１２０が設けられ、この電源か ら必要な電力（例えば直流電力）が関連のプロセッサ１１２の動作のために供給 される。 １つの実施形態において、プロセッサ＃＿１１２の各々に関連した内部、或い はその他の点は、形状が任意のレジスタ＃＿１１９である。形状が任意のレジス タ＃＿１１９は、アト＿ニードケットNo.010577-033000で、本発明の譲渡人への 譲渡の義務下にあり、発明者Robert L．Jardine，Richard N．Collins及びA.Ric hard Zacherによる"Method to Improve Tolerance Of Non-Homogeneous Power O utages"の米国特許出願No．08/487,941に開示されている。米国特許出願No．08/ 487,941は、リファレンスによってここに取りこまれる。 ネットワーク＃＿１１４は、プロセッサ＃＿１１２がメッセージを、それぞれ の間でデータ、ステータス及び他の情報を伝えるために、一方から他方へ、又他 方から一方へメッセージを送り、又受信することができるようにする媒体を形成 する。この媒体は、一対のプロセッサごとの間で少なくとも２つのパスを有する 冗長なネットワークであることが好ましい。 図＃＿２は、５−プロセッサのマルチプロセッサシステム＃＿２００を表すグ ラフ＃＿２００である。図＃＿２のグラフ＃＿２００は完全に接続されている。 ５つのプロセッサ１−５の各々は、他のプロセッサ１−５の全てとコミュニケー ションリンクを有する。 図＃＿３は、２−プロセッサのマルチプロセッサシステム＃＿３００を表すグ ラフ＃＿３００である。図＃＿３のシステム＃＿３００も完全に接続されている 。２つのプロセッサ１，２は互いに通信している。 いま、システム＃＿２００を図＃＿４のグラフ＃＿４００に分割する事故が発 生と仮定する。グラフ＃＿４００において、プロセッサ１，３，４と５のグルー プは完全に接続されており、又プロセッサ１，２と５のグループは完全に接続さ れている。 グラフ＃＿４００のプロセッサは、全てコミュニケーションの失敗の検出に関 する再グループ動作に入る。本発明によると、スプリット−ブレイン問題を避け るために、又完全に接続されたマルチプロセッサシステムを維持するために、プ ロセッサ１，３，４と５の各々が動作しつづけている間、プロセッサ２は、動作 を停止する。 同様に、コミュニケーションの失敗がシステム＃＿３００をプロセッサ１だけ の、および図＃＿５のシステム＃＿５００のプロセッサ２だけのサブグループに 分割する場合、これらのプロセッサは、再グループ動作を行なう。本発明による と、スプリット−ブレイン問題を避けるために、又完全に接続されたマルチプロ セッサシステムを維持するために、プロセッサ１が動作を続ける間、プロセッサ ２は停止する。データ構造 本発明による、スプリット−ブレイン問題、部分接続及びタイマー失敗を避け るために、好適な実施形態に用いられたデータ構造及びプロトコルが以下に説明 される。 本発明に組み込まれているマルチプロセッサシステムにおける各々のプロセッ サ＃＿１１２は、接続マトリックスＣを維持する。この接続マトリックスは、コ ミュニケーションの失敗を乗り切る、グラフにおけるエッジを追跡するために用 いられる。接続マトリックスは、又最大の、完全に接続されたサブグループを決 定するためにも用いられ、コミュニケーションの失敗を乗り越え、各プロセッサ ＃＿１１２がその動作を続けるか、停止するかを決定する。 接続まトリックＣのサイズは、Ｎをマルチプロセッサシステムのプロセッサ＃ ＿１１２の数とした場合、Ｎ×Ｎである。１つの実施形態において、マトリック スの各エントリは、ビットであり、各プロセッサ＃＿１１２は、１とＮ間の特定 の数である。エントリＣ(ｉ，ｊ)は、プロセッサｊからのメッセージを受信する プロセッサｉの能力を示す。ここで、もし、能力があるならば、エントリは、１ (或いは論理真)にセットされる。もし、能力がないならば、エントリは、０(或 いは論理偽)にセットされる。 もし、プロセッサｉがヘルシーであれば、エントリＣ(ｉ，ｊ)は、真にセット される。プロセッサｉが死んでいるか、存在しないならば、エントリＣ(ｉ，ｊ) は、偽である。もし、プロセッサがそれ自身から再グループメッセージを受けな いならば、そのプロセッサは停止する。 もし、プロセッサｊ(ｉがｊに等しくない）に通信可能に接続されているなら ば、エントリＣ(ｊ，ｊ)は、真にセットされる。もし、プロセッサｊ(ｉがｊに 等し くない)に通信可能に接続されていないならば、エントリＣ(ｊ，ｊ)は、偽にセ ットされる。 各プロセッサ＃＿１１２は、ノードのプルーニング結果変数も維持する。プル ーニング結果変数もビット構造で、どのマルチプロセッサシステムのノードが以 下に説明されるノードプルーニングプロトコルをサバイブするかを示している。 他のデータ構造は、IamAliveメッセージである。１つの実施形態において、Ia mAliveメッセージは、他の情報間で、放送プロセッサ＃＿１１２のアイデンティ フィケーションを含む。首尾よく通信されると、IamAliveメッセージは、受信プ ロセッサ＃＿１１２へ放送プロセッサ＃＿１１２の連続した動作を示す。 更に他のデータ構造は、再グループメッセージである。再グループメッセージ は、放送プロセッサ＃＿１１２を識別し、そのプロセッサの通信マトリックスを 含む。したがって、再グループメッセージは、それが信じるこれらのプロセッサ ＃＿１１２のアイデンティフィケーションがシステムを形成することを示す、シ ステムのプロセッサの見解を含む。再グループメッセージは、プルーニング結果 変数と注意ビットも同様に含む 本発明の１つの実施形態によるマルチプロセッサシステムは、到達することが できないプロセッサのマスクを含む。このマスクは、Ｎビットである。ここで、 Ｎは、マルチプロセッサシステムのプロセッサ＃＿１１２の数である。又、マス クにおける各エントリは、ビットであり、各プロセッサ＃＿１１２は、１とＮ間 の特定の数である。このマスクのメンテナンス及び使用を以下に説明する。プロトコル タイブレーカープロセッサの選択 プロセッサ＃＿１１２の１つは本発明の再編成プロセスにおいて特別の役割を 有している。このプロセッサ＃＿１１２はタイブレーカーを指定する。後述する ように、分割脳回避プロセスはタイの場合のこのプロセッサ＃＿１１２の方を好 む。さらに、残存しているすべてのプロセッサの間の十分な結合を確実にするた めに使用される（後述する）ノードプルーニングプロセスはタイブレーカープロ セッサ＃＿１１２上で実行される。また、このプロセスは非常に多くの結合故障 の場合にはタイブレーカーの方を好む。 １実施例では、グループで最低の番号を付けられたプロセッサ＃＿１１２はタ イブレーカーとして選択される。この単純な選択プロセスは、グループ内のすべ てのプロセッサ＃＿１１２が同一のタイブレーカーを選択することを保証する。 再編成及び分割脳回避 本発明によるマルチプロセッサシステムのプロセッサ＃＿１１２のそれぞれは 周期的な間隔でIamAliveメッセージを広めるためネットワーク＃＿１１４を使用 する。１実施例では、ほぼ１．２秒毎にそれぞれのプロセッサ＃＿１１２は、各 他のプロセッサ＃＿１１２への各冗長経路上の各他のプロセッサへIamAliveメッ セージを広める。ほぼ２．４秒毎に各プロセッサ＃＿１１２は、その仲間のプロ セッサ＃＿１１２から受け取ったIamAliveメッセージを調べるため検査する。プ ロセッサ＃＿１１２は、最終検査でシステムの一部であったことを知るプロセッ サ（例えば、＃＿１１２ｂ）からIamAliveメッセージを受け取り損なう時、検査 プロセッサ＃ １１２は再編成メッセージを広めることにより再編成動作を開始 する。 事実上、再編成動作は、IamAliveメッセージが受け取られなかったプロセッサ ＃＿１１２ｂのための１セットのチャンスであり、事実上、健全である他のプロ セッサ＃＿１１２を確信させる。再編成動作に正確に関係するプロセッサ＃＿１ １２ｂの故障は現存するプロセッサ＃＿１１２となり、それが送信する場合には 、プロセッサ＃＿１１２ｂからの更なるメッセージトラヒックを無視する。他の プロセッサ＃＿１１２は一度応答しないプロセッサ＃＿１１２ｂをシステムから 追放する。 ステージＩ 図＃＿６に戻ると、フロー図は再編成動作のステージＩを示し、通常、参照番 号＃＿６００で示されいる。プロセッサ＃＿１１２のそれぞれは再編成グループ のステージＩを実行する。事実上、プロセッサ＃＿１１２は必ずしもそれらの動 作を同期させる必要はないので、一定のプロセッサは他よりも早くIamAliveメッ セージを検討し、他よりも前に再編成動作に入る。 また、プロセッサ＃＿１１２はたとえIamAliveメッセージの欠如を検出しなく ても、IamAliveメッセージの欠如を検出したプロセッサ＃＿１１２から再編成メ ッセージを最初に受け取る場合には、再編成動作のステージＩに入ってもよい。 従って、仲間のプロセッサがその周期的なIamAliveメッセージを送信し損なっ たことをプロセッサ＃＿１１２が示す時（ステップ＃＿６６２ｂ）、またはプロ セッサ＃＿１１２がプロセッサ＃＿１１２の別のものから再編成メッセージを受 け取る時（ステップ＃＿６６２ｂ）に、ステージＩが始まる。プロセッサ＃＿１ １２がこれらの発生のいずれかを表わすと、それは再編成動作のステージＩを開 始する。 次に、予め存在する再編成動作のステージＩの動作に加えて、再編成動作に関 係するプロセッサ＃＿１１２はそれぞれ、ステージＩ動作のための最大時間を決 定する内部タイマ（図示せず）を開始する（ステップ＃＿６６４）。また、各プ ロセッサ＃＿１１２はそのメモリレジデント結合マトリックスＣをすべての故障 に再設定する（すなわち、Ｃ（ｉ，ｊ）はすべてのｉ，ｊのためゼロである）。 また、ステップ＃＿６６４では、各プロセッサ＃＿１２２はすべてのＩ／Ｏ動 作を中断する。（１実施例では、サービスルーチンはネットワーク＃＿１１４上 にすべての次のＩ／Ｏ要求を出すよりむしろ要求キューにそれらを保持する。） この期間の間、再編成メッセージだけがネットワーク＃＿１１４を通って流れて もよい。プロセッサ＃＿１１２は、再編成動作が残存するプロセッサのセットを 完結した後（すなわち、ステージIIIの後）にのみＩ／Ｏ動作を再開する。 ステップ＃＿６６６では、プロセッサ＃＿１１２のそれぞれは、完全なプロセ ッサ、完全な冗長経路の再編成メッセージを送り、システムのプロセッサのビュ ーを含み、それ自身の識別、結合マトリックスＣ、及び光学上の警告ビットを含 んでいる。（「停電またはドロップアウトからフォウルトトレラントなマルチプ ロセッシングシステムのための方法及び装置」という表題で、1994年６月23日に 出願され、発明者がRobert L.Jardine,Richard M.Collins,Larry D.Reevesで、 この発明の譲受人に譲渡する義務を負わせた、代理人文書No．010577-031900/TA 271の米国特許出願No.08/265,585の教示によると、プロセッサ＃＿１２２は警告 ビットを設定し使用している。米国特許出願No.08/265,585はここにインコーポ レイテッドバイリファレンスされている。）この再編成メッセージは、プロセッ サ＃＿１１２の故障を示して既にそのように行われず、IamAliveメッセージを送 り、また再編成動作に入る場合には、すべての他のプロセッサ＃＿１１２を促す 。 ステップ＃＿６６８では、プロセッサ＃＿１１２はそれが受け取った再編成メ ッセージを検査しメッセージに含まれる結合マトリックスＣをプロセッサ＃＿１ １２がそのメモリ＃＿１１８に保持するものと比較する。もし相違点がある場合 には、メモリ１８に保持されたシステムビューはそれに応じて更新される。 １実施例では、再編成メッセージの連結性マトリックスは、ＮｘＮビットのマ トリックスである。このビットマトリックスは、再編成メッセージを受取るプロ セッサー＃１１２がメモリー＃１１８に保持するＮｘＮビットマトリックスと論 理和をとられる。従って、どのようなプロセッサーでも再編成メッセージでｉが あるとマークされた、即ち再編成メッセージ連結性マトリックスでＣ（ｉ，ｉ） がＴＲＵＥとセットされれば、プロセッサー＃１１２は、そのプロセッサーｉを メモリー在駐マトリックスにあるとマークする、即ちメモリー在駐連結性マトリ ックスで、Ｃ（ｉ，ｉ）がＴＲＵＥとセットされる。 従って、連結性マトリックスは、上述したＫＮＯＷＮ−ＳＴＡＧＥ＿ｎ変数＃ ＿７５０を含むことができる。 さらに、プロセッサーｉが（どのようなパス上の）プロセッサーｊから再編成 メッセージを受取るとき、プロセッサーｉは、メモリー在駐連結性マトリックス のＣ（ｉ，ｊ）エントリをＴＲＵＥとセットし、プロセッサーｉは、プロセッサ ーｊからメッセージを受取ることができることを示す。 上述したように、一対のプロセッサーｉとｊ、Ｃ（ｉ，ｊ）とＣ（ｊ，ｉ）に ２つのエントリが存在する。プロセッサーｉは、プロセッサーｊから再編成メッ セージを受取るとき、エントリＣ（ｉ，ｊ）をＴＲＵＥとセットし、一方プロセ ッサーｊは、プロセッサーｉから再編成メッセージを受取るとき、エントリＣ（ ｊ，ｉ）をＴＲＵＥとセットする。この２重エントリシステムにより、マルチプ ロセッサーシステムが対称性を壊す故障を検出することができる、即ち、プロセ ッサーｉはプロセッサーｊから受取ることができるが、プロセッサーｊはプロセ ッサーｉから受取ることができない。 全ての知られているプロセッサー＃１１２が健全であるとわかれば、又は所定 の時間が経過すれば、ステージＩは完了する。ステージII 連結性マトリックスを使用して、ステージＩで知られたプロセッサーを追跡し 、ステージIIで知られたプロセッサーがステージＩからのものといつ同じになる か求める。以前にある再編成オペレーションで、プロセッサー＃１１２がステー ジIIに関係しているときステージIIを出たプロセッサーは、システム＃＿１００ の見方について同意する。本発明の再編成オペレーションで、プロセッサーがシ ステムの見方について同意した後、ステージIIは継続する。 連結性マトリックスはまた、再編成オペレーションの最初のステージを耐えた プロセッサーのグループで完全な連結性を欠くことの検出にも使用される。再編 成オペレーションのステージＩとステージII（の初め）に、連結したサブグラフ 内に存在するプロセッサーの組を求めた後、各プロセッサーは、後述され図＃＿ １８Ａと＃＿１８Ｂに示される脳分割回避方法を行い、プロセッサーの１つのサ ブグラフのみが残っていることを確認する。この方法は、ステップ＃＿１８０５ でタイブレーカープロセッサーを選択することを含む。完全に結合したサブグラ フを選択するために、ノードプルーニングプロトコルをランすることもできる。 １実施例では、各プロセッサー＃＿１１２が、(1)最後の再編成オペレーショ ンが完了する終わりに、(又は再編成オペレーションが完了していなければシス テムの始動時に)システムの一部であった、また(2)最も低い独自の識別数を有す るプロセッサー＃＿１１２をタイブレーカープロセッサーとして選択する。。 より緩やかには、プロセッサー＃＿１１２は、現在の再編成オペレーションが 始まる直前に最も低い独自識別数を有するプロセッサー＃＿１１２をタイブレー カープロセッサーとして選択する。上述したのに関連して、現在の再編成オペレ ーションが進行中の再編成オペレーションの中間で始まっても良いという点で、 この定義はより緩やかである。 本発明のスプリットブレイン回避方法を行うのに、各プロセッサー＃＿１１２ は、次の決定を行う： １．この再編成オペレーションが開始する前に、そのグループが、上述したＯＵ ＴＥＲ＿ＳＣＲＥＥＮ変数＃＿７４０で与えられる存在するプロセッサーの半分 以上を有すれば、プロセッサーは、ステップ＃＿１８２０と＃＿１８２５でオペ レーションを継続する。 ２．この再編成オペレーションが開始する前に、そのグループが、存在するプロ セッサーの半分より少なくしか有さなければ、ステップ＃＿１８１０と＃＿１８ １５で直ちに停止する。 ３．この再編成の前に、そのグループが存在するプロセッサーのちょうど半分を 有し、そのグループが少なくとも2つのプロセッサーを有すれば、ステップ＃＿ １８３０で、タイブレーカープロセッサーを使用して次のようにタイを壊す。 ・３．１ そのグループがタイブレーカープロセッサーを含むなら、プロセッサ ーは、ステップ＃＿１８４０と＃−１８２５でオペレーションを継続する。 ・３．２ そのグループがタイブレーカープロセッサーを含まないなら、プロセ ッサーは、ステップ＃＿１８５０で直ちに停止する。 ４．そのグループが正確に1つのプロセッサーを有し、この再編成オペレーショ ンが始まる前に、正確に2つのプロセッサーが存在すれば、 ・４．１ そのプロセッサーがタイブレーカープロセッサーであれば、プロセッ サーは、ステップ＃＿１８６０と＃＿１８６５でオペレーションを継続する。 ・４．２ そのプロセッサーがタイブレーカープロセッサーでなければ、プロセ ッサーは残存しようとする：プロセッサーは最初に、ステップ＃＿１８７０でタ イブレーカープロセッサーの状態をチェックする。（１実施例では、プロセッサ ーはサービスプロセッサー（ＳＰ）にタイブレーカーの状態を得るように要求す る。ＳＰは、タイブレーカーの状態について独立の知識を有し、この状態を戻す ことができるかもしれない。戻された状態は、次の5つの値の1つである。プロセ ッサーが停止した（又は非オペレーションのコードをランする）；プロセッサー はハードウェアのエラー（セルフチェック）のフリーズ状態である；プロセッサ ーはＮｏｎＳｔｏｐ Ｋｅｒｎｅｌをランしている；ＳＰはプロセッサーと通信 しているが、何等かの理由によりプロセッサーの状態を得ることができない；状 態要求の通信が何等かの理由により失敗した。）もし、タイブレーカーが停止し たか、又はハードウェアエラーのフリーズ状態にあれば、プロセッサーは、ステ ップ＃＿１８８０と＃＿１８６５で残存する。もし、タイブレーカーとうまく通 信している状態が得られなければ（例えば、ＳＰ接続の失敗によりＳＰの要求が 失敗した、ＳＰがＮｏｎＳｔｏｐ Ｋｅｒｎｅｌの状態を求めることができない と回答した、又はマルチプロセッサーシステムがサービスプロセッサーの等価物 を含んでいない。）、ステップ＃＿１８９０で、プロセッサーは達し得ないプロ セッサーのマスクをチェックする。タイブレーカーが達し得ないとマークされな ければ、ステップ＃＿１８９５と＃＿１８６５で、タイブレーカーがマラトスで 残存したと、プロセッサーは想定する。しかし、タイブレーカーが達し得ないと マークされれば、タイブレーカーが健全でこの方法を行うと想定する。それは、 ステップ＃＿１８９５と＃＿１８９７で停止する。 このスプリット−ブレイン回避方法論は、プロセッサ＃＿１１２を、それ自身 を機能停止させるように導くことができる。それどころか、タイ−ブレーカー・ プロセッサ＃＿１１２でさえ、自身を機能停止させることができる。故に、プロ セッサ＃＿１１２がスプリット−ブレイン回避方法論のアプリケーションを生き 残らせている場合、それは、タイ−ブレーカー・プロセッサ＃＿１１２を再び選 択する。好ましい実施形態では、各プロセッサ＃＿１１２は、他のタイ・ブレー カーが本明細書に記載されているように選択されるまでは、ステージＩＩの残り のための、また、再グループ・オペレーションのその後のステージのための、更 に、ポスト−再グループ・オペレーションにおける、タイ・ブレーカーとして、 最も小さな番号が付された生き残りプロセッサを選択する。スプリット−ブレイ ン回避方法論のアプリケーションを生き残らせている全てのプロセッサ＃＿１１ ２は、同じタイ−ブレーカー・プロセッサ＃＿１１２を選び取る。 プロセッサがタイ・ブレーカーでない場合、このプロセッサは、自身がタイ− ブレーカー・プロセッサ＃＿１１２からメッセージを得る（若しくは、機能停止 検出がタイムアウトした後に再グループが再開する）までは、ステージＩＩにと どまる。 これはスプリット−ブレイン回避プロトコルを完了する。ノード・プルーニン グ（刈り込み）・プロトコル無しでスプリット−ブレイン回避方法諭を実施する マルチ−プロセッサ・システムについては、上述したようにステージＩＩＩ乃至 Ｖを完了する。しかしながら、それ自身を最大の完全に接続されたマルチ−プロ セッサとして形成しようとしている、若しくは、それ自身をそのようなマルチ− プロセッサとして維持しようとしているようなシステムは、ステージＩＩを完了 し、以下に述べるように続行する。（勿論、マルチ−プロセッサ・システムは、 スプリット−ブレイン回避方法論とは独立して、ノード・プルーニング方法論を 適用することができる。） −再グループおよびノード・プルーニング プロセッサがタイ・ブレーカーでない場合、このプロセッサは、タイ−ブレー カー・プロセッサ＃＿１１２、若しくは、自身のプルーニング結果変数セットを 有したステージＩＩＩにおける他のプロセッサ＃＿１１２から、自身がメッセー ジを得る（若しくは、機能停止検出がタイムアウトした後に再グループが再開す る）までは、ステージＩＩにとどまる。プロセッサ＃＿１１２がそのようなステ ージＩＩＩパケットを手に入れるとすぐに、このプロセッサ＃＿１１２はステー ジＩＩＩにエンターし、自身の局部プルーニング結果変数を自身が受け取ったス テージＩＩＩパケットで見つけた値に設定する。 タイ・ブレーカーは、再グループ・オペレーションを生き残らせているプロセ ッサ＃＿１１２の最終グループを判断するため、連結性情報の収集、この情報の 収集をいつ中止するかの決定、および、連結性グラフのプルーニング、に関する 付加的なステージＩＩ責任を有する。 ステージＩＮ、ＩＩでは、プロセッサ＃＿１１２がメモリ常駐マトリックスＣ のコピーを含んだ再グループメッセージを交換したときは、連結性情報が、全て のプロセッサ＃＿１１２上でそれら各々のメモリ常駐連結性マトリックスＣにて 構築される。タイ・ブレーカーは、他の全てのプロセッサ＃＿１１２とともに、 連結性情報を収集する。 タイ・ブレーカーは連結性情報の収集をいつ中止するのかを決定する。タイ・ ブレーカーは、全てのプロセッサ＃＿１１２に妥当な時間量を与えて、再グルー プ・メッセージを送り、これによって、連結性を確立する。タイ・ブレーカーが 情報の収集をあまりにも直ちに中止すべき場合には、構築された連結性グラフが 不完全になってしまうこともあり、この結果、利用可能なプロセッサ＃＿１１２ は、完全連結性の要求を満足させるため、デクレア・ダウンされ（宣言が取り下 げられ）、また、プルーニング・アウトされる（刈り出される）。不完全な連結 性情報は、最終の生き残りグループが全てのプロセッサ＃＿１１２上で矛盾せず 、また、完全に接続されているといった要求を妨害はしないが、セーブすること ができたプロセッサ＃＿１１２を取り出すことができる。 ある実施形態では、タイ・ブレーカーは、スプリット−ブレイン方法論を完了 した（更に、それ自身をタイ・ブレーカーとして選択した）後、ノード−プルー ニング方法論の適用に移る前に、３つの再グループ・チック（３００ミリ秒離間 されている）分だけ待つ。各プロセッサ＃＿１１２は、再グループ・チック毎に 、また、その再グループ・ステージが変化したときはいつでも、全てのプロセッ サ＃＿１１２に再グループ・メッセージを伝送することから、この３チック遅延 は、各プロセッサ＃＿１１２に対して、連結性情報を含んだメッセージを送るた めに少なくとも４つの機会を可能とする、即ち、ステージＩにエンターしたとき に１つ、ステージＩＩにエンターしたときに１つ、および、タイ・ブレーカーが 待つている間に更に２つである。更に、メッセージは全ての常駐経路上に送られ る。 このように、タイ・ブレーカーは、以下の２つの事象のうちの最初のものが生 じたときに、連結性情報の収集を停止する、即ち、（１）そのメモリ常駐連結性 マトリックスＣが、全ての経路がアップであること（つまり、完全連結性が存在 すること）を表示すること、又は、（２ａ）スプリット−ブレイン回避方法論の 適用が完了したために、所定数の再グループ・チックが経過したこと、若しくは 、（２ｂ）スプリット−ブレイン回避プロトコルを実施していないマルチ−プロ セッサ・システムについては、全てのステージＩプロセッサがステージＩＩにエ ンターさせられたと判断したために、所定数の再グループ・チックが経過したこ と、である。 タイ−ブレーカー・プロセッサ＃＿１１２が連結性情報の収集を中止した後に 、タイ−ブレーカーは、プルーニング・プロセスを適用し、生き残りプロセッサ ＃＿１１２の最終グループを提案する。タイ・ブレーカーは、プルーニング方法 論の効力に影響を与えることなく、それ自身をプルーニング・アウトすること（ 刈り出すこと）ができることに注意してもらいたい。タイ・ブレーカーは、常に 、他のプロセッサ＃＿１１２に対してその決定を報告する責任を持つ。プルーニ ン グされた（刈り込まれた）プロセッサ＃＿１１２（タイ・ブレーカーを含む）は 、それらがステージＩＶにエンターされるまでは機能停止しない。 潜在的且つ部分的に接続された生き残りプロセッサのグラフから完全に接続さ れたグラフを手に入れるため、タイ・ブレーカー・プロセッサ＃＿１１２は、先 ず、全ての最大の完全に接続されたサブグラフを掲げるプロセスを実行する。そ れはその後、代替物のセットから１つを選び取るために選択プロセスを使用する 。 一態様において、これらのプロセスは、タイブレーカ・プロセッサ#_112上の 割込みコンテキストにおいて実行され、実行時間及びメモリ要求の上限は低い。 候補となる全てのサブグラフを列挙するプロセスは、切断の数が大きい場合には 、大量のメモリ及び実行サイクルを必要とする。したがって、切断の数が定数（ 一態様では８）よりも大きい場合には、必ずしも最適でない完全に接続されたグ ラフを抽出する比較的単純なスキームが好ましい。 接続性マトリクスにより表わされたグラフにおける、最大で、完全に接続され たサブグラフの完全なリストを生成するための方法を、以下に記載する。 入力は、上記Ｎ×Ｎの接続性マトリクスＣである。出力は、最大で、完全に接 続されたサブグラフを形成する１組のプロセッサのアレーである。 方法論は、次のような特徴を利用している。すなわち、頂点ｉ及びｊを含む完 全に接続されたグラフから、（切断（ｉ，ｊ）を形成する）エッジ（ｉ，ｊ）が 除去されると、２個の最大で、完全に接続されたサブグラフが形成される。一方 のサブグラフは元のグラフから頂点ｉ（及びこれに接続されたエッジ）が除去さ れたものであり、他方のサブグラフは元のグラフから頂点ｊ（及びそのエッジ） が除去されたものである。 部分的に接続されたグラフは、１組の切断が適用された、完全に接続されたグ ラフとして見ることができる。全ての最大で、完全に接続されたサブグラフの組 を計算するため、プロセッサ#＿112はまず、接続性マトリクスＣにおける切断の リストを作成する。次に、プロセッサ#＿112は、１個のメンバ、すなわち元のグ ラフの全ての頂点を伴う完全に接続されたグラフを有する、最初の解の組を作成 する。プロセッサ#＿112は、次いで切断を一つずつ適用することにより、解の組 を連続的に改良する。 該方法は、次のステップを有する。 １． 全てのデッド・プロセッサの組、すなわち、Ｃ（ｉ，ｉ）が 偽となるような全てのプロセッサｉの組を計算する。 ２． 接続性マトリクスを正準形に変換する。すなわち、デッド・ プロセッサに対応する行及び列を除去し、マトリクスを対称にする。 ３． 全ての〃切断の組、すなわち、Ｃ（ｉ，ｉ）が真、Ｃ（ｊ， ｊ）が真（すなわち、プロセッサｉ及びｊはアライブである）、かつＣ（ ｉ，ｊ）が偽となるような全ての対（ｉ，ｊ）の組を計算する。Ｄを切断 の組のサイズにする。 ４． 変数groupsは解のアレーであり、変数numgroupsは解のアレ ー中のエントリの数である。ライブ・プロセッサの組に等しい１個のグル ープを含む最初の解から開始する。 groups：＝live_processors; /*groupsはSETのアレー である*/ numgroups：=１; /*アレー中の要素の数*/ 全てのライブ・プロセッサ#_112は、最初は完全に接続されている と仮定する。各切断を順に適用し、アレー中のグループを完全に接続され たサブグループに分断する。 ５． 各切断を、groups中の現在の要素に適用することにより、加 工する。 切断（ｉ，ｊ）を、プロセッサｉ又はｊを含まないプロセッサ#_11 2のグループに適用しても、何の影響もない。切断（ｉ，ｊ）を、プロセ ッサｉ及びｊを共に含むグループに適用すると、該グループは２個の完全 に接続されたサブグループに分割され、ここで、該サブグループの一つは 元のものからプロセッサｉが除去されたものであり、もう一つは元のもの からプロセッサｊが除去されたものである。 グループがこのように２個のサブグループに分割された場合、プロセッサ#_11 2は新たなサブグループの各々を調べ、それが既に存在するか、あるいは既存の グループのサブセットであるかを判断する。新規かつ最大のサブグループのみが 、 グループのアレーに追加される。 以下に示すのは、この方法論を実行するためのサンプルＣコードである。該サ ンプルコードは、関数group_-exists_or_is_subset ()が、所定のグループが、 現在のグループの組のメンバであるか、又は既存のグループのサブセットである かどうかを調べるものと仮定している。また、該サンプルコードは、セットの型 （型SET及び関数SetMember()、SetCopy()、SetDelete()並びにSetSwap())を実行 する関数ライブラリを仮定している。 ここで、numgoupsは最大で、完全に接続されたサブグラフであり、またgroups はこれらのサブグラフを含む。 このようにして見出されたサブグループから、１個のグループが生き残る。１ 個が全てのプロセッサを同様に処理する場合には、生き残りの最も有力な候補は 、 最大のメンバ数を伴うものとして定義し得る。同等の場合には、任意のものを抽 出してよい。 一実施例では、プロセッサは、各々が提供するサービスの種類に基づく異なる 残存プライオリティを有する。例えば、本発明の譲受人から提供されるノンース トウェアでは、主もしくはバックアップ＄システムプロセス（システム−ワイド サービスを提供するプロセス）を有するプロセッサは、より高い残存プライオリ ティを有する。 別の例として、上述したように、最小に番号付けられたプロセッサは最高の残 存プライオリティを有することができる。 ノード−枝刈りプロセスの実行速度は、切断Ｄの数及び完全に接続されたグル ープＧの数に依存する。所与のＤに対して、順序はＤ*２^Dに近い。明らかに、最 悪の場合の順序は、例示の１６−プロセッサシステムに対して試みるには大き過 ぎるが、これは、Ｄの値が非常に小さい場合には小さい。実際には、もしあった としても、切断は非常に少ないと予想される。 好ましい実施例では、Ｎ（稼働中のノード数）もしくはＤ（稼働中のノード間 の切断数）のどちらか一方が、例えば８よりも小さい場合には、グループのリス ティングの上記プロセスが使用される。これは、生成され、調べられるグループ 数を２５６までに制限する。 しかしながら、切断及び完全に接続されたサブグループの数が大きい（例えば ８よりも大きい）場合には、前グループのリスティングのプロセスは、割込みコ ンテキスト中で実行するには時間がかかり過ぎる。切断はまれな多重の障害から 生じるので、多数の切断にも関わらず、サブ−最適グループを残存グループとし て選択することは受入れ可能である。 従って、Ｎ及びＤの両方が、例えば８よりも大きい場合には、タイブレーカ一 は、１つの完全に接続されたサブグループを無作為にもしくは他の簡単な方法で 選択する。 ＄システムプロセッサはクリティカルなリソースと考えられ、タイブレーカーは 、＄システムプロセッサの内の１つを含む１グループを選択することを試みる。 もし、主＄システムプロセスを実行するプロセッサが正常であるならば、タイブ レーカーは、そのプロセッサを含む１グループを選択する。しかしながら、もし 、主＄システムプロセスを実行するプロセッサが止まってしまっているが、バッ クアップ＄システムプロセスを実行するプロセッサが稼動しているならば、後者 のプロセッサを含む１グループが選択される。 もし、どちらの＄システムプロセッサも止まっているならば、タイブレーカー は、それ自体を含む１グループを選択する。 上述の選択は以下のように進行する。 １． 選択されたプロセッサを含む１グループから始めよ。もし、正常ならば、 主＄システムプロセッサを選択せよ。もし、主＄システムプロセッサが止まって いるが、バックアップ＄システムプロセッサが正常ならば、バックアップ＄シス テムプロセッサを選択せよ。さもなければ、タイブレーカーを選択せよ。 ２． 各々の稼働中のプロセッサを調べよ。もし、それが現グループの全ての構 成要素に接続されているならば、そのプロセッサをグループに加えよ。（このプ ロセスは、先に調べられたプロセッサに、より高いプライオリティを与える。何 故ならば、それらは、そのグループに加えられるプロセッサに対する接続性を有 する必要が殆どないからである。） ３． 全プロセッサが調べられたら、そのグループは完成である。このグループ は、この再グループ化事件から残存する。そして、タイブレーカーは再グループ 化オペレーションの次のステージ（ステージIII）に入る。 -- ステージIII タイブレーカーがステージIIIに入る場合、ノード枝刈りプロトコルに従って 、それは、更に、再グループ化メッセージ枝刈り結果変数を、残存するように選 択されたグループにセットする。それから、タイブレーカーは、全ての他のプロ セッサ＃＿１１２にその枝刈り結果変数を送ることによって、それがステージII Iに入ったことをそれらのプロセッサに通知する。 ステージIIIでは、各々のプロセッサ＃＿１１２は、それがステージIIIにある ことを全プロセッサ（取り除かれたものを含む）に通知し、タイブレーカーの枝 刈り決定を中継する。もし、プロセッサ＃＿１１２が、それ自体が取り除かれた と分かったならば、それがステージIVに入るまで、それは停止しない。全プロセ ッサ＃＿１１２がタイブレーカーの枝刈り決定を知らされることを保証するため に、取り除かれたプロセッサ＃＿１１２は、枝刈り結果の決定の中継に参加する 。 -- ステージIV ステージIIIのプロセッサ＃＿１１２は、ステージIIにおいて使用可能である と分かった全プロセッサ＃＿１１２がステージIIIに入ったと判断すると、ステ ージIVに入る。これは、接続されたグループ中の全プロセッサ＃＿１１２が、枝 刈り決定を通知されたことを意味する。そして、プロセッサ＃＿１１２は、新し い残存するグループにコミットできる。それ自体が取り除かれたと分かったプロ セッサ＃＿１１２は、取り除かれなかったプロセッサ＃＿１１２がステージIVに 入ったと聞くまでステージIIIにとどまる。それから、取り除かれたプロセッサ ＃＿１１２は停止する。何故ならば、ステージIVの残存プロセッサ＃＿１１２は 、全ての他の残存がステージIVに入ることを確実にできるからである。（そして 、もし、ノード枝刈りを実行したタイ−ブレーカープロセッサ＃＿１１２が残存 中にないならば、そのプロセッサは停止可能である。現再グループ化オペレーシ ョンにおけるタイブレーカーの役割は完了である。） 残存しているプロセッサがステージIVに入る時、それは、そのＯＵＴＥＲ＿Ｓ ＣＲＥＥＮ及びＩＮＮＥＲ＿ＳＣＲＥＥＮ ＃７３０及び＃７４０をセットして 、枝刈り結果を反映し、枝刈り結果変数によって指示されるように最小に番号付 けられた残存しているプロセッサ＃＿１１２を、次の再グループ化オペレーショ ンで使用するためのタイブレーカーとして選択し、残存しなかったプロセッサ＃ ＿１１２に対して出入りする全てのメッセージを一掃する。 もし、再グループ化オペレーションがステージIIIで再開されるならば、プロ セッサ＃＿１１２は枝刈り結果変数を調べる。もし、プロセッサ＃＿１１２が、 それ自体か取り除かれたと分かったならば、それは停止する。もし、いずれかの プ ロセッサ＃＿１１２が新しい残存するグループにコミットし、ステージIVに入っ たならば、取り除かれたプロセッサ＃＿１１２は、再グループ化オペレーション の再開始から残存しない。 もし、接続性が非常に劣悪であるならば、取り除かれたプロセッサ（例えばプ ロセッサ＃＿１１２ｂ）はステージIIIで機能を停止できる。これは、例えば、 もし、プロセッサ＃＿１１２ｂが通信できる全プロセッサ＃＿１１２も取り除か れ、プロセッサ＃＿１１２ｂがステージIVに入る前に停止するならば起こり得る 。プロセッサ＃＿１１２ｂが、それがある時間が経過した後に進行していないこ とを検知すると、再グループ化オペレーションが再開する。上述のように、この 再開により、プロセッサ＃＿１１２ｂはそれ自体をすぐに強制終了する。 取り除かれたプロセッサ＃＿１１２がステージIIIで機能を停止している間に 、迅速に、残存しているプロセッサ＃＿１１２は再グループ化を完了し、取り除 かれたプロセッサ＃＿１１２が停止していることを示すので、切り離されてしま った取り除かれたプロセッサ＃＿１１２を有するシステムは、スプリット−ブレ ーン状態を一時的に体験する。しかしながら、これはデータの破損を引き起こさ ない。何故ならば、これらのプロセッサ＃＿１１２は、再グループ化オペレーシ ョンのステージＩからIIIまでの間、全Ｉ／Ｏトラフィックを中断するからであ る。 上述のような事前に存在するステージIIIは、本発明の再グループ化オペレー ション中の本ステージIVのリマインダーを成す。ステージＶ及びＶＩ 本発明の再編成操作のため、前から存在するステージＩＶ及びＶが、Ｖ及びＶ Ｉに番号を付け替えられる。到達不能プロセッサのマスクの維持 もし、プロセッサ＃＿１１２が、他のプロセッサ＃＿１１２へのどの冗長な経 路も通過しているパケットがないことを検出すると、それは、他のプロセッサ＃ ＿１１２に対応する到達不能プロセッサの遮蔽のビットを論理的ＴＲＵＥに設定 する。しかし、新しい再編成動作は開始しない。再編成動作は、一般的なＩ／Ｏ を一時停止させるので、マルチプロセッサシステムは、そのような再コンフィグ レーションを行う、最小の時間だけを費やすべきである。再編成動作は、リンク 失敗によるＩａｍＡｌｉｖｅｓの欠如を検出するために十分早めに開始するであ ろう。 到達不能プロセッサの遮蔽は、上述のようにステージＩＩで使用される。その 遮蔽はステージＩＩＩまで維持される。 再編成がステージＩＩＩにあるとき、いずれかのノード枝刈り(node pruning) は既に発生しており、従って新しいグループは自己刈り捨て(self-pruned)を行 った。その遮蔽は検査される。新しいグループがローカルプロセッサ＃＿１１２ 及び到達不能プロセッサ＃＿１１２の両方を含むならば、再編成動作が再開始さ れる。 この複雑そうに見える方法は、リンク失敗が検出されたそれぞれのときに再編 成を再開始させるのに好適であるが、それは前者が、再編成パケットの送出のた めに検出されるものの、実際には再編成動作が開始された前に発生していた複数 のリンク失敗により、再編成動作が多くの回数再開始することを防止するからで ある。好適な実施形態では、再編成が進行するにつれてますます悪化する深刻な 連結性(connectivity)の問題だけでなく再編成ソフトウェアのバグも検出するた めに、再編成動作が一度も完了することなく３回より多く再開始したならば、プ ロセッサ＃＿１１２は停止する。 再編成動作が開始した後にリンクが確立されると、手順へのそれの効果は、そ の手順がどこまで進行していたかに依存する。リンクが時間内に確立され、連結 ブレーカ(tie breaker)がリンクは動作していると判断したなら、そのリンクは ”残存(survive)”する（すなわち、該リンクが接続されたプロセッサ＃＿１１ ２の１つは、確実な死を免れる）。再編成パケットは両方向に進まなくてはなら ず、またこの事実は、連結ブレーカがリンクは良好であると判断する前に、連結 ブレーカに伝達されなくはならない。再編成動作でリンクの状態の変化が発生す るのが非常に遅く、連結ブレーカがそれを検出できない場合は、該リンクはダウ ンしていると判断され、該リンクに接続されるプロセッサ＃＿１１２の少なくと も１つは殺される。この排除は容認できる。そのため、リンク失敗の結果とは異 なり、リンクを確立した結果は再編成とは言えない。再開始 再編成動作のステージを進行させるため、プロセッサ＃＿１１２は、それが以 前に受けていたプロセッサ＃＿１１２から受ける必要がある。再編成動作が開始 した後に、もしプロセッサ＃＿１１２又は通信リンクが作動しなくなった場合は 、該プロセッサ＃＿１１２は、ステージＩの後の任意のステージで停止すること ができる。そのため、タイマ（図示せず）は進行の停止を検出する。プロセッサ ＃＿１１２は、それが再編成動作のステージＩＩに入るときにタイマを開始させ 、再編成動作が安定したときステージＶＩに入る際に該タイマをクリアする。も し該タイマが、アルゴリズムが終了する前に満了すると、プロセッサ＃＿１１２ は再編成動作を再開始する（すなわち、ステージＩに再び入る）。 プロセッサ＃＿１１２が新しいグループに入り、他のプロセッサ＃＿１１２が 死んでいることを表明した後は、再編成動作が再開したとき、追放されたプロセ ッサ＃＿１１２が戻ることは許されない。プロセッサ＃＿１１２は、それがステ ージＩＶに入るとき、新しいグループに入る。ステージＩＩで知られたプロセッ サの接続されたグラフ中のすべてのプロセッサ＃＿１１２がステージＩＩＩに入 つて、枝刈り結果変数をその関わるグループに設定した後のみに、それは行われ る。再編成動作が今開始したなら、すべての枝刈り除外されたプロセッサ＃＿１ １２は、枝刈り結果変数がそれらは除外されたことを示すため、それら自身を殺 す。連結されたグラフ中にない（ステージＩＩで）プロセッサ＃＿１１２は、ス テージＩＩで知られたプロセッサ＃＿１１２の中にないため、グループに加わる ことはできない。 メッセージ消去動作は、アルゴリズムが何回再開始を通過するかに関わらず、 正確に遂行されなくてはならない。再編成及びタイマ不全の検出 スプリットブレーン回避(split-brain avoidance)及び／又はノード枝刈りプ ロトコルと、独立して又はそれと共に、複数プロセッサシステムは、タイマ満了 がないことを、以下のようにして検出できる。再編成アルゴリズムを走らせてい るプロセッサ＃＿１１２は、該プロセッサ＃＿１１２がタイマの動作(tick)を受 けるまでは、ステージＩを通して前進しない。もしプロセッサが、オペレーティ ングシステムデータ構造（例えば、時間リスト）にエラーを持ち込んだとしたら 、再編成エンジンは、それの周期的動作を受けず、またステージＩより先に前進 しないであろう。malatoseプロセッサ＃＿１１２は、それがステージＩに入った ことを示さないため、他のプロセッサはそれがダウンしていることを表明するで あろう。ステージＩＩの再編成メッセージ、又はプロセッサが除外されたことを 示す有害なパケットを受信すると、その欠陥のあるプロセッサは停止する。 スプリットブレーンの回避(split-brain avoidance)及びノード枝刈りシナリ オでは、連結性マトリックス(connectivity matrix)は、好適にはＫＮＯＷＮ＿ ＳＴＡＧＥ＿ｎ変数＃＿７５０を含む。これらの実施形態では、プロセッサ＃＿ １１２は、それがタイマ動作を受けるまでは、それの連結性マトリックスＣを更 新しない。訂正されたシナリオ 上述の５プロセッサ及び２プロセッサシナリオへの本発明の適応が以下に記載 される。 図２は、５プロセッサマルチプロセッサシステム２００を論理的に表現してい るグラフ２００である。図２のグラフ２００は、完全に接続されている。システ ム２００を図４のグラフ４００に分ける通信障害か発生すると、各プロセッサ１ １２は、上述のスプリット−ブレイン回避方法論を適用する。例えば、プロセッ サ２は、例えば、プロセッサ３からのＩａｍＡｌｉｖｅ（私は生きている）メッ セージを受け取ることに失敗したことに気づく場合がある。すると、プロセッサ ２は再グループオプレーションを開始する。この再グループオペレーションのス テージＩにおいて、プロセッサ２は、内部タイマーを始動し、その連結性マトリ ッククＣをリセットし、Ｉ／Ｏ動作を中断する。次に、プロセッサ２は再グルー プメッセージを送り、再グループメッセージを受信し且つ比較し、よって、その 連結性マトリックスＣを更新する。プロセッサ２は、プロセッサ１及び５からの 再グループメッセージを受信する。これらの再グループメッセージはプロセッサ ３及び４の存在を示す。適当な制限時間に到達すると、プロセッサ２はステージ ＩＩに進む。 ステージＩＩにおいて、完了した直前の再グループオペレーションの終了時に プロセッサ１が最小番号プロセッサ１１２であったという理由から、プロセッサ ２はプロセッサ１をタイブレーカー（ｔｉｅ−ｂｒｅａｋｅｒ）プロセッサ１１ ２に選択する。 プロセッサ２は次にスプリット−ブレイン回避方法論を適用する。プロセッサ ２は、それが属するプロセッサ１１２のグループが、この再グループオペレーシ ョンが始まる以前に存在したプロセッサの半分以上を有することを認識する。従 って、プロセッサ２はオペレーションを続行する。 実際、そのグループは、システム４００内のプロセッサ１−５の５つ全てを有 する。プロセッサ１−５の５つ全てがこの時点でオペレーションを続行する。プ ロセッサ１−５の５つ全てがプロセッサ１をタイブレーカーに選択する。 このタイブレーカープロセッサ１は、再グループメッセージを送るために合理 的な時間が経過する迄、又は連結性マトリックＣが全ての経路が切断しているこ とを示すまで、ステージＩＩで待機する。ここで、仮定として、全ての経路が切 断していなく、タイブレーカープロセッサ１が合理的な時間ステージＩＩで待機 するとする。次に、このプロセッサ１は、ノード枝刈り方法諭を用いて、再グル ープオペレーションに生き残るために、プロセッサ１１２の最終グループを決定 する。次に、プロセッサ１は、この決定を反映するノード枝刈り結果変数セット を有するステージＩＩＩ再グループメッセージで前記決定を分配する。プロセッ サ２−５は、枝刈り結果変数セットを有するこの再グループメッセージを受信す るまでステージＩＩで待機する。 メモリ駐在連結性マトリックスＣを入力として使用して、タイブレーカーは、 全ての停止プロセッサの組を計算する。この組は、ヌルセットである。マトリッ クスＣの正準形式への変換は、このマトリックスを不変に保つ。タイブレーカー は、切断の組を｛（２，３）、（２，４）、（３，２）、（４，２）｝であり、 Ｄ＝４であると算出し、これらの切断を生きているプロセッサ｛１，２，３，４ ，５｝の組に適用する。従って、完全に接続したサブグラフの最大の数は２であ る。 生き残りの基準に依存して、２つのグループの何れかが生き残ることができる 。この基準が最大のグループであれば、タイブレーカーは生き残りのためにグル ープ｛１，３，４，５｝を選択する。この基準が最小番号のプロセッサであれば 、 （例えば、タイブレーカーを選ぶのに使用された前の基準により、又は一つのグ ループをランダムに選択することにより）何れかのグループが生き残ることがで きる。プロセッサ２が最高優先順位プロセスを実行する場合、タイブレーカーは 生き残りのためのグループ｛１，２，５｝を選択することがてきる。これらは、 上述された関連特許出願に開示される基準の幾つかの単に幾つかの例であるか、 又は当分野で良く知られている。グループ｛１，３，４，５｝が生き残ると仮定 する。 タイブレーカープロセッサは、それが送り出す次の再グループメッセージ内の ノード枝刈り変数をセットすることによりこの決定を通信する。このメッセージ の送りは、タイブレークがステージＩＩＩにあることを示す。メッセージの受信 は（直接的又は間接的に）他のプロセッサ２−５をステージＩＩＩに同様に入れ る。ステージＩＩＩ内の全てのプロセッサ２−５の枝刈り結果変数は、同じ値を 保持し、プロセッサ１，３，４及び５がオペレーションを続行すべきであり、プ ロセッサは２はオペレーションを停止すべきであることを示す。プロセッサ１− ５の各々は、それぞれが発生する再グループメッセージ内でこの枝刈り結果を中 継する。 プロセッサ１−５の各々は、ステージＩＩで、各プロセッサに知られているプ ロセッサ１１２の全てがステージＩＩＩに入ったことを示す再グループメッセー ジを集め、次に、プロセッサはステージＩＶに入り、枝刈り結果に到達する。こ のステージで、プロセッサ２はオペレーションを停止する。再グループオペレー ションは完了するまで続行する。プロセッサ１，３，４及び５の最大の完全に接 続されたグループは、新たに再構成されたシステムとして、オペレーションを続 行する。 図３は、２プロセッサマルチプロセッサシステム３００を論理的に表現してい るグラフ３００である。図３のグラフ３００は、完全に接続されている。システ ム３００を図５のグラフ５００に分ける通信障害か発生すると、各プロセッサ１ １２は、他のコンピュータに、到達可能なプロセッサのマスク内に到達不可能で あるとマークして、上述のスプリット−ブレイン回避方法論を適用する。例えば 、プロセッサ１は、例えば、プロセッサ２からのＩａｍＡｌｉｖｅ（私は生きて い る）メッセージを受け取ることに失敗したことに気づく場合がある。すると、プ ロセッサ１は再グループオプレーションを開始する。この再グループオペレーシ ヨンのステージＩにおいて、プロセッサ１は、内部タイマーを始動し、その連結 性マトリッククＣをリセットし、Ｉ／Ｏ動作を中断する。次に、プロセッサ１は 再グループメッセージを送り、再グループメッセージを受信し且つ比較し、よっ て、その連結性マトリックスＣを更新する。このシナリオにおいて、しかしなが ら、プロセッサ１はこの様な再グループメッセージを受信しない。適当な制限時 間が経過した時に（且つプロセッサ１自体がオペレーションを続行するのに十分 なリソースを有し、適当な場合）、プロセッサ１は、ステージＩＩに進む。 ステージＩＩにおいて、完了した直前の再グループオペレーションの終了時に プロセッサ１が最小番号プロセッサ１１２であったという理由から、プロセッサ １はプロセッサ１自身をタイブレーカー（ｔｉｅ−ｂｒｅａｋｅｒ）プロセッサ １１２に選択する。 プロセッサ１は、その後、スプリットブレイン回避方法論を適用する。プロセ ッサ１は、それがその一部であるプロセッサ＃＿１１２のグループが、リグルー プオペレーションが始まる前に存在していたプロセッサ＃＿１１２の１／２より も大きくもなく小さくもないことを認識する。そのグループは、前に存在してい たプロセッサ＃＿１１２の正確に１／２であり、そのプロセッサは、それ自体が オペレーションを続行するための決定点としてのタイブレーカプロセッサ＃＿１ １２である事実を使用する。 タイブレーカでなければ、プロセッサ２は、タイブレーカプロセッサ１の状態 をチェックするように試みる（或る実施例では、サービスプロセッサを使用して ）タイプレーカの状態が決定される場合には、プロセッサ２がタイブレーカが健 全であることを認識する。プロセッサ２は、停止する。 タイブレーカプロセッサ１の状態が決定されない場合には、プロセッサ２がア ンリーチャブルプロセッサのマスクをチェックする。タイブレーカがアンリーチ ャブルとマークされることに留意して、プロセッサ２はタイブレーカが健全に停 止したと仮定する。 そこで、タイブレーカプロセッサ１は、プロセッサが停止している間オペレー ションを続行する。 プロセッサ１は、それ自身をタイブレーカプロセッサ＃＿１１２として選択し 適当な時間が経過するまでステージIIに留まる。（プロセッサ２は、通信故障が 発生しプロセッサが停止したときにRegroupメッセージを送ることができないし 実際送らない。） プロセッサ１は、枝刈りプロセスを適用し、リグープオペレーション後も生き 残るプロセッサ＃＿１１２のグループを決定する。メモリレジデント連結性マト リックスＣを入力として使用することにより、タイブレーカは、全ての死んだプ ロセッサのセット｛２｝を計算し、そのマトリックスＣをカノニカルフォームに 変換する。この変換は、プロセッサ１だけを含む１×１マトリックスを残す。タ イブレーカは、切断のセットをD＝２の場合、セット｛（１、２）、（２、１） ｝として計算する。しかしながら、生きているプロセッサ｛１｝のセットは、プ ロセッサ２を含まないので、そのセットにこれらの切断を適用するのは何の効果 もない。最大限の完全に接続されたグラフの数は１であり、タイブレーカは、そ れだけか生き残るであろうことを示すその枝刈り結果変数をセットする。タイブ レーカは、この結果をその後続のRegroupメッセージで通信し、したがって、Sta geIIIおよびIVを通過する。システム＃＿５００はリグループオペレーションを 完了し、プロセッサ１だけを実行しながらオペレーションを続行する。 最後に、再び論理マルチ−プロセッサシステム＃＿２００について考えよう。 今、プロセッサ２は、その時間リストの破損を経験し、タイマー満了割り込みを 受け取ることに失敗し、必要なIamAliveメッセージを送る能力を失っている。失 われたIamAliveメッセージを他のプロセッサ１または３〜５のいずれかにより検 出することにより、リグループオペレーションが開始される。 上記したようなリグループオペレーションのStageＩでは、本発明の一実施例 に従って動作するプロセッサ１〜５は、それぞれ、タイマー満了割り込みを受け 取るまでそれぞれのStageＩRegroupメッセージを送ることを控える。従って、プ ロセッサ１及び３〜５は、StageＩRegroupメッセージを容易に送り続ける。 仮説により、プロセッサ２はタイマー割り込みを受け取らず、従って、Stage ＩRegroupメッセージを決して送らない。他のプロセッサ１及び３〜５は、それ らのそれぞれのKNOWN＿STAGE＿１変数＃＿７５０ａ（及び／又はそれらのそれぞ れの連結性マトリックスＣ）を更新し、プロセッサ１及び３〜５の健全性及びプ ロセッサ２の明らかな死を表示する。或る所定時間だけプロセッサ２を待った後 、プロセッサ１及び３〜５はStageIIへ進む。 StageIIでは、プロセッサ１及び３〜５は、今、StageIIRegroupメッセージを 通信している。プロセッサ１及び３〜５は、健全であり、プロセッサ２は、依然 としてマラトス（malatose）であり、StageIIRegroupメッセージは、最終的にこ の状態を表す。KNOWN＿STAGE＿２変数＃＿７５０ｂは、KNOWN＿STAGE＿１変数＃ ＿７５０ａに等しくなる。 仮定により、プロセッサ２は依然としてプロセッサ１及び３〜５からRegroup メッセージを受け取っている。それは、最終的に、KNOWN＿STAGE＿１及び＿２変 数＃＿７５０ａ、＃＿７５０ｂが等しく、プロセッサ２を除外するStageIIRegro upメッセージを受け取る。プロセッサ２はこのタイプのStageIIRegroupメッセー ジを通知して停止する。 プロセッサ１及び３〜５はリグループオペレーションの残りに進み、システム N＿２００’を形成する。今、システムＮ＿２００を周期的に混乱させるプロセ ッサ２から失われたIamAlivesの代わりに、システムN＿２００’はプロセッサ２ を共に除外する。（また、プロセッサ２は死んでおり、従って無害である。） もちろん、ここで開示した発明を組み込んだソフトウェアのプログラムテキス トは、磁気的、光学的または他のディスク；ＲＯＭ、ＲＡＭＮ又は別の集積回路 ；磁気テープ、又は別のデータ記憶媒体に、その静的な形態で存在してもよい。 そのデータ記憶媒体は、コンピユータシステムと一体であってもよいし挿入可能 であってもよい。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 バサヴァイアー ムラリー アメリカ合衆国 カリフォルニア州 94086 サニーヴェイル イースト エヴ リン アベニュー 825―＃216 (72)発明者 クリシュナクマー カルール エス アメリカ合衆国 カリフォルニア州 95111 サン ホセ イースト ブラーナ ム レーン 341 (72)発明者 マーティー スリニヴァサ ディー アメリカ合衆国 カリフォルニア州 95131 サン ホセ ゴールデンレイク ロード 1410

Claims (1)

1. 【特許請求の範囲】 １．複数のプロセッサを有している多重プロセッサシステムにおいて、各前記複 数のプロセッサは、それぞれメモリを有しており、前記多重プロセッサシステム におけるプロセッサメンバーシップに分散的に同意する方法であって、 前記複数のプロセッサを通信的に接続し； 次いで通信故障を検出し； 次いで前記複数のプロセッサのいずれがまだ動作しておりかつまだ通信的 に接続されているかをまだ動作している該複数のプロセッサのそれぞれで第1に 決定することを試みて、前記多重プロセッサシステムの前記各プロセッサのそれ ぞれのビューを決定し； 次いでまだ動作している前記各プロセッサが動作を継続するか又は動作を 停止するかをまだ動作している前記各プロセッサで第２に決定し、前記第２の決 定は、前記多重プロセッサシステムの前記各プロセッサのそれぞれのビューに基 づくものであり； 次いで前記第2の決定により前記各プロセッサの動作を継続又は停止し； 前記複数のプロセッサの第1のプロセッサの連結性情報を収集し；かつ 次いで収集した前記連結性情報に基づいて、動作を打ち切るべく前記複数 のプロセッサのあるものを前記第1のプロセッサで選択する段階を具備すること を特徴とする方法。 ２．複数のプロセッサを有している多重プロセッサシステムにおいて、各前記複 数のプロセッサは、それぞれメモリを有しており、前記多重プロセッサシステム におけるプロセッサメンバーシップに分散的に同意する方法であって、 前記複数のプロセッサを通信的に接続し； 次いで通信故障を検出し； 次いで前記複数のプロセッサのいずれがまだ動作しておりかつまだ通信的 に接続されているかをまだ動作している該複数のプロセッサのそれぞれで第１に 決定することを試みて、前記各プロセッサを第1から第2のステージへのそれぞれ の進行を含んでいる方法の対象とし、前記各プロセッサを前記第1のステー ジに最初に配置することを含んでいる、前記多重プロセッサシステムの前記各プ ロセッサのそれぞれのビューを決定し； 次いで前記複数のプロセッサの一つのプロセッサの進行の状態を送り； 前記一つのプロセッサの前記進行の状態を前記複数のプロセッサの第2の プロセッサで受け取り； 前記受け取りの後、時間満了の通知が前記第2のプロセッサで発生したな らば当該第2のプロセッサの状態を更新し； その状態が更新された各プロセッサを前記第2のステージにそれぞれ進行 させ； 前記第2のプロセッサが前記第1のステージから進行することに失敗した場 合にタイマの時間満了が前記第2のプロセッサで故障したことそれゆえに前記第2 のプロセッサが動作することを効果的に打ち切ったことを決定し；かつ 次いでまだ動作している前記各プロセッサが動作を継続するか又は動作を 停止するかをまだ動作している前記各プロセッサで第２に決定し、前記第2の決 定は、前記多重プロセッサシステムの前記各プロセッサのそれぞれのビューに基 づくものであり； 次いで前記第2の決定により前記各プロセッサにおける動作を継続又は停 止する段階を具備することを特徴とする方法。 ３．複数のプロセッサを有している多重プロセッサシステムにおいて、各前記複 数のプロセッサは、それぞれメモリを有しており、前記多重プロセッサシステム におけるプロセッサメンバーシップに分散的に同意する方法であって、 前記複数のプロセッサを通信的に接続し； 前記複数のプロセッサのそれぞれを第1から第2のステージへのそれぞれの 進行を含んでいる方法の対象とし、前記各プロセッサを前記第1のステージに最 初に配置し； 前記複数のプロセッサの第1のプロセッサの進行の状態を送り； 前記第1のプロセッサの前記進行の状態を前記複数のプロセッサの第2のプ ロセッサで受け取り； 前記受け取りの後、時間満了の通知が前記第2のプロセッサで発生したな らば当該第2のプロセッサの状態を更新し； その状態が更新された各プロセッサを前記第2のステージにそれぞれ進行 させ； 前記第2のプロセッサが前記第1のステージから進行することに失敗した場 合に連結性情報を送ることを失敗しかつ前記第2のプロセッサが動作することを 効果的に打ち切ったことを決定し； 前記複数のプロセッサの第３のプロセッサの連結性情報を収集し；かつ 収集した前記連結性情報に基づいて、動作を打ち切るべく前記複数のプロ セッサのあるものを前記第３のプロセッサで選択する段階を具備することを特徴 とする方法。 ４．複数のプロセッサを有している多重プロセッサシステムにおいて、各前記複 数のプロセッサは、それぞれメモリを有しており、前記多重プロセッサシステム におけるプロセッサメンバーシップに分散的に同意する方法であって、 前記複数のプロセッサを通信的に接続し； 次いで通信故障を検出し； 次いで前記複数のプロセッサのいずれがまだ動作しておりかつまだ通信的 に接続されているかをまだ動作している該複数のプロセッサのそれぞれで第1に 決定することを試みて、前記各プロセッサを第1から第2のステージへのそれぞれ の進行を含んでいる方法の対象とすること、前記各プロセッサを前記第1のステ ージに最初に配置することを含んでいる、前記多重プロセッサシステムの前記各 プロセッサのそれぞれのビューを決定し、； 次いで前記複数のプロセッサの一つのプロセッサの進行の状態を送り； 前記一つのプロセッサの前記進行の状態を前記複数のプロセッサの第2の プロセッサで受け取り； 前記受け取りの後、時間満了の通知が前記第2のプロセッサで発生したな らば当該第2のプロセッサの状態を更新し； その状態が更新された各プロセッサを前記第2のステージにそれぞれ進行 させ； 前記第2のプロセッサが前記第1のステージから進行することに失敗した 場合にタイマの時間満了が前記第2のプロセッサで故障したことそれゆえに前記 第2のプロセッサが動作することを効果的に打ち切ったことを決定し；かつ 次いでまだ動作している前記各プロセッサが動作を継続するか又は動作を 停止するかをまだ動作している前記各プロセッサで第２に決定し、前記第2の決 定は、前記多重プロセッサシステムの前記各プロセッサのそれぞれのビューに基 づくものであり； 次いで前記第2の決定により前記各プロセッサにおける動作を継続又は停 止し； 前記複数のプロセッサの第３のプロセッサの連結性情報を収集し；かつ 収集した前記連結性情報に基づいて、動作を打ち切るべく前記複数のプロ セッサのあるものを前記第３のプロセッサで選択する段階を具備することを特徴 とする方法。