JP2001518660A - 多重ノードクラスタにおける多重プロセッサノードの逐次及び確実な始動及び／又は再ロード方法 - Google Patents

Abstract

(57)【要約】 システムユーザに対して、唯一のイメージ視野を示すためのクラスタとして構成され、相互に連結された対称多重プロセッシング（ＳＭＰ）のグループを含むプロセッシングシステムである。特に、本発明は、各ＳＭＰシステムの各プロッセッサユニットに関して、矛盾のない確実な方法で、個別に独立した実行環境を生成することに関する。

Description

【発明の詳細な説明】

【０００１】 （発明の背景） 本発明は、概ね、システムユーザに対して、唯一のイメージ視野を示すための
クラスタとして構成され、相互に連結された対称多重プロセッシング（ＳＭＰ）
のグループを含むプロセッシングシステムに関する。特に、本発明は、各ＳＭＰ
システムの各プロッセッサユニットに関して、安定した確実な方法で、個別に独
立した実行環境を生成することに関する。 最近、重要機能（緊急電話システム、直接援助要請、セルラー電話、インター
ネット・トラフィックなど）と同様に、有価証券取引、自動窓口機、クレジット
カード取引のような企業にとって重要な通信は、多重プロセッサを利用する通信
環境に大いに依存している。多数の多重プロセッサ・アーキテクチャが存在し使
用されいるが、「クラスタ」と称される一つの多重プロセッサ・アーキテクチャ
は、かなりの人気を博している。一般にクラスタは、高い性能と信頼性を提供す
るために、単一のものとして一体となって作動する多数の独立システム（「ノー
ド」）である。クラスタリングは、活性ノードが故障ノードから持ち直すことを
可能にする故障に強い仕組みを組み込むことができ、高い信頼性、幅広い拡張性
および耐故障性のものを提供できる。さらに、システム・リソースが常に利用可
能であり、ノードは、「ホット・バックアップ」と呼ばれているような故障発生
に関連してアイドル状態にされる必要がない。

【０００２】 最近では、クラスタ・システムの一つまたは複数ノードを形成するために、多
重プロセッサユニットを使用するように、さらに対称多重プロセッサ（ＳＭＰ）
システムを構成するようにクラスタリング・コンセプトが拡大している。クラス
タにおけるＳＭＰベースのノードの組合わせが、両方の可能世界を提供する。つ
まり、前述のように、他の重要機能と同様に、企業にとって重要な通信に利用で
きる、強力な並行ソフトウエアと相互に連結している信頼性と拡張性があるアー
キテクチャである。 しかしながら、ＳＭＰシステムには拡張性の制約がある。ＳＭＰシステムが、
Windows NTオペレーティング（Windows, NT,およびWindows NTはマイクロソフト
社、Redmond, Washingtonの商標である）、またはUNIXオペレーティングシステ ムに基づいている場合、これらはメモリ体を共有している。多重プロセッサの間
で、メモリまたは別のリソースを共有する場合、付加プロセッサはリソース競合
をもたらすことがある。つまり、ＳＭＰシステムの拡張性を高める（つまりプロ
セッサユニットを追加する）必要が有り、プロセッサユニットがＳＭＰ構成のノ
ードに追加されると、メモリ競合の問題が、対応する能力、性能およびノード間
の仕事量のバランスを妨げることがなくなる。

【０００３】 （発明の概要） 第1の例において、本発明は、ＳＭＰシステムとして構成された、クラスタノ ードの各プロセッサユニットのための、個別に独立した実行環境を確立する方法
を提供するものである。本発明の方法はこれらの実行環境を所定の順番で生成す
るものである。

【０００４】 広義には、この方法はクラスタノードを順番を決定して、この順番に従って、
その順番の最初のクラスタノードの最初のプロセッサユニットから始動／再ロー
ド処理を開始する。この始動／再ロード処理は、まず最初に、その最初のプロセ
ッサユニットと関連性のある監視（ＭＯＮ）プロセスを生成する。次に、ＭＯＮ
プロセスがノードの共有メモリ内にメモリ・セグメント領域を生成するが、ある
意味では、メモリセグメント領域に対して相互に排他的に第1のプロセッサユニ ットを確立するのである。また、ＭＯＮプロセスは、コーディネータ・プロセス
で表され、始動／再ロード処理の催促を監視し助ける義務を有する第２の監視（
ＭＯＮ２）プロセスを生成する。次に、ＭＯＮとＭＯＮ２プロセス、およびメモ
リセグメント領域が、第１ノードの残りのプロセッサで生成され、これが完了す
ると、最初に決められた順番によって、第２ノードで始動／再ロード処理が行わ
れる。ＭＯＮとＭＯＮ２プロセス、およびメモリセグメント領域がこの第２ノー
ドの各プロセッサユニットで生成され、その後、第３、第４ノードで同様に生成
される。

【０００５】 この処理はクラスタの全てのノードが、クラスタの各ノードの各プロセッサユ
ニットのための個別に独立した実行環境を生成する、始動／再ロードオペレーシ
ョンの支配を受けるまで続く。さらに、始動／再ロードオペレーションの完了の
結果として、各ノードが、各クラスタシステムの各ノード、該ノードの各プロセ
ッサユニットの識別子を有するようになり、この情報は、信号システムを実施す
る上で各クラスタシステムのプロセッサユニットに必要なものである。

【０００６】 本発明の第１の実施の形態によれば、クラスタは、クラスタの適切な状態の監
視を続ける、継続的な耐故障性オペレーションを実現するものである。ノードが
故障した場合には、本発明では故障ノードと該ノードのプロセッサユニットとの
識別子を取り除き、さらに取り除かれた識別を、各ノードの信号システムイメー
ジが故障ノードの消滅を示すように、システムの別のノードに分散する。さらに
、如何なる故障ノードのプロセッサユニットで開始された、如何なる取引も別の
場所に送られて、作業が完全に停止するか、または、その後故障ノードが再確立
された場合にはこの故障ノードに戻される。ノードが再び現れた場合には、本発
明の方法によれば、前記と同じ方法で再度そのノードに関して始動／再ロード行
うことができ、このことに加え、中断されずに残っている如何なる取引もノード
のプロセッサユニットに戻される。

【０００７】 本発明の利点は、クラスタシステムのプロセッサユニットで行われる、各取引
と各取引の状態とを監視し追跡するために、一つのノードの主取引監視プロセス
Ｐ＿ＴＭＦを動かすための取引監視機能（ＴＭＦ）を、クラスタシステムに準備
することである。バックアップ取引監視プロセス（Ｂ＿ＴＭＰ）が、クラスタシ
ステムの他のノード（Ｐ＿ＴＭＰが動いているノードとは異なる）で利用できる
。分散取引、取引の追跡状態に関しており、中断するかまたは拘束するために故
障と直面する取引に関するＰ＿ＴＭＰ取得権を有する別の情報については、米国
特許番号5,590,275、出願番号08/346,603（1995年1月23日出願）、およびこの出
願と同時出願の米国出願番号 （代理人整理番号10577-423）とに見 出すことができる。

【０００８】 （本発明の詳細な説明） 図面を参照して、まず特に図１を参照すると、通信網１４により相互に接続さ
れたノード１２のクラスタシステム１０として構成された、プロセッシングシス
テムが示されている。４個のノード１２だけが示されているが、これ以上のノー
ドを含むことができることは当業者にとって自明である。例えば、クラスタシス
テム１０を１６個のノードを有するよう設計しても良い。また、米国特許第5,57
4,849で教示されているように、通信網１４はルータ・ベースシステムのエリア ・ネットワーク構成を利用することが好ましいが、他のネットワーク構成も利用
できる（例えば、トークン・リング、ＦＤＤＩ、エサーネットなど）。

【０００９】 各ノード１２は、バス構造２６によってメモリ素子２２に接続された、一つま
たはそれ以上のプロセッサユニット２０を含んでいる。符号Ａ，ＢおよびＣのノ
ードのように、各ノード１２は２個以上のプロセッサユニットを含むことが好ま
しく、またはノード符号Ｄ示されているように単一のプロセッサユニットを含む
こともできる。ノード１２は最大８個のプロセッサユニット２０を含むことがで
きるが、拡張設計によりこれ以上のノード使用できる。図１には、図面および検
討が過度に複雑にならないように、全てのノード１２に関して最大４個のプロセ
ッサユニット２０が示されている。これらのノード１２は、２個以上のプロセッ
サユニット２０を有しており、例えば、Windows NTオぺレーティングシステムの
もとで作動するＳＭＰシステムとして構成することが好ましい。ノード１２の多
重プロセッサユニット２０が、ＳＭＰシステムとして構成されているので、ノー
ドのメモリ素子２２を共有することになる。しかし、単一のプロセッサユニット
２０を備えた一つまたはそれ以上のノード１２（例えばノードＤ）が存在する。
ノードＤはWindows NTオぺレーティングシステムのもとで作動する必要はないが
、付加的なプロセッサユニット２０を付加することは、一貫性と互換性よりむし
ろ拡張性に好ましいものである。

【００１０】 各ノード１２は「完全疎結合（Shared nothing）」コンセプトを用いて構成さ
れている。つまり、各ノードは、例えば図１に磁気ディスク装置３０によって示
される、それ自体の入力／出力装置を備えた、個別に独立な通信システムである
。磁気ディスク装置３０のみが示されているが、各ノード１２のＳＰＭシステム
は、磁気ディスクに加えて、別の入力／出力装置（例えば、通信コントローラ、
プリンタ、ワークステーション・インターフェイスおよび関連のワークステーシ
ョン）を含むことができる。

【００１１】 本発明から離れて、クラスタシステム１０のアーキテクチャは、現行の公衆ネ
ットワーク、オンライン取引プロセッシング（ＯＬＴＰ）を介する専用双方向通
信のような、取引プロセッシングのための社会基盤を形成することに適している
。ＯＬＴＰアプリケーションがエンドユーザに継続的に利用可能であると共に、
ユーザデータの複雑な完全保護を要求するＯＬＴＰに対して、多くの市販のアプ
リケーションを利用できる。例えば、銀行の自動窓口機（ＡＴＭｓ）は卓越した
完全性（つまり万一エラーがあっても最小限にする）をもつ必要があり、さらに
ＡＴＭｓはユーザが長期間にわたって利用できなければならない。ＡＴＭユーザ
は、彼らの取引に関連した間違い（例えば、＄500.00の預金がユーザの口座に払
い戻されない）を容認することはない。さらに、しばしば１日２４時間、週７日
、ユーザが利用できることが好ましい。図１のクラスタシステム１０のようなア
ーキテクチャはこれらの目的に大変役立つものである。

【００１２】 「取引」は従来、明白に説明された手順、または関連手順であり、これはデー
タベースの内容または、あるデータ構造を矛盾のない状態から他の状態へ変更す
るものである。取引の範囲内でデータベースのオペレーションは単一ユニットと
して生成される。取引による全ての変更は永久に記憶されるか、または、どの変
更も永久に記憶されない（つまり取引が中断される）ものである。取引の実行中
に故障が発生した場合、データベースのどのような部分的変更も自動的に取消さ
れ、データベースが矛盾のない状態とされる。ＴＭＰの義務は、取引を行うプロ
セッサユニットのみならずＴＭＰの構成要素（例えばＰ＿ＴＭＰ）で監視され追
跡されるシステム（例えば、クラスタ１２のプロセッサユニット２０）により開
始される、多数の継続中の取引を保証することである。取引が行われているプロ
セッサユニット２０が故障した場合、Ｐ＿ＴＭＰが取引を引き継いで、これを中
断するか、または取引がその履行の中で十分に進んでいる場合は取引を記憶する
。各取引の追跡には、取引を開始し、取引の「状態」を適時定める各プロセッサ
ユニット２２によって共有メモリに保存される、種々のテーブルデータ構造が必
要である（つまり、如何なる別のプロセッサおよび／またはプロセッサユニット
も含まれており、例えば先に引用した出願番号08/376、603を参照のこと）。Ｔ ＭＰは、クラスタで行われる全ての取引に関する同様のＴＣＢを保存する。

【００１３】 本発明の方法が、各々に対して別個の独立した実行環境を確立するようにプロ
セッサユニット２０を始動する。さらに、始動オペレーションは、実行環境が全
て完了することを保証し、プロセッサユニット２０が未完了の始動状態になるこ
とはない。これを実現するために、単一の「コーディネータ」プロセスがプロセ
ッサユニット２０の一つに生成される。コーディネータ・プロセスは、始動／再
ロードオペレーションが完了した場合に、プロセッサユニット２０が部分的なロ
ード状態にならないことを保証するよう、ＴＭＦのための各ノード１２の各プロ
セッサユニット２０を逐次初期化する、始動／再ロードオペレーションに積極的
に参加する。その後、ノード故障が検出されれば、コーディネータ・プロセスが
、故障ノード１２と、そのプロセッサユニット２０の識別子の規則正しい除去を
管理するものである。

【００１４】 コーディネータ・プロセスの位置（つまり、コーディネータ・プロセスが作動
し、または密接な関係があるプロセッサユニットのクラスタ内での識別）は、最
終的にクラスタシステム１０の全体にわたって分散される。

【００１５】 図１に戻って、電力がまずクラスタシステム１０に印加されると、示されたよ
うにＮＴオペレーションシステムの下で、各々のプロセッサユニット２０が自動
的に立ち上がる。従来のように何時か、ユーザがＴＭＦのためのクラスタシステ
ム１０を構成することを可能にすると共に、必要なＴＭＦの構成要素をインスト
ールするためにセットアップオペレーションが始まる。セットアップオペレーシ
ョンは自動に行われてもよく（つまり、クラスタシステム１０は、幾つのノード
１２が含まれ、さらに各ノード１２が幾つのプロセッサユニット２０で構成され
ているかを検出するよう設計できる）、または、クラスタの識別子、性質のよう
な情報をユーザが入力することを要求してもよく、または、これらの方法の組合
わせて利用してもよい。しかしながら、セットアップオペレーションはクラスタ
システム１０に幾つのノード１２が存在しているか、ノード１２内に幾つのプロ
セッサユニット２０が含まれているかを明らかにし、ノード１２とプロセッサユ
ニット２０とに識別子（例えば、「Ａ」「Ｂ」・・・「Ｄ」）を割り当て、さら
に磁気ディスク装置３０上の種々のＴＭＦファイルと構成要素（例えば、ダイナ
ミック−リンク・ライブラリ（ＤＬＬ））をインストールする。

【００１６】 好ましくは、クラスタの各々のプロセッサユニット２０を順番に識別するため
に、番号付けの規約が利用できる。図１に示される例示的なクラスタシステム１
０内には、１１個のプロセッサユニット２０があるので、０から１０（PU-0,PU-
1, ・・・,PU-10）の番号が付される。つまり、ノードＡは０から３（PU-0,PU-1
, ・・・,PU-3）の番号が付されたプロセッサユニット２０を含む。ノードＢの プロセッサユニット２０は４と５（PU-4,PU-5）で識別され、一方で、ノードＣ の４個のプロセッサユニットは６から９（PU-6, ・・・,PU-9）で識別される。 最後に、ノードＤに含まれる１１番目のプロセッサユニットはPU-10で識別され る。

【００１７】 セットアップオペレーションの際に収集された、特定の情報は、Windows NTオ
ペレーティングシステムに保存される「レジストリ」に書き込まれ、これはクラ
スタシステム１０の種々の形態を記述する構成情報を保持しており、図２に示さ
れる構成テーブル６０を構築するために使用される情報を含んでいる。

【００１８】 セットアップシステムが起動した後、何時か、クラスタシステム１０がＴＭＦ
のために起動される。その際に、各ノードのプロセッサユニット２０が、最初に
クラスタ監視プロセスと、クラスタ構成要素プロセスを含んでいるドライバとを
ロードする。（ノードＡ，Ｂ，Ｃのプロセッサユニット２０がＳＭＰシステムを
形成するので、クラスタ監視プロセスと、クラスタ・サービス・プロセスとが適
時そのノードの全ての利用できるプロセッサユニット２０で作動する）

【００１９】 図４は、ＴＭＦのためにノード１２にインストールされた種々のプロセスの抽
出レベルを示す。図３は、ＮＴオペレーティングシステム４４の一部を形成し、
または種々の機能および／または以下に説明するクラスタ監視コンポーネント４
２ａようなノード上で作動可能なアプリケーションがインストールされる、最も
基本レベル（ハードウエアに近い）の種々のドライバ４２を示す。（ここでは関
係がないが、クラスタ監視コンポーネント４２ａは、他のノードの対応部分と対
話を行う責任がある。）次は、クラスタ監視プロセス４６とクラスタ・サービス
・プロセス４７であり、その後、始動／再ロードオペレーションの際に使用され
る初期化プロセス（ＩＰ）５０である。その寿命はＭＯＭとＭＯＮ２がノードの
各プロセッサユニット２０にインストールされると終わるので、初期化プロセス
（ＩＰ）５０は仮想的に示されている。クラスタ監視プロセス４６、クラスタ・
サービス・プロセス４７（もちろん、ＮＴオペレーティングシステムおよび関連
ドライバ４４，４２も）と違って、ＭＯＮとＭＯＮ２プロセッサ５４，５６は、
特定の一つまたは別のプロセッサユニット２０、または、プロセッサユニット２
０のみにインストールされて作動する（「密接な関係がある」）。つまり、例え
ば、クラスタシステム１０が完全にインストールされ再ロードされると、特定の
１１個のプロセッサユニット２０の各々がＭＯＮプロセス５４とＭＯＮ２プロセ
ス５６を有する。

【００２０】 最初に各ノード１２は、インストールされたクラスタ監視プロセス４６と関連
のドライバ（クラスタ監視コンポーネント４２ａを含む）のみを有する。種々の
ノード１２のクラスタ監視コンポーネント４２ａが初期接続（handshaking）ル ーチンをそれらの間で行い、ノード１２の順番を決める。例えば、各ノードが立
ち上がると、データ発生（タイムスタンプ）を明確にし、最初に立ち上がったノ
ードが第１または「最も古い」順番であることを識別し、次に立ち上がったノー
ドを第２または「２番目に古い」順番であることを識別し、これが繰り返される
。立ち上がった厳密な時間は必要ない。例えば、２個のノード１２が、ほぼ同じ
時間に立ち上がる可能性があり、一方を他方より前に選択するための任意の選択
が行われる。さらに順番を定めるために利用されるそれらの時間（データ発生）
も重要ではない。重要なのは順番を決めることであり、その理由は以下で述べる
。ノードの順番が決まると、各ノードのプロセッサユニット２０も同様にその番
号により順番が付される。ノードＢが第１または「最も古い」ものであり、ノー
ドＡ、Ｄ、Ｃが順に続くと仮定する。これに対応してプロセッサユニット２０の
順番がPU-4, PU-5, PU-0, PU-1, ・・・, PU-10, PU-6, PU-7, ・・・, PU-9の
ように付される。

【００２１】 ノード１２の順番（Ｂ，Ａ，Ｄ，Ｃ）はノード１２のクラスタ監視コンポーネ
ント４２ａの間に分散され、どのノードが始動／再ロードを最初、２番目・・・に 開始するかを決定するために使用される。

【００２２】 インストールされたクラスタ監視プロセス４６を有する各ノードを用いて、本
発明の始動／再ロードオペレーションを行うことができる。このオペレーション
は、図５，６のフローチャート７０，９０に概略示されている。オペレーション
は、関連のクラスタ監視コンポーネント４２ａを、関連ノードが「最も古い」つ
まり第１の順番であるか否かを調べるために監視する、各ノード１２のクラスタ
監視プロセス４６を有するステップ７２（図５）から始まる。第１の順番でなけ
れば、クラスタ監視プロセス４６は、クラスタ監視コンポーネント４２ａからの
応答を受信せず、クラスタ監視プロセス４６を待ち状態にする。しかし、第１の
、または最も古いノード１２に存在するクラスタ監視コンポーネント４２ａは、
クラスタ監視プロセス４６に応答して、クラスタ監視プロセスにそのノードのた
めのクラスタ・サービス・プロセス４８を生成させる。クラスタ・サービス・プ
ロセス４８は、順にノード５２のためのＩＰを生成する。

【００２３】 ステップ７２で生成されたＩＰ５２がノードのレジストリを調べ、レジストリ
（図示せず）からの情報を使用して構成（configuration）６０を構築する。全 てのノードは同一のレジストリ（セットアップ時に分散される）を有している。
以下で検討されているように、ＩＰ２が各ノードで生成される場合、構成テーブ
ル６０はこのようなノードのために構築される。最終的に各ノードは、別のノー
ドの構成テーブル６０と同一の構成テーブル６０を有する。

【００２４】 ノード１２のプロセッサユニット２０を、「ローカル」番号によって識別する
ことは好都合であるので、構成（configuration）が識別子を与える。つまり、 例えば、セットアップオペレーションの際に、クラスタシステム１０に関するノ
ードＡのPU-1で識別されプロセッサユニット２０がローカル番号「１」を有する
。同様に、ノードＣのプロセッサユニットPU-8が局所的に「２」で識別される。
構成テーブルがクラスタシステム１０の各ノード１２に関する列６４を有してい
る。４列のみが示されているが、前述のとおり、クラスタシステム１０は最大１
６個のノードをもつことができ、所望であればさらなるノードを使用することも
できる。結果的に、構成テーブルはさらに１２個の列をもつことができる（ここ
で示される）。

【００２５】 構成テーブル６０の各縦列６４は、各ノード（列）に関するプロセッサユニッ
ト２０を示す。各縦列の先頭はノードのローカル番号である。前述のように、各
ノードは最大８個のプロセッサユニットをもつことができるので、８つの縦列が
存在している。しかし、ノードが８個以下のプロセッサユニット２０を含んでい
る場合、構成テーブルには「−１」が記入される。ノードがない列６２には「−
１」が記入されている。

【００２６】 次に、ステップ７４でＩＰ５２は、ＩＰ５２に第１番目のノードか否かを知ら
せるマスクを戻す、クラスタ・サービス・プロセス４８を呼び出すことで、最初
の順番のノードであるか否かを照合する。そうでない場合、ステップ７４の照合
の結果、図６で示される再ロードオペレーション９０に進む。しかし、ＩＰ５２
が最も古いノード１２に生成され、または開始された場合、これはステップ７６
のために監視（ＭＯＮ）プロセス５４を生成するようステップ７４に進み、さら
にＭＯＮプロセスがそのノードのなかで、最小の番号が付されたプロセッサ、こ
こではPU-4に関連性を設定する。（この点で、プロセスがプロセッサユニットと
「関連性」をもつと言われる場合、このことはプロセスが、ＮＴオペレーティン
グシステムの「Setprocessaffinity」機能を使用して、そのプロセッサユニット
でのみ作動することを意味する。例えば、ＳＭＰ構成ノードにおいて、理解され
るように、各プロセッサは、それが生成されたプロセッサユニットでのみ作動で
きるＭＯＮプロセス５４とＭＯＮ２プロセス５６とが生成されている。）対照的
に、クラスタ監視プロセスとクラスタ・サービス・プロセスは、ノードの如何な
る、または全てのプロセッサユニットで作動できる。）

【００２７】 ＭＯＮプロセス５４がステップ８０で、メモリ素子２４のメモリセグメント領
域２４（４）（図１）を生成し、特にプロセッサユニットPU-4に関して、メモリ
セグメント領域２４（４）に対する相互排除アクセスに適するものである。メモ
リセグメント領域２４（４）の構造は、PU-4で作動するプロセスに対する、この
ような相互排除アクセスを保証する適切なロック（Mutexes）を備えたデータ構 造（図示せず）を含んでいる。このようなメモリセグメント領域の生成と使用に
関係するより多くの情報に関して、本出願人は、本出願と同時出願の出願番号 （代理人整理番号：10577-427）を出願している。

【００２８】 これが最初に生成されたクラスタシステム１０のためのＭＯＮプロセス５４で
あり、プロセッサユニットPU-4（および関連のメモリセグメント領域２４（４）
）に関連性があるＭＯＮ２プロセス５６も生成する。最初に生成されたＭＯＮ２
プロセス５４はコーディネータ・プロセスで表され、この最初のノードと全ての
残りのノードのための始動/再ロードを催促することに積極的に参加する。例え ば、ＭＯＮプロセス５４は、ＭＯＮ２プロセス（コーディネータ・プロセス）を
生成する唯一のＭＯＮプロセスである。全ての他のＭＯＮ２プロセス５６は、コ
ーディネータ・プロセスにより生成される。

【００２９】 全てのプロセッサユニット２０は、ＭＯＮ２プロセス５６を有している。各Ｍ
ＯＮ２プロセス５６が最初に生成されると、ノード１２の全てのプロセッサユニ
ット２０に手をつける（２個以上のプロセッサユニットがあると想定する）。さ
らに、ＭＯＮ２プロセスが生成されると、「ローカル」プロセッサユニットを通
過し、その数よりこのＭＯＮ２プロセスの関連性が定められる。その後、ＭＯＮ
２プロセスが、順番が来たノードのクラスタ・サービス・プロセス４８を調べる
。第１の（最も古い）ノードに生成されていることと、そのノードの最小番号を
付されたプロセッサユニット２０に対して関連性が与えれていることを、ＭＯＮ
２プロセスが識別すると、これがコーディネータ・プロセスであり最終的に生じ
るであろうことを知る。

【００３０】 ＭＯＮプロセス５４を生成した後、ＩＰ５２はコーディネータ・プロセスが十
分に活動状態であることを識別するまで待つ。その後、ＩＰ５２ステップ８２か
ら図６の再ロードオペレーション９０に進み、ステップ９２でＩＰ５２が要求（
REQUEST(1)）をコーディネータ・プロセスに発する。これはＩＰ５２が、もしあ
れば、ノードの残りのプロセッサユニット各々のＭＯＮプロセスを生成すること
の承認を依頼するものである。（ここで、ノードＢには、もう一つのプロセッサ
ユニット２０、PU-5がある。ノードＤには唯一のプロセッサユニット２０しかな
いので、ＩＰ５２は以下に説明する方法で、再ロードオペレーション９０に進む
ことなく終了する。）REQUEST(1)にはノード識別（ここではＢ）が伴なっている
。

【００３１】 再ロードオペレーション９０を続ける前に、構成テーブル８６の重要性を理解
することは利点がある。最初に生成された形（図３Ａ）から完了した形（図３Ｄ
）までの過程が図３Ａ−３Ｅに示されている。コーディネータ・プロセスは、プ
ロセッサユニット２０のためにＭＯＮ２プロセス５４が生成された場合に応じ順
番が付せられた、クラスタシステム１０の各々のプロセッサユニット２０に関す
るエントリ８８と共に、遷移テーブル８６（図８６）を構成する責任がある。12
8もの数のプロセッサユニット（好ましい実施例）が可能であり、128のエントリ
（entry）がある。この時点では、唯一のＭＯＮ２プロセス５６が生成されてお り、プロセッサユニット２０のコーディネータ・プロセスは、セットアップ識別
子番号PU-4を有している。従って、遷移テーブル８６の第１のエントリ８８ａは
、最初に生成されたときには、プロセッサユニット２０にコーディネータ・プロ
セスがインストールされていることを識別する「４」である（図３Ａ）。またこ
の時点では、残りのエントリ８８ｂ，８８ｃは「−１」であり、何もないか、ま
たはＭＯＮ、ＭＯＮ２プロセスがまだインストールされていないことを示す。コ
ーディネータ・プロセスは、そのメモリ素子２４のプロセス・アドレス空間に遷
移テーブルを格納しており、このような各ＭＯＮ２プロセスが生成されるように
、遷移テーブルを全ノードのＭＯＮ２プロセスに分散する。（同様にＭＯＮ２プ
ロセッサは遷移テーブルのコピーを、それ自身のプロセス・アドレス空間に格納
している。）

【００３２】 第１のケースにおいて、遷移テーブルはコーディネータ・プロセスの位置を識
別するために使用される。この情報は、エントリ８８のプロセッサユニット識別
子により特定される。第２のケースにおいて、遷移テーブルは、誰が次のコーデ
ィネータ・プロセスであるか、誰が第１の（現在の）コーディネータ・プロセス
を機能させなくするかを識別する。

【００３３】 全てのプロセスは、これらを独自に識別し、クラスタ１０を越えて全ての別の
プロセスからこれらを識別する名前をもっている。つまり、例えば、ノードＢの
プロセッサユニットPU-4にインストールされたＭＯＮプロセスは、構成テーブル
６０に示される割り当てられたプロセッサユニット番号を使用して、ＭＯＮ（00
4）として識別できる。同様に、コーディネータ・プロセス、ＭＯＮ２プロセス がＭＯＮ２（004）として識別できる。

【００３４】 再ロード・オペレーション９０に戻って、ステップ９４は、Request(1)を受け
るとコーディネータ・プロセスが、Request(1)で識別された最小番号を付された
ノードのプロセッサに関しユニット構成テーブルを調べ、プロセッサユニットの
ＭＯＮプロセスにメッセージを送る。コーディネータ・プロセスが応答を返すと
、Request(1)の拒否をＩＰ５２に戻す。これはＩＰ、クラスタ・サービス・プロ
セス４８およびクラスタ監視プロセス４６を終了させ、ノードが初めからやり直
すことを命じる。予期されるように、エラーが戻された場合（つまり、ＭＯＮが
存在しないときに起こるような、応答がない場合）、その後コーディネータ・プ
ロセスは、ノード１２のRequest(1)で識別されたプロセッサユニットが遷移テー
ブルに記載されていないこと念のために照合する。この理由は、図７のノードダ
ウン・オペレーション（およびステップ１１８に含まれるＣＰＵダウン・オペレ
ーション）の検討の後で明らかになる。遷移テーブル６０の照合が、Request(1)
で識別されたノードのプロセッサユニット、またはそれらの幾つかが遷移リスト
にあることを示す場合、コーディネータは、なお識別されている各々のプロセッ
サユニットに関するＣＰＵダウン・オペレーションを予定する。（コーディネー
タ・プロセスは、どのプロセッサユニット２０が、どのノード１２に属している
かを識別する、構成テーブル６０を利用して、遷移テーブルに記載されたどのプ
ロセッサユニットであるかを決定できる。）受信できる全てのRequest(1)に応答
するコーディネータ・プロセスの前に、すべての予定された未解決のＣＰＵダウ
ン・オペレーションが実行される必要がある。理解できるように、ＣＰＵダウン
・オペレーションは影響のあるプロセッサユニットを、コーディネータ・プロセ
スのみならず全てのＭＯＮ２プロセッサ５６の遷移リストから取り除く。

【００３５】 始動／再ロードオペレーションのこの段階では、コーディネータ・プロセスは
第１のノード（順番において）であることを認識し、構成テーブル６０を監視し
、次に最小の番号が付されたプロセッサユニットにある、全てのＭＯＮプロセッ
サにメッセージを送る。予期されるように、応答が受信できない場合には、その
後コーディネータ・プロセスは遷移テーブルを照合する。その際、コーディネー
タ・プロセスにはそれが最初のノードで作動していることが分かっているので第
１のエントリを省く。つまり、コーディネータ・プロセスは、PU-4が遷移テーブ
ルで識別されている事実を無視するが、PU-5が識別されているかどうかを照合す
る。この場合、コーディネータ・プロセスがプロセッサユニットのために、ＣＰ
Ｕダウン・オペレーションを予定し、ＣＰＵダウン・オペレーションが実行され
るまでは、ステップ９２でＩＰ５２からのRequest(1)に応答しない。

【００３６】 ＩＰ５２が許可を要求しているプロセッサユニットが前述の方法で照合される
と、コーディネータ・プロセスはＩＰプロセスに許可（GRANT）を戻す。

【００３７】 ＩＰ５２は許可を受ける、ステップ９６に進み、ここでは各プロセッサユニッ
ト２０にＭＯＮプロセスを生成し、これに対して要求がなされ、ここでプロセッ
サユニット２０がPU-5として認識される。前記のようにＭＯＮプロセスが生成さ
れた場合、生成されたＭＯＮプロセスは、前記のように、そのプロセッサユニッ
ト２０に関して排他的にメモリセグメント領域を生成する。しかし、このＭＯＮ
プロセス（および別のノードで生成された、全てのほかのＭＯＮプロセス）は、
ステップ８０（図４）で最初に生成されたＭＯＮプロセス５４により、すでに生
成されているので、ＭＯＮ２プロセスを生成しない。これはコーディネータ・プ
ロセスをそのまま残すことになる。

【００３８】 プロセッサユニット２０（PU-5）のＭＯＮプロセスの生成によって、再ロード
・オペレーションがステップ９８に進み、他の要求（REQUEST(2)）をコーディネ
ータ・プロセスに送り、該コーディネータ・プロセスに再ロード・オペレーショ
ンを完了するよう依頼する。つまり、ステップ９８で示されるように、コーディ
ネータ・プロセスは逐次、最小の識別を付されたプロセッサユニット２０から最
大のプロセッサユニット２０まで、このような各プロセッサユニットのためのＭ
ＯＮ２プロセスを生成する。各ＭＯＮプロセス５６が生成されるので、コーディ
ネータ・プロセスは各プロセッサユニット２０を識別するために遷移テーブル８
６を更新し、これによって、最新の生成されたＭＯＮ２プロセス５６が関連づけ
られ、クラスタシステム１０の全ＭＯＮ２プロセス５６に、更新された遷移テー
ブル８６（図３Ｂ）を分散する。（もちろん、始動/再ロードオペレーションの この段階では、プロセッサ２０（PU-4）のＭＯＮ２プロセス５４が唯一コーディ
ネータ・プロセスであり、プロセッサユニット２２（PU-5）は更新された遷移リ
スト８６を受信しない）

【００３９】 コーディネータ・プロセスが生成されると、ＭＯＮ２プロセス５６は、ＩＰ５
２にREQUEST(2)で求められた動作をうまく完了したことを返答する。この返答を
受けると、ＩＰ５２は、ノードＢのクラスタ・サービス・プロセス４８への、ノ
ードＢにより行なわれる始動/再ロードオペレーションが完了したことの通知を 終了する。次に、クラスタ・サービス・プロセス４８はクラスタ監視プロセス４
６に通知し、これはクラスタ監視コンポーネント４２ａに、始動/再ロードオペ レーションが完了したことを通知する。ノードＢのクラスタ監視コンポーネント
４２ａは、その後、他のノード（Ａ，Ｂ，Ｃ）に通知する。他のノード（Ａ，Ｂ
，Ｃ）のクラスタ監視コンポーネント４２ａは順番が照合されるまで継続して制
御を保留する。しかし、次のノードのクラスタ監視コンポーネント４２ａは、そ
れが次のノードであることを認識し、ノードのクラスタ監視プロセス４６制御を
解放し、次に、これがノードに関するクラスタ・サービス・プロセス４８を生成
する。ノードＣ，Ｄはまだ次のノードでないことが分かるが、ノードＡが最初の
ノードであることは分かる。さらに、その後、ノードＢと同じ方法で、クラスタ
・サービス・プロセス４８がＩＰ５２を生成する。つまり、始動/再ロード手順 ７０が今度はノードＡに関して再度開始される。ノードＡ（つまり、プロセッサ
ユニット２０（PU-0））に一度生成されたＩＰ５２は、第1のノードにあるか否 かをチェックする。そうでない場合、ステップ７４から図５の再ロード・オペレ
ーション９０に進む。始動/再ロード手順７０のステップ７６，８０，８２は、 コーディネータ・プロセスを生成するために、唯一、先に設定された順番で、第
１番目の第１プロセッサユニット２２のために機能する。

【００４０】 ステップ９２で、先にノードＡの各プロセッサユニット２２にＭＯＮプロセス
生成の許可を要求したＩＰ５２が、どこにコーディネータ・プロセスが位置して
いるのかを最初に決定する必要がある。ノードＡがまだ生成されたＭＯＮ２プロ
セスをもっておらず、従って遷移テーブル８６にアクセスしていないので、ＩＰ
５２が、完全な始動/再ロードオペレーションを有するクラスタ１０のノードの 識別のために、クラスタ・サービス・プロセス４８を調べる。その後、ＩＰ５２
は、コーディネータ・プロセスの位置を問い合わせるために（ノード／プロセッ
サユニット）、識別されたノードの一つの、最小の番号が付されたプロセッサユ
ニット２０で作動するＭＯＮ２プロセスを識別するメッセージを構築する。この
時点で、ＭＯＮ２のみがコーディネータ・プロセスであり（ノードＢ、プロセッ
サユニット２０（PU-4））、これは自身の識別に応答する。ステップ９２で、Ｉ
Ｐ５２がREQUEST(1)を発して、コーディネータ・プロセスに、ノードＡのプロセ
ッサユニット２０にＭＯＮプロセスを生成する許可を依頼する。再ロード・オペ
レーション９０は前記のように続行する。

【００４１】 − ＩＰ５２の要求に応答するために、コーディネータは、REQUEST(1)で識別
されたノードのために、最小の番号が付されたプロセッサユニット２０に関する
構成テーブルを調べ、プロセッサユニットのＭＯＮプロセスへのメッセージを送
る。何の返答もない場合、コーディネータ・プロセスが、識別されたノードのプ
ロセッサユニットが記載されているか否かを調べるために、遷移テーブル（図３
ｂ）をチェックし、そうであれば、ＣＰＵダウンオペレーションを予定し実行す
る。そして、ＭＯＮプロセスがノードの最小の番号が付されたプロセッサユニッ
ト２０にＭＯＮプロセスが見出され、ノードのプロセッサユニットが遷移テーブ
ル８６に記載されていない（または記載されていてもＣＰＵダウンオペレーショ
ンにより取り除かれている）場合、REQUEST(1)に許可を与える。

【００４２】 − その後、ＩＰ５２がノードＡ（PU-0・・・PU-3）の各プロセッサユニット
２２にＭＯＮプロセスを生成し、次に、各々対応するプロセッサユニットのメモ
リ素子２４に、関連するメモリデータセグメント領域２４（24(0), 24(1), 24(2
), 24(3)）を生成する。

【００４３】 − ステップ９６は、ＩＰがノードＢのコーディネータ・プロセスへ他の要求
を送ること、およびもしあればノードＡの残りのプロセッサユニット２０、PU-0
・・・PU-3に関する再ロード・オペレーションを完了することを要求することを
終える。

【００４４】 − 要望により、コーディネータが各プロセッサユニット２０にＭＯＮ２プロ
セス５６を、最小の番号が付されたプロセッサユニット（PU-0）から始まり最大
（PU-3）まで連続的に生成して、前述のようにプロセッサユニット２０に関する
それらの関連性を定める。各々のＭＯＮ２が生成されるので、コーディネータ・
プロセスが遷移テーブル８６を更新して、それをクラスタシステム１０の全ての
活性ＭＯＮ２プロセス５６に分散する。

【００４５】 − その後、コーディネータ・プロセスは、ノードＡのＩＰ５２に終了を返答
し、そのクラスタ・サービス・プロセスに対するそれ自身の通知を終了する。

【００４６】 さらに、ノードＡのクラスタ監視コンポーネント４２ａは、ノードＢ，Ｃ，Ｄ
の対応部分と通信を行い、それらにノードＡでは始動/再ロードオペレーション が完了したことを通知する。すでに「立ち上がっている（UP）」ノードＢは何の
反応もしない。ノードＣ，Ｄの各々は前述のように、次のノードであるか否かを
チェックし、そうであれば、ノードＡで成された方法で、そのノードの各プロセ
ッサユニット２２にＭＯＮプロセスおよびＭＯＮ２プロセスをインストールする
ために、始動/再ロード手順７０を開始する。

【００４７】 最終的に、クラスタシステム１０の全てのプロセッサユニット２０が初期化さ
れ、各々ＭＯＮプロセス、ＭＯＮ２プロセスをもつことになる。ＭＯＮ２プロセ
ス５６が生成された際に更新されて分散された遷移テーブル８６が、そのノード
の全てのＭＯＮ２プロセッサにより、各ノードに保有される。

【００４８】 始動／再ロード手順７０，９０が、各メモリセグメント領域２４（Ｎ）を確立
することで、事実上別個の独立した実行環境を提供する。メモリユニット２４は
なお共有のメモリ領域（そこには共有された全体的な変数とデータ構造がある）
を有しているが、各プロセッサユニット２０に関連するメモリセグメント領域２
４（Ｎ）は、プロセッサユニット２０で実行中のプロセスにのみ相互に排他的な
アクセスを提供する。この細分化と割り当てが、ＴＭＦオペレーションのために
、ノード１２の各プロセッサユニット２０によってアクセスされる必要があるデ
ータ構造に関する、メモリ競合を低減するよう作用する。この利点から、プロセ
ッサユニット２２がノードに付加される場合、それ自身の実行環境によってメモ
リ競合が最小に保たれということが分り、プロセッサユニットの付加による拡張
が処理能力の付随する拡大を見せる。

【００４９】 ＴＭＦのためのクラスタシステム１０に関する最初の始動／再ロードオペレー
ションと、図３Ｄの完全な遷移リスト８６を含むクラスタイメージを確立するこ
とに加えて、さらに本発明は、ノードの故障とその後のノードの置換えを説明す
るためのシステムイメージを修正できる。

【００５０】 故障ノード１２の検出が以下の方法で行われる。米国特許第4,817,091で教示 される方法により、全ノードのクラスタ監視コンポーネント４２ａが定期的に「
自分は活動状態である」というメッセージを送る。簡単に説明すると、この方法
は多重プロセッサシステムにおいて、各プロセッサユニットが定期的に「自分は
活動状態である」というメッセージを相互に送る。プロセッサユニットの一つが
「自分は活動状態である」というメッセージを送れない場合には、第２のプロセ
ッサが肩代わりをする。

【００５１】 ここでは、プロセスが少し異なっている。クラスタ監視プロセスが定期的な「
自分は活動状態である」というメッセージを相互にに送る。「自分は活動状態で
ある」というメッセージを送ることができないノードに気付いたクラスタ監視コ
ンポーネント４２ａは、クラスタ・サービス・プロセス４８に通知する。これが
ノードダウン手順１１０の始まりであり（ステップ１１２）、図７に示されてい
る。ステップ１１４で、クラスタ・サービス・プロセス４８がノードの全ＭＯＮ
２プロセス５６に通知し、次に、故障ノードのテーブルからのプロセッサユニッ
トの識別子を消去することによって、関連する遷移テーブル８６を更新する。

【００５２】 図７のノードダウン手順の検討のために、ノードＢが故障していると想定する
。ノードＢの、最小の番号が付されたプロセッサユニット２２（PU-4）にコーデ
ィネータ（ＭＯＮ２）プロセスがインストールされている。ステップ１１６でＭ
ＯＮ２プロセスがその遷移テーブルを更新する場合、最初に構成テーブル６０を
チェックして故障ノードＢのプロセッサユニット２０の識別を決定する。故障ノ
ードがコーディネータ・プロセスを含んでいることが分ると、次のノード１２の
最小の番号が付され、遷移テーブル８６（つまりPU-0に関連したＭＯＮ２）で示
されるプロセッサユニット２０のＭＯＮ２プロセス５６が、コーディネータ・プ
ロセスの責任を引き継ぐ。全てのＭＯＮ２プロセス５６が遷移テーブルを更新し
て、故障ノードＢ（PU-4, PU-5）に関するプロセッサ識別子を消去し、取り除か
れたエントリの右側のプロセッサ識別子を、消去されたプロセッサユニットのエ
ントリの数だけ左側に移動する。

【００５３】 例えば、図３ＤはノードＢの故障の前の遷移テーブル８６を示し、ノードＢの
プロセッサユニット２０（PU-4）がコーディネータ・プロセスをもっているよう
に識別する。ノードＢの故障により、全てのＭＯＮ２プロセス５６をエントリ４
，５から取り除き、右側の全エントリ（図３Ｄに示される）が左側に２個のエン
トリ分だけ移動すると遷移テーブルは、図３Ｅで示される遷移テーブル８６’と
なる。エントリ８６ａ’の内容を用いて新しい遷移テーブル８６’がノード／プ
ロセッサユニットを識別し、その結果、新しいコーディネータ・プロセスが存在
することになる。つまり、コーディネータ・プロセスを用いて先に存在していた
ノード１２が故障したので、ＭＯＮ２プロセス５６がコーディネータ状態を引き
継ぐことになる。

【００５４】 ノードＡ（PU-0）の最小の番号が付されたプロセッサユニット２０のＭＯＮ２
プロセス５６が、コーディネータ・プロセスの義務を引き継ぎ、故障ノードのプ
ロセッサユニット２２に関する、ＣＰＵダウンオペレーションを逐次行う。従っ
て、まずプロセッサユニット２０（PU-4）を取得して、コーディネータ・プロセ
スがＰ＿ＴＭＰを伝達し、プロセッサユニット２０（PU-4）による取引状態の所
有権を獲得することを告げる。記憶されているＰ＿ＴＭＰが、各取引に関するＴ
ＣＢをクラスタ内に保存し、さらに現在の取引状態を保存する。つまり、プロセ
ッサユニット２０（PU-4）による取引状態の所有権を獲得するよう告げた場合、
Ｐ＿ＴＭＰは取引を中断するか（つまり、他のどこかで開始されるよう最初に戻
る）、または、取引が進んで保存できない場合、Ｐ＿ＴＭＰが取引を保存できる
。

【００５５】 コーディネータ・プロセスはノードの連続的な各々のプロセッサユニット２２
に対して同様のＣＰＵダウンを行う。ここで、プロセッサユニット２２（PU-5）
が残されている。 コーディネータ・プロセスが、故障ノードのプロセッサユニット２０の各取引
に関するＰ＿ＴＭＰに移動された所有権をもつ場合、ノードダウンオペレーショ
ンが終了される。

【００５６】 故障ノードＢがクラスタに戻ってくると仮定する。パワーアップの場合、ＮＴ
、クラスタ監視プロセス、クラスタ・サービス・プロセス４４，４６，４６がノ
ードＢに送り込まれる。クラスタ・サービス・プロセス４８がＩＰ５２を生成し
、これは始動/再ロード手順７０の最初のステップ７２である。ステップ７４（ 図６の再ロードオペレーション９０）において決して第１または最も古いノード
ではないＩＰ５２が、図６の再ロードオペレーション９０に進む。再ロードオペ
レーション９０は前記と同様に行われる。つまり、ステップ９８で、コーディネ
ータが各プロセッサユニット２０に関してＭＯＮ２プロセス５４を生成すること
で、再ロードオペレーションを完了する場合、プロセッサユニット２０によって
先に開始された全ての取引が中断されずに、または保存されず残っていないか確
定するためにＰ＿ＴＭＰに問い合わ、コーディネータ・プロセスは、Ｐ＿ＴＭＰ
に取引の所有権をプロセッサユニット２０に戻すよう指示する。

【００５７】 ノード１２のプロセッサユニット２０が、インストールされたＭＯＮ２プロセ
スを有するノードＢを立ち上げると、コーディネータ・プロセスが遷移テーブル
８６をそれに応じて更新し、ノードＢのＩＰ５２に、要求は問題なく完了したこ
とを戻し、ステップ１００で、すでに述べたようにＩＰ５２が終了する。

【００５８】 もちろん、故障ノード１２がコーディネータ・プロセスを保有する唯一のもの
ではない場合には、連続的な変更は必要ない。しかし、この場合にもやはり説明
されたようにノードダウンオペレーションが実行される。

【図面の簡単な説明】

【図１】 本発明の説明のために簡略化されたクラスタシステムを示す。

【図２】 ローカルプロセッサ識別子とノード識別子を用いてプロセッサユニット識別子
とその関連を示している、構成テーブルを示す。

【図３Ａ、図３Ｂ、図３Ｃ】 現在のコーディネータ・プロセスと、現在のコーディネータノードを機能させ
なくするプロセスコーディネータ・プロセスとの遷移位置の順番（プロセッサユ
ニット識別により）を含んでいる種々の遷移テーブルの構成を示す。

【図３Ｄ、図３Ｅ】 コーディネータ・プロセスが配置されている図１のノードの、故障の前と後の
完全な遷移テーブルを示す。

【図４】 本発明によりインストールされた図１の各プロセッサユニットで実行されるＴ
ＭＦプロセスの概念図である。

【図５】 ノードの個々のプロセッサユニットを初期化するために使用される始動/再ロ ード手順のステップを示すフローチャートである。

【図６】 図５の対の始動/再ロード手順を構成する再ロードオペレーションのステップ を示すフローチャートである。

【図７】 クラスターイメージから、故障ノードのプロセッサユニットを取り除くための
ステップす示すフローチャートである。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 カーリー ウィリアム ジェイ アメリカ合衆国 カリフォルニア州 95117 サン ホセ メイプルウッド ア ベニュー 457 Ｆターム(参考） 5B045 GG01 HH01 HH02 JJ45

Claims (5)

【特許請求の範囲】
1. 【請求項１】 通信可能に相互に接続されている複数のプロセッシングノー
   ドを含み、複数のプロセッシングノードの少なくとも幾つかは、２つまたはそれ
   以上のプロセッサユニットと共有メモリとを有する、対称プロセッシングシステ
   ムを備えるプロセッシングシステムにおいて、 ａ）前記複数のプロセッシングノードの順番を決定し、 ｂ）前記複数のプロセッシングノードのうちの最初の順番のノードの第１プロセ
   ッシングユニットで初期化プロセスを開始し、 ｃ）前記初期化プロセスは、前記第１プロセッシングユニットの第１監視（ＭＯ
   Ｎ）プロセスを開始し、さらに、前記第１プロセッシングユニットに関するＭＯ
   Ｎプロセスの関連性を定め、 ｄ）前記第１のＭＯＮプロセスは、 ｉ）前記第１プロセッシングユニットに関して共有メモリ内に第１メモリセグ メントと ii）前記第１プロセッシングユニットで実行されるコーディネータプロセス とを生成し； ｅ）前記初期化プロセスは、前記複数のノードの前記第１ノードに残りのプロセ
   ッサユニットがあればそこで第２のＭＯＮを開始させる再ロードプロセスを送り
   出し、 ｆ）その後、前記複数のノードの他の各々に、その順番に応じて第２初期化プロ
   セスを生成し、前記複数のノードの他の各々の各プロセッサユニット関して、Ｍ
   ＯＮ、前記共有メモリ内の第２メモリセグメント、およびこのようなプロセッサ
   ユニットに関連性をもつＭＯＮ２プロセスを生成する、 プロセッシングシステムに計算機能をインストールする方法。
2. 【請求項２】 前記第１初期化プロセスは、ＭＯＮおよびＭＯＮ２プロセス
   が生成された後に終了する、請求項１に記載の方法。
3. 【請求項３】 前記複数のノードの各々の前記第２初期化プロセスは、ＭＯ
   ＮおよびＭＯＮ２プロセスがこのようなノードの各プロセッサユニットに関して
   生成された後に終了する、請求項２に記載の方法。
4. 【請求項４】 通信可能に相互に接続されている複数のプロセッシングノー
   ドを含み、複数のプロセッシングノードの少なくとも幾つかは、２つまたはそれ
   以上のプロセッサユニットと共有メモリとを有する、対称プロセッシングシステ
   ムを備えるプロセッシングシステムにおいて、 ａ）前記複数のプロセッシングノードの順番を決定し； ｂ）前記複数のプロセッシングノードの各々を逐次初期化するものであって、次
   の順番に従う、 １）前記複数のノードの第１ノードの第１プロセッサユニットに、第１の監視
   プロセスと、コーディネータプロセスとを生成し、前記第１の監視プロセスは、
   前記第１のプロセッサユニットに関する共有メモリ内にメモリセグメントを生成
   し、 ２）前記第１ノードの全ての残りのプロセッサユニットの各々に、第２のＭＯ
   Ｎプロセスと、前記第１ノードに関する共有メモリ内に第２のメモリセグメント
   とを生成し、さらに ３）あとに続くノードの各プロセッサユニットに、第２のＭＯＮプロセスと、
   前記第１ノードに関する共有メモリ内に第２のメモリセグメントとを生成する、
   プロセッシングシステムに計算機能をインストールする方法。
5. 【請求項５】 前記コーディネータプロセスは、システムのプロセッサユニ
   ットの順番を識別する遷移テーブルを構築し、前記順番は各々あとに続くノード
   を示し、次の順番のプロセッサユニットは後継のコーディネータプロセスを生成
   し、前のコーディネータ・プロセスを機能させなくする請求項４に記載の方法。