JP2001504616A

JP2001504616A - グローバルアドレシング可能なメモリを用いた高度に利用可能なデータ記憶装置を提供するためのシステムおよび方法

Info

Publication number: JP2001504616A
Application number: JP52399698A
Authority: JP
Inventors: ビー．カーター，ジョン; エイチ．デイビス，スコット; ジェイ．ディターリッチ，ダニエル; ジェイ．フランク，スティーブン; エス．フィリップス，ロバート; ウッズ，ジョン; ポーター，デイビッド; エイチ．リー，シン
Original assignee: マンゴソフトコーポレイション
Priority date: 1996-11-22
Filing date: 1997-11-21
Publication date: 2001-04-03
Also published as: DE69724834D1; WO1998022876A1; EP1008047B1; AU5461198A; ATE249640T1; US5909540A; EP1008047A1; DE69724834T2

Abstract

(57)【要約】データ交換定期的接続状態情報の持続的格納を提供するグローバルにアドレシング可能なメモリシステムへのコンピュータノードインターフェースのネットワーク。交換される接続状態情報は、ノード故障に関する情報をシステム内の他のノードに提供し、生き残りノードは、この情報を用いて、機能停止したノードがある場合にどのノードが機能停止したのかを決定する。様々な処理を用いて、ＲＡＭディレクトリ、ディスクディレクトリまたはファイルシステム情報を含む、故障ノードが関与したグローバルアドレススペースの一部を修復する。さらに、ノードを複数のグループに細分化して、１つのグループに属するノード間で接続状態情報を交換してもよい。その場合、各グループは、グループ毎の接続状態情報を交換し、故障を修復することができる。

Description

【発明の詳細な説明】グローバルアドレシング可能なメモリを用いた高度に利用可能なデータ記憶装置を提供するためのシステムおよび方法関連出願の引用本出願は１９９６年１１月２２日に出願された同時係属中の米国特許出願番号第０８／７５４，４８１号および１９９７年３月２８日に出願された同時継続中の米国特許出願番号第０８／８２７，５３４号の一部継続出願であり、双方共に本明細書中で参考として援用される関連する弁護士管理番号ＣＬＣ−００２である。技術分野本発明は一般に分散データ記憶装置システムに関し、詳細には高度に利用可能なデータの分散記憶装置を維持するためのシステムおよび方法に関する。背景情報コンピュータファイルシステムおよびデータベースシステムのようなコンピュータベースの構造化記憶装置システムは莫大な量のデータへの素早く手軽なアクセスをユーザに提供するのに著しく成功してきた。今日の商業でこれらの構造化記憶装置システムの重要性を誇張することは困難である。例えば、構造化記憶装置システムは企業が何年もの間に変更および更新し得る持続的なデータの膨大な記憶を事業が生成するまたは維持するのを可能にしてきた。多くの企業にとって、この持続的なデータは企業の中心の経営を遂行するのに毎日使用する価値ある主要な資産である。データはコンピュータファイル(例えばソースコード、ワードプロセッシング文書など)、データベースレコードおよび情報(例えば、従業員、顧客、および／または製品の情報)、および／またはウェブページであり得る。そのようなデータは「高度に利用でき」なければならない。すなわち、データはシステムハードウェアまたはソフトウェアの故障にもかかわらず、しばしば日々のプロセスの決定に用いられるためデータは利用できなければならない。高度な利用性またはフォールトトラレンスを提供する以前の試みは例えば冗長システムを提供するハードウェア技術と例えば独立ディスクの冗長アレイ（ＲＡＩＤ）技術および集積化といったソフトウェアへの取り組みの両方が含まれている。これらの試みのそれぞれは独自に固有の弱点を有する。冗長システムは二重または三重冗長に代表される。システムのこれらのタイプは１台の機器の仕事を達成するのに１台以上の完全な機器を提供する。各機器は同時に同じ作業を実行する。１台の機器が故障またはエラーに直面する場合、付加的な機器が正しい結果を提供する。システム故障の耐用性が高いそのようなシステムは極めて高価である。実際、複数のネットワーク機器は各ネットワークを実現するために提供されなければならない。記憶装置のための同様のフォールトトラレントへの取り組みがＲＡＩＤである。ＲＡＩＤ技術はディスクミラーリング(いわゆるＲＡＩＤＩ)またはパリティを有するディスクストライプ（いわゆるＲＡＩＤＶ）として実現され得る。ディスクミラーリングは高度なフォールトトラレントの記憶装置を提供するが、通常２つの複数のディスクが１つのディスクデータを記憶するために提供されなければならないので、高価である。各時間データがディスクアレイに書き込まれ、パリティブロックは計算されなければならないので、パリティを有するディスクストライプは集中的な書き込みアプリケーションに対して乏しいパフォーマンスを有する。ミシングブロック（またはブロック）は読み取り動作が実行されるたびに再計算されなければならないので、ディスクストライプは強固なＮ＋１冗長を提供し、第１のエラーの後に付加的なパフォーマンスの低下を受ける。最終的に、そのような強固なＮ＋１冗長機構はそれ自身の「回復」の方法を有さず、つまり、一つのエラーの後、システムはもうＮ＋１冗長ではない。中央化構造化記憶装置ネットワークシステムの信頼性および動作を改良する他のソフトウェアへの取り組みは一般に以下を含む。（１）１つ以上のサーバに対するデータおよび関連ディスクの静的マッピング(「共有なし」の集積性とも呼ばれる)（２）共有ディスクのような共有データ貯蔵所でのデータの記憶（「すべてのものを共有」の集積性とも呼ばれる）および（３）データベース貯蔵所。第１の方法を用いたシステムは複数のサーバおよび関連ディスクに亘ってデータ記憶部分を分散する。各サーバは構造化データ記憶の部分と同様に任意に特定のサーバ内のデータ記憶部分を記述するディレクトリ構造の関連部分を維持する。これらのシステムは複数のサーバに亘って静的にデータ記憶を分散することによってデータの損失に対して警戒し、それによって、任意の一つのサーバの故障がデータ全体の部分のみの損失の結果になる。しかし、公知の集積データベース技術はデータの損失に対して警戒するよりフォールトトラレントな動作を提供し得、および二重経路ディスクのための支持を提供し得るが、公知のシステムは依然と様々なサーバに亘ってデータの静的な割り当てに頼る。データはサーバ間で動的に割り当てられないので、（１）システムリソースはそれらの利用下で生じるシステム使用方法に基づいて割り当てられない（２）新しいサーバはデータセットが増加したとしても、またはある特定のサーバがデータセットの一部に作られたサービス要求を果たせないとしても提供されなければならないので、スケーラブルパフォーマンス（ｓｃａｌｅａｂｌｅｐｅｒｆｏｍａｎｃｅ）は制限される（３）そのような静的な割り当てはやはりデータを保存するために残存する情報を記憶するサーバを少なくとも一つ必要とする。また、一つのサーバの故障はシステムのパフォーマンスを低下させるダウンサーバによって以前に貢献したデータを貢献させる第２のサーバを必要とする。第２の方法を用いたシステムは共有ディスクのような共有データ貯蔵所に記憶されたデータを記憶する。共有ディスクはシステムノードのサブセット間、またはシステムの全てのノード間に共有し得る。システムの各ノードは頻繁に構造化記憶の部分で中央データ貯蔵所を更新する。例えば、データベースシステムで、各ノードは現在データ記憶に対して用いるテーブルをエクスポートする。この方法は中央データ貯蔵所を平均化する負荷の問題をエクスポートする間、方法は二つの主な弱点を受ける。第１に、スループットは中央データ記憶の干渉性を確実するのに関連するオーバーヘッドの増加のせいで減少する。第２に、ノードがあるページの部分にアクセスする場合、全体のページがロックされているのでロックが不十分である。結果として、正しいコンフリクトが存在しない場合でさえ、ノードはメモリの競合を受け得る。より高いレベルであるが、ディスクミラーイングに類似したものはデータベースの複製に基づく技術である。これらのシステムはデータ記憶の複製またはデータ記憶で実行されたトランザクションを提供し得る。従って、これらのシステムは構造化された記憶装置システムで静的な冗長を提供することによりデータの損失に対して更に警戒を続ける。しかし、そのようなシステムは上記の他の静的技術と同じ弱点を受ける。そのうえ、いわゆる「安全トランザクション」複製技術は貢献するテーブル数が増加するとスケーラビリティの問題を受ける。発明の要旨本発明はエラーに直面した場合にパフォーマンスの低下を受けない現在のデータ記憶装置システムより、信頼ができ、より大きいフォールトトラレント動作を提供するデータ記憶装置システムに関する。本明細書で説明される新規のシステムはディスク記憶装置のための自身の回復Ｎ＋１冗長、ＲＡＭ記憶装置、および分散したシステムデータによる構造化データ記憶装置および全体的にアドレシング可能なメモリ空間を亘るデータ構造、ネットワーク上のより異なるノードの一つによって管理される部分を達成する。各ノードは局所的に現在アクセスしているシステムページを管理するので、システムはパフォーマンスを最適化するおよびノードアクセス時間を最小化するためにネットワークの活性レベルおよびアクセスパターンに応じて動的にデータを動かす能力を有する。システムは更に、ファイルシステム、データベースシステム、および要求しているノードに対してウェブページを記憶、共有、および送達するシステムのような複数の構造化記憶装置システムの異なるタイプに対して分散制御を提供する。システムデータはネットワークノードに亘って分散されるのでシステムはさらに動作中に発生したエラーを修復することができる。適当なデータ構造および動作方針はノードが損傷するまたは情報を紛失する場合、システムが同定できることを提供される。情報は位置づけられ得、または再生成され得、およびシステムをＮ＋１冗長に戻すネットワーク上の他のノードに再分散される。任意に、共有メモリシステムはネットワークに接続されるいくつかのまたはすべてのメモリデバイスに亘ってデータの記憶装置を分散する分散共有メモリシステム（ＤＳＭ）のように使用され得る。ネットワークに接続され得るメモリデバイスはハードディスクドライブ、テープドライブ、フロッピーディスクドライブ、ＣＤ−ＲＯＭドライブ、光ディスクドライブ、ランダムアクセスメモリチップ、または読み取り専用メモリチップを含む。ある局面で、本発明はデータ上の分散制御を提供するためのシステムでノードの故障の後の継続的な動作方法に関する。複数のノードはネットワークによって相互連結され、およびノードは周期的に連結情報を交換する。各ノードの記憶はデータを操作するためのデータ制御プログラムのインスタンスである。従って、データ制御プログラムの多重に分散されたインスタンスはネットワーク上に存在する。データ制御プログラムの各インスタンスは分散共有メモリシステムをインターフェイスする。このメモリシステムは相互接続されたノードに亘って分散記憶装置およびアドレシング可能なデータの持続的記憶装置を提供する。データ制御プログラムの各インスタンスはその中に含まれるデータを有するメモリデバイスとして共有メモリシステムを使用するのに作動される。共有メモリシステムはデータ上で分散制御を提供するデータへのアクセスを調整する。交換連結情報はノードの故障を決定するのに使用される。ノードの故障が認識されると、故障したノードが関係したデータの部分が決定される。別の局面で、本発明は、データに分散制御を提供するためのシステムにおいて、ノード故障後、連続的に動作する方法に関する。複数のノードは、ネットワークによって相互接続され、ノードは定期的に連結情報を交換する。操作データにおけるデータ制御プログラムのインスタンスが各ノードに格納される。従って、データ制御プログラムの複数の、分散インスタンスはネットワーク全体に存在する。データ制御プログラムの各インスタンスは、相互接続されたノードを横切って分散ストレージを提供し、データのアドレシング可能持続性ストレージを提供するための全体的なアドレシング可能データストアとインターフェースする。データ制御プログラムの各インスタンスは、メモリデバイスがその中で維持されたデータを備えるように全体的なアドレシング可能データストアを用いるために動作される。全体的なアドレシング可能データストアは、データに分散制御を提供するためのデータへのアクセスを調整する。変換された連結情報はノード故障を決定するのに用いられる。一度ノード故障が認められると、原因である故障のおきたノードのデータの一部分が決定される。上記のおよび他の目的、捉え方、特徴、本発明の利点は以下の明細書および請求の範囲から、更に明らかになる。図面の簡単な説明図面において、概して、同様の参照文字は、異なった図面を通して同じ部分に関する。また、発明の原理を例示のために概して強調されているため、図面の寸法は、正確でない。図１は、本発明における構造化データストレジシステムの分散アドレシング可能共有メモリの概念上のブロック図である。図２は、ネットワークノードを論理的に組織する実施形態の図式である。図３は、図１のシステムのある実施可能の実施形態の図であり、言い換えれば、ソースコードファイル、ワードプロセッシング文書ファイルなどコンピュータファイルに関するストレージを提供する分散アドレシング可能共有メモリファイルシステムの図である。図４は、図３のファイルシステムとともに用いるのに適したディレクトリエントリ、および連想ファイル記述子（「Ｉノード」として公知である）の組織のグラフィカルな表示である。図５は、図３のファイルシステムとともに用いるのに適したＩノードの図である。図６は、ファイルシステムメタデータを更新するための工程のフローチャートである。図７は、分散共有メモリコンピュータネットワークを示す。図８は、図７に示されたある分散共有メモリコンピュータネットワークを更に詳細に示した機能的ブロック図である。図９は、図８に示されたネットワークとともに実行するのに適した共有メモリサブシステムをさらに詳細に示す。図１０は、本発明によるある共有メモリサブシステムの機能的なブロック図である。図１１は、図１０で示されたタイプの共有メモリサブシステムによって提供され得るディレクトリページを示す。図１２は、共有メモリの中で分散され得、図１１に示されたタイプのディレクトリページを形成し得るディレクトリを示す。図１３は、分散共有メモリ部分をトラッキングするための図１２によるディレクトリを用いたシステムを形成する機能的ブロック図を示す。説明本発明によるネットワークシステム１０は、複数のネットワークノードを含み、ネットワークノードは構造化ファイルシステムあるいはデータベースなどのデータの構造化ストアを格納するメモリ空間にアクセスする。各ノードは少なくともデータ制御プログラムを含み、データの構造化ストアへアクセスし、および構造化ストアを管理する。データの構造化ストアはアドレシング可能共有メモリに格納され得るか、あるいはデータの構造化ストアはさらに従来的な様式で、格納され得る。例えば、各ノードは、データの構造化ストアの特定のエレメントあるいは複数のエレメントに格納することに責任を負い得る。そのような実施形態において、データ制御プログラムは、全体的な独自の識別子を用いて構造化ストアの所望部分ヘアクセスし得る。基本的なシステムは、識別子を所望のデータへアクセスするためのネットワーク転送コマンドを含んだ一以上のコマンドに翻訳する。他の実施形態で、データの構造化ストアはアドレシング可能共有メモリ空間に格納され、ノードが、標準メモリアクセスコマンドを用いる構造化ストア部分へ容易にアクセスすることを可能にする。システム１０はファイルシステム、データベースシステム、ウェブサーバ、オブジェクト貯蔵システム、あるいは組織化されたデータセットを維持するための任意の他の構造化ストレージシステムであり得る。本明細書で用いるように、用語「ウェブサーバ」は、任意のプロセッサを意味し、それは、データオブジェクト(アクティブＸオブジェクトなど)、アプリケーション(ＪＡＶＡアプッレットなど)、あるいはファイル（ＨＴＭＬファイルなど）を、ウェブプロトコル（たとえばｈｔｔｐあるいはｆｔｐ）を介してリクエスタへ転送する。ある開示された実施形態において、システム１０はファイルシステムであり、種々のコンピュータファイルを維持する。しかし、これは例示的な目的のために提供される本発明のある実施形態でしかない。本発明は、複数の構造化ストレージシステム（例えば、データベースシステム、ウェブページシステム、インターネットなど）のうちの任意の１つを提供するために用いられ得る。本発明は、ファイルシステムあるいは、本明細書に記載された他の特定の実施形態に限定され得ない。図１を参照すると、本発明に依るネットワークシステム１０は複数のネットワークノード１２ａ〜１２ｄおよびデータ２８の構造化ストアを格納するための部分２２を備えたアドレシング可能共有メモリ空間２０を備える。各ノード１２ａ〜１２ｄは、幾つかのサブエレメントを含み得る。例えば、ノード１２ａはプロッセッサ３０ａ、データ制御プログラム３２ａ，および共有メモリサブシステム３４ａを備える。開示された実施形態において、ノード１２ａおよび１２ｃの２つのノードは、アドレシング可能共有メモリ空間２０の中にデータ２８の構造化ストアをグラフィカルに表現するディスプレイ４０および４２を提供するモニタを備える。アドレシング可能共有メモリ空間２０は、各ネットワークノード１２ａ〜１２ｄを相互に連結し、アドレシング可能共有メモリ空間２０の中に含まれたデータ２８の構造化ストアへのアクセスを各ノード１２ａ〜１２ｄへ提供する。本発明によるシステム１０は、数ある中で、各ネットワークノード１２ａ〜１２ｄに、データ２８の構造化ストアの共有制御を提供する。従って、システム１０は、ネットワークのノードにわたって、データストアの制御を分散し得る。この目的のために、ノード１２ａなどのシステム１０の各ノードは、共有メモリサブシステム３４ａとインタフェースするデータ制御プログラム３２ａを備える。データ制御プログラム３２ａは、ファイルシステムなどの、構造化ストレージシステムとして作動し得、データの構造化ストアを維持するために、および、データの構造化ストアを格納し得るアドレシング可能メモリデバイスとして共有メモリシステムを用いるために用意される。データ制御プログラム３２ａの指示で、共有メモリサブシステム３４ａは、アドレシング可能共有メモリ空間２０内のデータにアクセスし得、データを格納し得る。これらの協力的なエレメントは、構造化ストレージシステムを提供する。それは、分散アーキテクチャを備え、それによって、中央集権化制御および中央集権化サーバに依存した公知の構造化ストレージシステムよりも優れた故障耐性、信頼性、および可撓性を達成する。従って、本発明は、分散的に制御され、容易に評価されるファイルシステム、データベースシステム、ウェブページシステム、オブジェクト格納庫、データキャッチングシステム、あるいは任意の他の構造化ストレージシステムをコンピュータネットワークに提供する。種々のシステム機能を提供するために、ネットワーク（図１の１２ａ〜ｄ）に存在する全てのノードのリストおよびノードに関する相互接続情報を維持する必要がある。ある実施形態において、ノード情報は、故障復元のレベルを提供するために用いられ、それは、以下に詳細に述べられる。ノードのリストを維持するための任意のデータ構造は、リストがそれぞれ簡潔に残存する間は、用いられ得る。ネットワークノードのリストがネットワーク技術から独立することもまた望まれ得、これはネットワークアドレスが直接用いられないことを意味する。ある実施形態において、独自の認識コードはネットワークにおいて、各ノード１２ａ〜ｄに割り当てられる。各ノードに割り当てられた認識コードは変えるべきではない。明細書全体で記述されるネットワークは、地理的に広められる、あるいは別個のネットワークに位置される数千のノードを含み得る。そのようなネットワークトポロジーのためのノードの平面リストを維持することは、階上に非常に多くのリストを維持するという結果になる。従って、階上での維持を減らすためにノードリストにいくつかの構造を加えることが、概して望まれる。図２に記述される実施形態を参照すれば、ノード１２ａ〜ｅはノード５２、５４のグループに集められ、種々のネットワークトポロジーをもたらすために定義され得る。ノードのグループはまた、グループ化され得る。これはノードおよびツリー構造の階層に至る。メンバーとして含む、ある「ルート」グループ５６があり、全グループおよびノードはネットワークに存在する。さらに、効率は、グループサイズを、所定のノードの数に限定することによって達成される。図２によって記述された実施形態において、グループメンバーシップはまれに多少なりとも変化することが期待される。一般に、ノード１２ａ−ｅが、ネットワーク中に取り入れられた場合、それは特定のグループ５２、５４に配置され、ノードグループの提携はネットワーク管理者によって保証されるコマンドの結果としてのみ変化すべきである。例えば、ノードがグループ化され、任意のあるグループに所属するノードの数が拘束されるという実施態様において、識別表示の２つの形式が各ノードに割り当てられ得る。識別表示の短い形式は、グループ化された情報を暗号化した形式を割り当て得、従って、しかしまれに、ネットワークトポロジあるいは論理的組織を用いて変化し得る。識別表示の長い形式はまた、不変状態で保証される各ノードへ割り当てられ得る。後者の形式は主に、ネットワークにおいて、各ノード１２ａ〜ｅで参照するために用いられる。例えば、ノード５２および５４のグループは６４のメンバーに限られ得、各ノードに対して識別情報をエンコードするのに６ビット必要である。従って、１よりも大きく最大６４までのノードグループが存在するときに、１２ビットでシステムがネットワークにおいて任意のノードを個別に識別できる。６４を超えるノードグループが存在するネットワークに対して、ノードグループはそれら自体がグループ化されなければならなず、システムにおいて任意のノードを個別に識別するためには１８ビットが必要とされる。１２ａ〜ｅの各ノードには、また、ノードの寿命において不変である永久識別コードが割り当てられる。永久識別コードは、永久識別コードを空間において固有にするようにグローバルアドレス要素を使用して構築され得、および、永久識別コードを結局固有にするように日付けおよび時間要素を使用して構築され得る。従って、本実施形態において、ノードの永久識別コードはアドレスおよびタイム−スタンプの両方から構成され、その永久識別コードが固有であることを確実にする。図１を再度参照すると、本発明のシステム１０は、アドレシング可能共有メモリ空間２０内にデータ構造化ストア２８を維持している。ノード１２ａ〜１２ｄのそれぞれは、共有メモリサブシステム３４ａ〜３４ｄを介してアドレシング可能共有メモリ空間２０にアクセスすることができる。共有メモリサブシステム３４ａ〜３４ｄのそれぞれは、そのノードにアドレシング可能共有メモリ空間２０へのアクセスを提供する。共有メモリサブシステム３４ａ〜３４ｄは、ノードのメモリアクセス動作のそれぞれを調整して、所望のデータへのアクセスを提供し、およびアドレシング可能共有メモリ空間２０においてデータのコヒーレンシー (coherency)を維持する。このことにより、相互接続されたノード１２ａ〜１２ｄは、アドレシング可能共有メモリ空間２０をデータを格納および検索するための空間として使用することができる。アドレシング可能共有メモリ空間２０の少なくとも一部は、データの持続性記憶装置を提供する物理的なメモリシステムによって支持される。例えば、アドレシング可能共有メモリ空間２０の一部は、１以上のハードディスクドライブに割り当てられるかあるいはマッピングされ得る。この１以上のハードディスクドライバは、ネットワーク上に存在するか、あるいは、特定のノードに対するローカルハードディスク記憶装置として、ネットワークノード１２ａ〜１２ｄのうちの１以上と関連する。従って、図１は、本発明のシステムが、アドレシング可能共有メモリ空間へのアクセスをネットワークノードに提供する共有メモリサブシステムを有することを示す。その空間の少なくとも一部は、１以上の持続性記憶メモリ装置（例えば、ハードディスク）の少なくとも一部分に割り当てられ、ノードがデータを１以上の持続性記憶メモリ装置に格納および検索することならびに、ノードがデータを１以上の持続格納メモリ装置から格納および検索することを許容する。このようなアドレシング可能共有メモリ空間の好ましい実施形態は、１９９６年１１月２２に出願された同一譲受人の米国特許出願第０８／７５４、４８１号に記載されており、この特許を参考として援用する。それ故に、本発明の１つの実現はノード１２ａ〜１２ｄのそれぞれが、それぞれの共有メモリサブシステムを、持続的なデータ記憶装置を提供するメモリ装置として使用し得ることである。データ制御プログラム３２ａ〜３２ｄのそれぞれは、それぞれの共有メモリサブシステム３４ａ〜３４ｄに結合する、ソフトウェアモジュールであり、従来のデータ記憶プログラムとローカルメモリ装置との間のインタフェースと同様に動作する。例えば、データ制御プログラム３２ａは、共有メモリサブシステム３４ａにデータをストリームすることができ、共有メモリサブシステム３４ａからデータを収集することができる。共有メモリサブシステムはメモリアクセスをアドレシング可能共有メモリ空間２０に調整するので、それぞれのデータ制御プログラムは、ネットワークにおける他のデータ制御プログラムとのやり取りを管理および調整しなくてもよい、あるいは、１以上の中央サーバとのやり取りを管理および調整しなくてもよい。従って、各データ制御プログラム３２ａ〜３２ｄは、ネットワークノード１２ａ〜１２ｄのうちの異なる１つに存在するピアインカーネーション（すなわち、インスタンス）であり得、ローカルハードディスクのような、ローカルメモリ装置として共有メモリサブシステム３４ａ〜３４ｄのそれぞれを処理することができる。１以上のデータ制御コントロールプログラム３２ａ〜３２ｄは、アドレシング可能共有メモリ空間２０内に含まれたデータ構造化ストア２８をグラフィクカルに示す、グラフィカルユーザインタフェース４２を提供することができる。グラフィカルユーザインタフェース４２は、ノード、例えば、ノード１２ａでユーザがデータオブジェクトをグラフィクカルにデータ構造化ストア２８に挿入することを許容する。この最後に、データ制御プログラム３２ａは、データストリームを共有メモリサブシステム３４ａに与える、１セットのコマンドを形成し、共有メモリサブシステム３４ａはデータストリームを使用してオブジェクトをデータ構造化ストア２８内に格納する。同様に、他の共有メモリサブシステム３４ｂ〜３４ｄは、データ構造化ストア２８に対してこの変更を表すそれぞれのノードに情報を提供することができる。従って、簡単のためだけにノード１２ｃに対しては図１に示されるように、（グラフィカルユーザインタフェース４０を含む）ノードは、ノード１２ａのデータ制御プログラム３２ａによって影響されたデータ構造化ストア２８に対する変更を反映する。特に、ノード１２ｃのグラフィカルユーザインタフェース４０は、オブジェクトがデータ構造化ストア２８内に配置されることをユーザに示すことができる。例えば、アドレシング可能共有メモリ空間２０は、データ構造化ストア部となるデータ構造化ストア２８内に配置され得るデータオブジェクト５０ａ〜５０ｃも含む。図示されるように、ノード１２ａでのシステムユーザは、オブジェクト５０ａをデータストア２８内のセット位置に挿入されるように指示することができる。データ制御プログラム３２ａは、共有メモリサブシステム３４ａを、オブジェクト５０ａをデータストア２８内の適切な位置に配置するように指示する。さらに、ノード１２ｃ上の共有メモリサブシステム３４ｃは、データストア２８内の変更を検出し、および、グラフィカルユーザインタフェース４０内における変更を反映する。いま図３を参照して、構造化ファイルシステム６０は、全てのネットワークノードにとってコヒーレントの単一ファイルシステムのように見えるものが実際にアドレシング可能共有メモリ空間２０に結合された全ネットワークノードにつながっているときに、アドレシング可能共有メモリ空間２０の特性を使用する、本発明の特別の実施形態である。図３のファイルシステム６０は、様々な点において、公知の物理的ファイルシステムおよび分散ファイルシステムと異なる。ディスクブロック上へファイル組織をマップする公知の物理ファイルシステムに対して、本発明によるファイルシステム６０は、ディレクトリおよびファイル構造の分散アドレシング可能共有メモリシステム２０上へのマッピングを管理する。分散アドレシング可能共有メモリシステム２０は、ネットワーク上の１以上の持続性記憶装置（例えばハードディスク）の少なくとも一部分にマップされるか、あるいは、割り当てられる、アドレシング可能空間の少なくとも一部分を有する。公知の分散ファイルシステムとは違って、本発明のファイルシステム６０はピアノードを使用する。各ピアノードは、同じデータ制御プログラムのインカーネーションあるいはインスタンスを有する。また、公知のファイルシステムとは違って、概して本発明のファイルシステム６０は；ネットワークノードにおけるデータコヒーレンスを維持し；自動的にデータを冗長および障害耐性のために複製する；自動的および動的にデータをネットワークの使用およびトラフィックパターンを変更するためにアカウントに移動する；および様々の他の利点および進歩を提供する。これらのいくつかが、１９９６年１１月２２に出願された同一譲受人の米国特許出願第０８／７５４、４８１号に開示されおり、この特許を参考として援用する。また、図３を参照して、ファイルシステム６０はアドレシング可能共有メモリ空間２０内にある程度存在し、データ構造化ストア６２、スーパールート６４、ファイルセット６６〜７４、ディレクトリエントリ８０およびファイルあるいは文書８２を含む。２つのネットワークノード８４および８６は、ロジカルドライブ９０および９４を介してアドレシング可能共有メモリ空間２０をアクセスすることが（図１を参照して上述したように）示される。ノードを実行するアプリケーションプログラム９２および９６は、データ制御プログラム（図３には図示されないが、図１に３２ａ〜３２ｄとして図示）と相互作用し、ノードにおけるデータ制御プログラムに、ロジカルドライブ９０および９４をアクセスさせる。開示される実施形態において、ロジカルドライブはファイルシステム６０と関連するインストール可能なファイルシステムドライバを介してファイルセットディレクトリに「接続する」ＤＯＳデバイスである。ファイルシステム６０は、ネットワークノードの全てによって共有されるアドレシング可能共有メモリ空間２０につき１つのグローバルファイルシステムを支持する。このグローバルファイルシステムは、ファイルセット６６〜７４として示される、１以上の独立したファイルの集合に組織化される。ファイルセットは、伝統的なファイルシステム部分に論理的に等しいと考えられ得る。ファイルセットは、ルートディレクトリにルートされるディレクトリツリー構造として、階層的に組織化されたファイルの集合である。ツリーにおけるリーフのないノードがディレクトリ８０であり、ツリーにおけるリーフは通常のファイル８２かあるいは空のディレクトリである。ファイルセット内のサブディレクトリツリーは、ファイルを複ディレクトリにリンクすることによって重複し得る。ファイルシステム６０をファイルセット６６〜７４に分けることの利点は、システム６０のユーザに対するより柔軟なファイルシステム管理を提供することである。ファイルシステム６０は、非常に大きいサイズ（例えば、幾千ギガビットの記憶装置を有する幾百のノード）になるまで成長すると、ファイルが管理エンティティのグループに組織化され、他の操作に影響を与えることなしに管理操作が独立に個々のグループに適用され得ることが望まれる。アドレシング可能共有メモリ空間２０におけるファイルセットが共通の構造において説明され、列挙されている。ルート６４はアドレシング可能共有メモリ空間２０においてファイルセットを配置するための開始点を提供する。ルート６４はアドレシング可能共有メモリ空間２０における静止した公知のメモリ位置に格納され得、分散された共有メモリシステムプログラムインタフェースを介してアクセスされ得る。ノードが最初にファイルセットをアクセスするときに、ノードはルート６４を探索し、ファイルセット、例えば、ファイルセットをアクセスするために使用される共有メモリアドレスに関連した識別子を決定する。一旦ノードが識別子を決定すると、ノードはファイルセットのルートディレクトリをアクセスすることができる。ルートディレクトリから、ノードは完全なファイルディレクトリツリーをトラバースして、所望のファイルを配置することができる。ファイルシステム６０によって使用されるファイルセットは、「ファイルセット」の見出しのもとに、下記に詳細に説明される。図４を参照して、本発明によるファイルシステム６０の開示される実施例において、（図２のディレクトリ８０のような）ディレクトリ１２６は、ディレクトリＩノードあるいは識別子１２８において開始することによってアクセスされる。ディレクトリＩノードあるいは識別子１２８は、ディレクトリエントリストリーム識別子１３０を示すアドレスを含む。この識別子１３０は、ファイル１からファイル３に対するディレクトリエントリを含むデータブロックに対するポインタである。ファイル１に対するディレクトリエントリは多くのエントリを有し、そのエントリの１つはファイル名を含む列（string）であり、他のエントリはＩノードおよびストリーム識別子１３２のアドレスである。ファイル１に対するストリーム識別子は、ファイル１を構成するアドレシング可能共有メモリ空間２０における、種々の４キロバイトページを配置し検索するように使用される。他のファイルも同じ方法で、アドレシング可能共有メモリ空間２０から検索されおよび構築される。ファイルシステム６０によって使用されるディレクトリは、「ディレクトリ」の見出しのもとで詳細に説明される。図５に開示されるファイルシステム６０の実施態様において、ファイル９８は、データ１００、１０２、１０４、１０６および１０８の１つ以上の共有ページによって、アドレシング可能共有メモリ空間２０において表現される。ファイル９８それぞれは、様々なファイル属性１１２を含む記述子１１０もしくはファイルＩノード（Ｉｎｏｄｅ）を有する。ファイル記述子１１０は、データストリーム記述子１１４を指すアドレスを含み、データストリームはそれ自身が、確認可能な共有メモリ空間２０において特定のページを指すアドレス１１６、１１８、１２０、１２２および１２４の１つ以上を含む。開示された実施態様においては、ページはアドレッシング可能共有メモリ空間２０において原始的ユニットであり、４キロバイトのデータまでを含んでいる。たとえ４キロバイト全てが必要でないとしても、全てのページが使用される。これは、約２キロバイトのデータのみを含むページ１０８によって描かれる。ファイルシステム６０によって使用されるファイルは、以下の見出し「ファイル」においてより詳細に説明される。ファイルセットファイルセットは、ファイルシステム６０のための基本ユニットである。ファイルセットそれぞれは、２５５文字までのネームで確認される。ファイルシステム６０は以下の活動タイプを介して管理者がファイルセットを管理することを可能にするファイルセットレベル動作のセットを読み出す。ファイルセット作成この動作は新しいファイルを作成する。ファイルセットは最初１つのファイルで作成され、空のルートディレクトリである。デフォルトファイルはアドレッシング可能共有メモリ空間２０の初期化において自動的に作成される。ファイルセット消去この動作はファイルセットを消去する。ファイルセットの全てのファイルは消去され、ファイルセットにおいてファイルに割り当てられる全ての共有メモリ空間は破棄され、補助物理的記憶装置は新しい記憶装置と引き替える。ファイルシステム６０は、ファイルセットにおけるファイルデータストリームについての開示の対処法がなくなって初めて、ファイルセットの消去のみを認め得る。ファイルセットの消去を用意するために、ファイルセットは、オフラインにすることによって「シャットダウン」されなければならない。ファイルセット列挙この動作はアドレッシング可能共有メモリ空間２０において特定のまたは全てのファイルセットを列挙する。ファイルセット制御この動作はファイルセット属性のセッティングのようなファイルセットレベル制御ルーチンを実行する。マウントイクスポート制御ディレクトリは局部デバイスに接続すなわち「マウントされ」、ＷｉｎｄｏｗｓＮＴレジストリまたはそのような情報のための他のいくつかの同様の中央記憶領域に格納されたパラメータを使用する。第１のスタートアップのとき、データ制御プログラム６０は中央記憶領域にアクセスし、どのファイルセットがマウントされるべきであるかを決定する。データ制御プログラムは中央記憶装置におけるエントリにより認識されたファイルセットそれぞれを表すファイルオブジェクトを作成する。いくつかの実施態様では、適切なＡＰＩの呼び出しを行うことによりデータ制御プログラム６０がファイルセットを動的にマウントしアンマウントを可能にするＡＰＩが提供され得る。ファイルシステム６０のユーザは共有メモリ「論理容量」に気付かないが、容量（もしくは伝統的な物理ファイルシステムの検出における区分）としてファイルセットそれぞれをある程度見る。Ｗｉｎ３２ＧｅｔＶｏｌｕｍｅＩｎｆｏｒｍａｔｉｏｎはファイルセット上で（より詳細には、ファイルセットが接続された論理デバイス上で）情報を得るために使用される。全てのファイルセットはアドレッシング可能共有メモリ空間２０における格納の同じ格納場所を共有するため、ファイルセットそれぞれを用いるユーザにリターンする全容量の大きさは、アドレッシング可能共有メモリ空間２０における現総記憶容量である。同じアプローチが総空き空間情報に対して受け入れられ、アドレッシング可能共有メモリ空間２０の総合値は、ファイルセットそれぞれへリターンする。ディレクトリディレクトリエントリ走査は、ユーザアプリケーションにより最も頻繁に活動する動作の一つである。ディレクトリエントリ走査はまた、パフォーマンスの点で最も明白な活動であり得る。結果として、多くの配慮はディレクトリ走査が効率的になるように向けられ、ＷｉｎｄｏｗｓＮＴＦｉｌｅｓＳｙｓｔｅｍ（ＮＴＦＳ）は、ファイルＩノードからの情報を読むことから外れることなくディレクトリエントリを走査および読むことによって満足させられ得るリードディレクトリ動作のようなディレクトリエントリにおいて、十分なファイルＩノード情報を複製する。このスキームの問題点は、ファイルタイムスタンプおよびファイルサイズなどの二重に格納されたファイルメタデータが非常に頻繁に更新され得、それがメタデータを更に高価に更新するということである。しかし、このオーバーヘッドは、ディレクトリ走査動作において獲得されるパフォーマンスに抗して好ましく思われる。ファイルシステム６０は、ディレクトリエントリにおけるファイルＩノード情報を複製することによって効率的なディレクトリ走査を提供するのと同じ原理を取り入れる。ディレクトリエントリそれぞれは、Ｗｉｎ３２照会ファイル情報リクエストを満足させるのに十分な情報を含んでいる。ファイルＩノードは分割されたページ上でファイルストリーム記述子を用いて格納される。Ｉノードはディレクトリエントリにおいてポインタを介して配置される。ファイルシステムのディレクトリエントリはディレクトリファイルのディレクトリエントリデータストリームに格納される。最大空間利用化のために、ディレクトリエントリそれぞれは、全てのエントリを保持し得るページにおいて第１の利用可能な空き空間上に割り当てられる。エントリの長さは、ファイルの１次ネームの長さに依存して変化する。以下の情報はディレクトリエントリの部分であり、作成時間、変更時間、最終書き込み時間、最終アクセス時間、ストリーム記述子へのポインタ、親ディレクトリＩノードへのポインタ、ＭＳ−ＤＯＳ型ファイル属性、およびＭＳ−ＤＯＳ形式ファイルネーム（８．３ネーミングコンベンション）である。ファイルネームの長さの平均化のために、ページは約３０エントリまでを含む。ディレクトリエントリにおける全てのファイル情報もまた、ファイル１次ネームおよびＭＳ−ＤＯＳファイルネームを除いてファイルＩノード内に含まれる。ファイル１次ネームおよび関連するショートネームは、ディレクトリエントリのみに格納される。これは、Ｉノードサイズ定型をつくる。ファイル情報が修正（ファイルネームを除く）されたとき、Ｉノードは、更新処理のコンテクストにおいて更新され、それにより常にほとんど最新の情報を含む。関連ディレクトリエントリ変更はだらだらと流され、二重更新のコストを低減する。これは、ディレクトリエントリ更新と対応することなしにＩノード更新のが流されるか回復され得ることを意味する。ディレクトリエントリがＩノードと同調から外れるならば(Ｉノード変更がディレクトリ変更なしに成功的に流されたとき)、エントリは、Ｉノードが更新された次の時間に更新される。ディレクトリ更新の同調を促進させるために、ディレクトリエントリ（Ｉノード）は多重ページを補い得ない。図４に、ディレクトリエントリおよび関連するＩノードの構成が描かれている。ファイルファイルシステム６０のファイルは、ファイルシステムメタデータおよびデータのストリームを含み、ファイルを記述する。ファイルは、オブジェクトがＩノードを呼び出すことによりファイルシステム６０に記述される。Ｉノードは、ファイルメタデータを格納するデータ構造である。それは、ファイルシステム６０にファイルを表示する。データストリームは、バイトの論理的連続ストリームである。それは、アプリケーションによって格納されるデータあるいはファイルシステム６０によって格納される内部情報であり得る。データストリームは、記憶装置のためにアドレッシング可能共有メモリ空間２０から割り当てられたページへマップされる。ファイルシステム６０は、４キロバイトセグメントのシーケンスへデータストリームをセグメントし、セグメントそれぞれはページと対応している。ファイルシステム６０は、データストリームにつき二つのサイズ情報を保持する。すなわち、データストリーム内の複数のバイト、および複数のページ内の割り当てサイズである。情報をマッピングするセグメントページへのバイト−ストリームは、ファイルメタデータの部分であり、データストリーム記述子を呼び出す構造内に格納される。図５を参照のこと。データへのユーザの要求は、バイト位置ゼロのデータストリームの開始からオフセットされることにより測定された開始バイトの位置およびバイトの範囲という点で特定される。ファイルシステム６０は、開始バイトを含むページおよびページの始まりからのイントラページオフセットへオフセットをマッピングする。ファイルシステム６０の全てのファイルは、少なくとも２つのデータストリーム、つまりデフォルトデータストリームおよびアクセス制御リスト（ＡＣＬ）ストリームを有する。ファイルそれぞれは、オプションとして他のデータストリームを有し得る。ＡＣＬストリームは、ファイル上でセキュリティアクセス制御リストに格納するために使用される。データストリームそれぞれは、個々に名付けられ、ユーザは特定のデータストリームへのアクセスを作成あるいは公開し得る。デフォルトデータストリームのネームは、ファイルの１次ネームと仮定される。データストリームにアクセスするために、ネームによる所望のデータストリームへのファイルハンドルをはじめに開示しなければならない。もしファイルネームが使われているならば、デフォルトデータストリームのハンドルが開示される。この開示されたファイルハンドルは、データストリーム上で動作する全てのファイルシステムサービスにおいてデータストリームを示す。ファイルシステム６０は、ファイルレベルでの動作のためにサービスのセットを書き出す。サービスへの入力は、ファイルオブジェクトハンドル（Ｉノード）またはデータストリームオブジェクトハンドルおよび動作特定パラメータであり、バイト位置においてデータストリームの所望の部分を含む。開示されたファイルは、データストリームオブジェクト（あるいはまさにファイルオブジェクト）により示される。ユーザのアクセスファイルは、これらのファイルオブジェクトを使用し、ファイルハンドルを介してユーザを確認する。ファイルハンドルは、開示されたファイルストリームのインスタンスを示す３２ビットエントリである。例えば、ＷｉｎｄｏｗｓＮＴは、ファイルオブジェクトを作成し、ファイル作成またはファイル開示のためのユーザの要求への応答においてユーザへのファイルハンドルをリターンする。ファイルシステム６０はファイル制御ブロックへのポインタを初期化する。多重ファイルオブジェクトは、開示されたコンテクストそれぞれのための分離ストリームオブジェクトを保持するファィル制御ブロックそれぞれおよび同一のファイル制御ブロックをポインティングする。外見的には、ファイルハンドルはユーザにとって曖昧になる。多重開示は、同一のファイルに反して供給され得る。ユーザがファイルを閉じると、ファイルオブジェクトおよび関連するファイルハンドルは消去される。ファイルシステム６０は、徐々に大きくなるセグメントシーケンス内にファイルストリームをマッピングし、ここで各セグメントは一つ以上のページに対応する。ファイルシステム６０は、データストリーム用の隣接しているページを予約しようとするが、必要とされる基準(needed basis)、たいていはデータストリーム割り当てサイズを越えて書き込むことにより要求されたファイル拡張の結果として真の補助記憶装置を割り当てるだけである。ファイル拡張要求を受け取ると、ファイルシステム６０は、拡張サイズをバイト数で４キロバイトの倍数にまで切り上げ、それを整数のページにして、実際の割り当てに対するページを要求する。ファイルシステムによって割り当てられた４キロバイト数のページは、作成されたファイル拡張要求数に依存する。ファイルシステム６０は、第１の拡張要求に対して１つの４キロバイトページを、第２の要求に対して２つの４キロバイトページを、第３の拡張要求に対して４つの４キロバイトページを割り当てる。新たに割り当てられたページは、ゼロで満たされている。隣接しているページを予約する事によって、ファイルシステム６０は、ページマッピングのバイトオフセット上のブックキーピング情報の量を削減する。ファイルシステム６０は、ファイルに対する要求されたメモリ空間よりも大きく(ある時はかなり大きい)、ページ毎に補助記憶装置を割り当てることによって記憶装置を実現する。４キロバイトに割り当てられたセグメントは、使われていない記憶装置空間を削減するように選択され、使われているファイル拡張に対して合理的な割り当てサイズを依然として提供する。割り当ては高価な動作（分散動作を最も含みそうである）であるので、より小さい割り当てサイズは効果はない。より大きな割り当てサイズは、非効率的な空間利用または付加的な複雑さを引き起こし、使われていない空間を管理する事となる。４キロバイトのセグメントもまた、ページに対してたやすくマッピング、すなわちページマッピングに対するデータストリームセグメントを簡略化する。類似物は大きなディスクに対する４キロバイトのクラスタ（セグメント）サイズのＮＴＦＳの割り当て方針を用いて作成され、割り当てをスピードアップし、且つ断片化を削減するが、実際のディスク上割り当てセグメントサイズがローカルディスクサイズおよび物理ファイルシステムに大きく依存することから、そのような類似物は完全に正当なものではない。各ディスクのパーティションの割り当てを制御し、それによって割り当てのために利用可能な自由なボリューム空間を素早く決定できるＮＴＦＳについて同様に、ファイルシステム６０は合計の利用可能な空間情報を要求し、且つこの情報を用いて割り当て処理を進めるかどうかを素早く決定する。合計の利用可能な空間が要求された割り当てサイズに満たない場合、要求は即座に拒否される。またあるいは、ファイルシステム６０は、ページの割り当てを進め、要求を満たす。実際の合計の利用可能な空間は常に変化していることから、ファイルシステム６０が割り当てを進めることができるという事実は、割り当てが成功するということを保証するものではない。ファイルシステム６０は、下にある分散アドレシング可能な共有メモリシステム２０のページレベル複製能力を利用する。そのメモリシステムは上述で参考として援用されている米国特許出願において開示されている。ページレベル複製は、システムがファイル複製を提供することを可能にする。複製されたファイルのデータストリームは、自分自身で複製できるページによって元に戻される。このようにして、データストリームは、ファイルシステム６０の介入なしに自動的に複製される。多数の再生物によって消費される余分な空間は、ファイル（データストリーム）サイズに反映されない。ストリーム割り当てサイズは、一つの再生物に対して要求されたページにおいて合計の割り当てサイズを依然として報告する。しかし、ページバッキング（backing）のテンポラリファイルは、複製されない。ファイルアクセスおよびリソース共有−ロッキング共有メモリは、ファイルシステム６０のソフトウェアを動作させるピアノード（peer node）内のリソース共有に対する分散メカニズムを提供する。各ネットワークノード上でのファイルシステム６０の各インスタンスから、共有メモリリソース（すなわちページ）が他のローカルまたは遠隔スレッドと共有されているように見られる。ファイルシステム６０は、高レベルなファイルシステムロックを実行するための方法を必要とし、一定のリソース共有を提供する。任意の一致した制御構造は、ロックオブジェクトまたはセマフォのようなロックを実行するために使用され得る。データベースアプリケーションにおいて、ロッキングはまた、データベースインデックスまたはキーに関連付けられた一致した制御構造を実行することによって達成され得る。ファイルシステムアプリケーションにおいて、ファイルまたはディレクトリに対するアクセスは制御され得る。ファイルシステムの別の例では、ロックはバイトレンジロッキングである。バイトレンジロッキングは、ファイルに対する共有アクセスを調整する能力をユーザに提供する。バイトレンジロックは、ファイルのバイト範囲にあるロックセットである。調整されたファイルに対する共有アクセスは、所望のバイト範囲でロックを使うことによって成し遂げられ得る。一般的に、高レベルなファイルシステムロックは、以下の様式で作用する。（ａ）ファイルシステムリソースが各ファイルシステム６０のインスタンスによって共有されるようになり、且つリソースに対するアクセスが、共有リソースを調整するための高レベルなロックを表すロックオブジェクトデータ構造を使用するロッキングプロトコルによって調整される。ロッキングプロトコルはロックの現在の状態を表すデータ構造の値である。（ｂ）リソースにアクセスするための各ノードでのインスタンスは、ロックデータ構造の状態（または値）を見ることが出来なければならず、状態（または値）が「ビジー」となるように「フリー」を変更するが、「ビジー」であるが「フリー」になるまで待たねばならないならば、「フリー」と「ビジー」との中間状態（すなわち２つより多いロック状態）であり得る。しかし任意のイベントにおいて、このバイトレンジロッキングインスタンスでは、ロックはファイルシステム６０のいくつかのスレッドによって共有／排他的にロックされた特定のバイトレンジの記述である。すでにロックされているバイトレンジにある、または重ね合わせるコンフリクトしている新しいバイトレンジのロック要求は拒否され、または要求者は（要求がどのようにして作成されたかに基づいて）ブロックし得る。（ｃ）各ノードインスタンスによるロックデータ構造へのアクセスまたはロックデータ構造の変更は、次に高レベルなリソース共有を調整するために使用され得るように直列化される必要がある。上述で参考として援用されている米国特許出願シリアル番号第08/754,481号で説明される共有メモリエンジンのロッキング特徴および能力は、ファイルシステム６０がページに対するアクセスを調整することを可能にする。エンジンはまた、リソースに対するアクセスを調整するために使用され得るが、バイトレンジロッキングのような複雑で高レベルなリソースロッキングの場合では、エンジンのロッキング特徴および能力を使用してロックを直接提供することは、以下の理由でコストが掛かり過ぎる。（ａ）各バイトレンジロックはロックを表示するページを要求し、バイトレンジロック数が多数であり得るので、ページ消費に関するコストは大変高くなり得る。（ｂ）エンジンロックは２つのロック状態（すなわち共有および排他）を提供するのみであり、高レベルなファイルシステムはさらなるロック状態を要求し得る。本発明のファイルシステム６０は、直列化を提供するための基礎（primitive ）としてエンジンロッキングを使用するファイルシステムロッキングを実行し、ロックデータ構造にアクセスして、ロックデータ構造を更新する。ロック構造を読み出すために、ファイルシステム６０は、ページが読み出される前に、エンジンロッキング特徴および能力を使用するデータ構造のページ上で共有ロックを用いて、データ構造が変更されるのを防ぐ。ロック構造を変更するために、排他的ロックがページ上で設定される。ページロックは、ロック構造値が読み出されるかまたは変更されるとすぐに、用いられて放棄される。ページロッキングおよびページの非有効な通知によって提供される直列化をもって、ファイルシステム６０は、高レベルなロックを以下の方法で実行する。（ａ）ファイルシステムロック（ＦＳロック）を用いるために、ファイルシステム６０は、ＦＳロックページ上で共有ロックを設定し、且つページを読み出してロック構造を調べる。（ｂ）ロック構造が、リソースが互換性のあるロックモードでロックされていないまたはロックされている場合、ファイルシステム６０は、ページを排他的にロックすることを要求し、１つのファイルシステム６０のノードインスタンスだけがロックデータ構造を変更し得ることを保証する。要求が成功する場合、ファイルシステム６０の書き込みはロックページをマッピングし、ロックを設定するためにロック構造を変更し、ページをロックせず、ノードにアクセスするページを設定する。（ｃ）リソースが互換性のないロックモードでロックされる場合、ファイルシステム６０は、ページをロックしないが、マッピングされたページの読み出しを保持する。次に自分自身（現在のスレッド）を一列に並べ、ロック値が変化したことを通知するシステムイベントを待つ。ロック値が変化すると、ファイルシステム６０のスレッドは、通知されたものを得て、上記のステップ（ａ）を繰り返す。ファイルシステム６０は、信号基礎を使用して通知を実行する。ロックを待つファイルシステム６０のスレッドは、システムイベントでブロックされる。ロックを含むページが変化しないと、信号は各ブロックされたファイルシステム６０のスレッドに送られる。その後、各ブロックされたファイルシステム６０のスレッドが呼び起こされ、ステップ（ａ）を繰り返す。ＦＳロックは、揮発性ページに記憶される。ファイルアクセスおよびリソース共有−バイトレンジロッキングバイトレンジロッキングは、Ｗｉｎ３２ＬｏｃｋＦｉｌｅ（）およびＬｏｃｋＦｉｌｅＥｘ（）ＡＰＩを介してユーザにエキスポートされるファイルシステムロッキングサービスである。これは、ファイルデータストリームの互いに異なる重複しない領域が複数のユーザによって同時にアクセスされることを可能にする。データストリームにアクセスするためには、ユーザは、ファイルの領域（バイトレンジ）をロックすることにより、領域への排他的または共有読み出しアクセスを獲得する。ファイルシステム６０は、ファイルの個々のデータストリームに対するバイトレンジロッキングをサポートする。以下のＷｉｎ３２スタイルバイトレンジロッキング挙動がサポートされる。（ａ）ファイルの特定の領域に対する共有又は排他的アクセスを獲得するためにファイルの領域をロックすることが用いられ、ファイルシステム６０はファイルハンドル（ｆｉｌｅｈａｎｄｌｅ）によりバイトレンジロックを追跡する。従って、ファイルハンドルは、ロックのオーナを独自に識別する方法を提供する。（ｂ）現在のファイルの終端位置を越えて延びる領域をロックすることは、エラーではない。（ｃ）排他的アクセスのためにファイルの一部分をロックすることは、他のすべてのプロセスがファイルの特定された領域に対して読み出しアクセスすることと書き込みアクセスすることとの両方を否定する。共有アクセスのためにファイルの一部分をロックすることは、他のすべてのプロセスがファイルの特定された領域に対して書き込みアクセスすることを否定するが、他のプロセスがロックされた領域を読み出すことを許可する。このことは、ファイルシステム６０が、ロック要求だけでなく全ての読み出しまたは書き込みアクセスに関しても、データストリームにセットされたバイトレンジロックをチェックしなければならないことを意味する。（ｄ）すでに共有された状態でロックされているか又は他のスレッドにより排他的にロックされているかのいずれかである領域に対して排他的ロックが要求された場合、要求は、特定された呼び出しオプションに依存してブロックするか失敗する。（ｅ）ロックは、ファイルの、現存するロック領域と重複し得ない。各バイトレンジロックに関して、ファイルシステム６０はロックを表すバイトレンジロック記録を作成する。記録は、以下の情報を含む。（ａ）バイトレンジ、（ｂ）ロックモード(共有または排他的)、（ｃ）プロセス識別、および（ｄ）Ｗｉｎ３２ロックキー値。ファイルシステム６０は、ファイルバイトレンジを、制御されたアクセスを有するリソースであるとみなす。各バイトレンジロック記録に関して、ファイルシステム６０は、ファイルシステムロック（上述したような）を作成することにより、バイトレンジ「リソース」へのアクセスを調整する。互換性バイトレンジロック要求（共有ロック）は、バイトレンジ記録に関連するファイルシステムロック上で読み出しロックをとる（ｔａｋｅｒｅａｄｌｏｃｋ）ことであると解釈される。排他的バイトレンジロック要求は、ファイルシステムロック上で書き込みロックをとる（ｔａｋｅｗｒｉｔｅｌｏｃｋ）ことにマッピングされる。上述したファイルシステムロッキング機構を用いた場合、所望のバイトレンジを含むページ上で待機中のロック要求は、ページコンテンツが変更されると通知される。本発明の特定の実施形態、すなわちファイルシステム６０をある程度詳細に述べてきたが、ファイルシステム６０の簡単な要旨を以下の３段落で述べる。ファイルシステム６０は、アドレシング可能な共有メモリ空間２０を、多くのネットワークノード（例えば１２ａ〜１２ｄ）により同時にアクセスされる共有平坦（ｆｌａｔ）識別子空間であるとみなす。ファイルシステム６０は、ファイルデータと、ページ内でバイトストリームとして論理的に表されるメタデータとをマッピングする。ページは、アドレシング可能な共有メモリ空間２０の単位である。ファイルシステム６０の観点から考えると、データストリームは、ページの秩序だった収集体内に記憶される。ファイルシステム６０は、参考のため援用される上記米国特許出願に記載されているエンジンを呼び出すことにより、そのメタデータとユーザファイルデータとを記憶するためにアドレシング可能な共有メモリ空間２０からページ内の空間を割り当てる。アドレシング可能な共有メモリ空間２０のうち、ファイルシステム６０により受け取られたセクションは、アドレシング可能な共有メモリ空間２０内の、ファイルシステム６０のインスタンスによりアクセスされ得るが、他のタイプのネットワークノードによってはアクセスされ得ない。ファイルシステム６０の各インスタンス（図１のデータ制御プログラム３２ａ〜３４ｄを含む）は、ファイルシステム６０を実行し従ってアドレシング可能な共有メモリ空間２０を介してファイルデータを共有する、他のすべてのネットワークノードの均等物である。ファイルシステム６０は、ローカルユーザに対しては、単一ノードの一貫性の特性を示し、共有を行うファイルは同一のノード上の他のプロセスと共有しているかのように挙動する。ファイルシステム６０のユーザの観点から考えると、以下のローカルな挙動が観察される。（ａ）ファイルデータ更新は、ネットワーク全体において一貫している。すなわちファイルページが変更されると、他のユーザによるオープンハンドル（ｏｐｅｎｈａｎｄｌｅ）を用いたファイルへの修正が即座に見られる。共有書き込みファイルアクセスに関しては、共有書き込みアクセスが調整されている場合、その調整は、通常バイトレンジロッキングにより、完全にユーザに委ねられる。（ｂ）フラッシュは、ネットワーク内のグローバルな動作である。すなわち、有効なダーティ（ｄｉｒｔｙ）ファイルページは、ファイルを開いているノードからフラッシュ（ｆｌｕｓｈ）され得る。フラッシュがうまく完了しない場合、得られるファイルデータ状態は、フラッシュ前の古い状熊または部分的に書き込まれた状態である。ファイルシステム６０のインスタンスは、共有アドレス空間を、データ記憶装置および情報伝送（ロッキングおよび情報共有）機構の両方として利用する。以下は、ファイルシステム６０が、参考のため援用される上記米国特許出願に記載されている基本的エンジンに発行し得るタイプの要求のリストである。（ａ）アドレシング可能な共有メモリ空間２０のひとまとまり（ｃｈｕｎｋ）を保存する。−−ファイルシステム６０は、連続したレンジのアドレスが保存されることを要求する。共有メモリ空間の保存は、メモリ空間の具現化（割り当て）を引き起こさず、単にアドレスによって表される空間を保存する。（ｂ）アドレシング可能な共有メモリ空間２０内のひとまとまりのアドレスの保存をキャンセルする。−−ファイルシステム６０は、もはや用いられていないレンジのアドレスを解放する。アドレスは一旦破棄されると再使用されないため、保存キャンセルのコールはない。（ｃ）アドレシング可能な共有メモリ空間２０のひとまとまりを具現化する。−−以前に保存されているアドレスに共有メモリ空間を割り当てる。割り当てられた空間はページとして戻されるが、戻されるのは、保存された共有メモリ空間がファイルシステム６０によってアクセスされ得るように割り当てられた後である。割り当てられたページはアクセス可能であるが、これらにアクセスするためには、ファイルシステム６０は、正式なアクセス要求を作成し、割り当てられているページが持続性であるか揮発性であるかを特定しなければならない。さらにファイルシステム６０は、必要に応じて、ページに必要なレプリカの数を特定し得る。（ｄ）ページを再度割り当てる。−−多くのページがファイルシステム６０によって解放される。ページによって表されるリソースはリサイクルされ得る。（ｅ）あるレンジのページにアクセスする。−−ファイルシステム６０はページに対する読み出し又は書き込みアクセスを要求する。このことによりページがローカルノードメモリに移動する。（ｆ）あるレンジのページに対する参照を取り除く。−−ファイルシステム６０は、もはやページにアクセスする必要がないことを示す。（ｇ）ページをロックまたはアンロックする。−− ファイルシステム６０は、ページに対するロックおよびアンロックを用いることにより、読み出し一書き込み更新をページに同期し、「共有、排他的」というロックのタイプを表す符号（ｒｏｃｋｓｅｍａｎｔｉｃ）が用いられる。（ｈ）ダーティページをフラッシュする。−−ファイルシステム６０は、ダーティページを持続性記憶装置にフラッシュすることを要求する。フラッシュは典型的には、ファイルが閉じられたとき又はファイルシステムのシャットダウン中にファイルシステムのコーラー（ｃａｌｌｅｒ）によって明示的に要求された場合に実行される。（ｉ）ページおよびサブページに関する属性を設定する。−−ファイルシステム６０は、ページの属性を用いることにより、所望のページ管理挙動を特定する。ファイルシステムによって設定される属性のいくつかは、ページにとっての最適コヒーレンシー（ｃｏｈｅｒｅｎｃｙ）プロトコル、いかにしてページが複製されるべきか(コアコピーの数)、ページがＲＡＭキャッシュにおいてキャッシュされるべきか否か、ページ上の１６バイトファイルシステム属性の設定を含む。（ｊ）ページの属性を読み出す(獲得する)、（ｋ）ｓｕｐｅｒ＿ｒｏｏｔの位置を獲得する、（ｌ）アドレシング可能な共有メモリ空間２０の総記憶装置空間（単位：バイト）および総フリー記憶装置空間（単位：バイト）を獲得する。（ｍ）トランザクションの開始、終了、コミット(ｃｏｍｍｉｔ)、中断、ログ記録の獲得などの、トランザクションロギング（ｌｏｇｇｉｎｇ）動作。アドレシング可能な共有メモリ空間本発明およびその様々な実施形態をある程度詳細に述べてきたが、上記で参考のため援用された、１９９６年１１月２２日に出願された、本出願と同一の所有者を有する米国特許出願シリアル番号第０８／７５４，４８１号に記載のアドレシング可能な共有メモリ空間に関して、より詳細な記載を提供する。以下の情報はすべて上記特許出願に含まれる。参考のため援用された米国特許出願に記載されているアドレス指定可能な共有メモリシステムは、ネットワーク上の各コンピュータにより共有され得る仮想メモリ空間を作成および管理し得、且つネットワークに接続された各メモリデバイスの記憶装置空間をカバーし得る「エンジン」である。従って、ネットワーク上に記憶されたすべてのデータは、仮想メモリ空間内に記憶され得、データの実際の物理的位置が、ネットワークに接続されたいずれかのメモリデバイス内にあり得る。より詳細には、エンジンまたはシステムは、仮想メモリ空間の、例えば４キロバイトの部分を表すグローバルなアドレス信号を作成または受信し得る。グローバルなアドレス信号は、基本コンピュータハードウェアの物理的空間および識別子空間から分離され得る、すなわち、無関係にされ得る。それにより、システムに接続されている各揮発性および持続性メモリデバイスをカバーするに十分大きいメモリ空間に対するサポートが提供される。例えば、本発明のシステムは、３２ビットコンピュータ上で動作し得るが、１２８ビット幅であり得るグローバルアドレス信号を採用し得る。従って、仮想メモリ空間は２¹²⁸バイトをカバーし、これは、基本コンピュータハードウェアによってサポートされる２³²アドレス空間よりもはるかに大きい。このようなアドレス空間は、全てのＲＡＭ、ディスク、テープ記憶装置を含む、ネットワーク上のデータ記憶装置の各バイトに対して別々のアドレスを提供するに十分大きいことがあり得る。このような大きい仮想メモリ空間の場合、典型的には小さい部分のみが、いつでもデータを記憶している。従って、システムは、仮想メモリ空間のうち、使用中の部分を迫跡するディレクトリマネジャーを含む。システムは、仮想メモリ空間のうちの使用中の各部分に対して、ＲＡＭメモリまたはハードドライブなどの物理的メモリデバイスにこのような部分の各々をマッピングすることにより、物理的メモリ記憶装置を提供する。必要に応じて、マッピングは、データ移動、フォールトトレラント動作、および負荷バランシング（ｌｏａｄｂａｌａｎｃｉｎｇ）を容易にする遠回りのレベルを含む。各コンピュータが、仮想メモリ空間のいずれの部分が使用中であるかをモニタし追跡することを可能にすることによって、各コンピュータはメモリ空間を共有し得る。このことは、ネットワーク化されたコンピュータが単一のメモリを有するように見えることを可能にし、そのため、異なるコンピュータ上で実行されているアプリケーションプログラムが、同一のマシン上で実行されているアプリケーション間の通信に現在用いられている技術を用いて、通信することを可能にする。１つの局面において、本願で参考のために援用する上記の米国特許出願の発明は、アドレス指定可能な共有メモリ空間を有するコンピュータシステムを含むことが理解され得る。システムは、コンピュータ読み出しが可能な情報を示すデータ信号を搬送するデータネットワーク、データネットワークに結合し、持続性データ記憶装置を提供する持続性メモリ装置、および各々がデータネットワークに結合するインターフェースを有する、データネットワークにアクセスして、データ信号を交換する複数のコンピュータを有し得る。さらに、コンピュータのそれぞれは、アドレス指定可能なメモリ空間の一部を持続性記憶装置の一部にマッピングし、データ信号をアドレス指定可能な持続性記憶装置を提供する共有メモリサブシステムを有し得る。ネットワークのメモリ装置にわたって記憶装置を分散するシステムでは、持続性メモリ装置は、各々が複数のコンピュータのそれぞれ１つに結合する複数のローカル持続性メモリ装置を有することが理解される。これと同じ目的のために、システムはまた、複数のローカル持続性メモリ装置にわたってアドレス指定可能なメモリ空間の部分をマッピングするディストリビュータ、およびアドレス指定可能なメモリ空間のマップされた部分を追跡し、マッピングされたアドレス指定可能なメモリ空間の部分を記憶するローカル持続性メモリ装置を示す情報を提供するディスクディレクトリマネージャを有し得る。システムはまた、アドレス指定可能なメモリ空間の最近アクセスされた部分に関連したデータ信号をキャッシュ記憶するキャッシュメモリとして、ローカル持続性メモリ装置の１つを作動するキャシュシステムを有し得る。さらに、システムは、アドレス指定可能なメモリ空間の部分を、複数のコンピュータのローカル持続性メモリ装置間で選択的に移動させる移動制御器を有し得る。移動制御器は、データアクセスパターン、リソース要求、または発明の実施に適した他の任意の基準またはヒューリスティックを決定およびこれらに応答し得る。従って、移動制御器は、ネットワーク上の負荷を平衡にし、データが通常アクセスされるノードにデータを移動させ得る。キャッシュ制御器は、ソフトウェアで管理されるＲＡＭおよびディスクキャッシュを提供するためのホストコンピュータ上で走るソフトウェアプログラムであり得る。ＲＡＭは、ＳＲＡＭ、ＤＲＡＭ、または他の任意の揮発性メモリを含む任意の揮発性メモリであり得る。ディスクは、任意のディスク、ＲＡＩＤ、テープ、または持続的にデータを記憶する他の装置を含む任意の持続性メモリであり得る。システムはまた、第１のコンピュータのローカル持続性メモリ装置内に維持されるアドレス指定可能なメモリ空間の一部のコピーおよび選択された数のコピを生成し、そのコピーを第２のコンピュータのローカル持続性メモリ装置内に記憶するためのコヒーレント複製制御器を有し得る。コヒーレント複製制御器は、コピーのコヒーレンシーを維持し、コヒーレントデータ複製を提供することが可能である。システムはまた、揮発性メモリおよび持続性メモリ内に記憶されるデータの集積制御を提供することが理解され得る。このようなシステムでは、揮発性メモリ装置は、データ信号を揮発性に記憶し、共有メモリサブシステムは、アドレス指定可能なメモリ空間の一部を揮発性記憶装置の一部にマッピングするための要素、典型的にはソフトウェアモジュールを有する。これらのシステムでは、揮発性メモリ装置は、複数のローカル揮発性メモリ装置で構成され得、これらの装置のそれぞれは、複数のコンピュータのそれぞれ１つに結合する。持続性メモリ装置は、複数のローカル持続性メモリ装置で構成され得、これらの装置のそれぞれは、複数のコンピュータのそれぞれ１つに結合する。これらのシステムでは、ディレクトリマネージャは、アドレス指定可能なメモリ空間のマッピングされた部分を追跡することができ、２つのサブ構成要素、即ち、ローカル持続性メモリ装置にマッピングされたアドレス指定可能なメモリ空間の部分を追跡するディスクディレクトリマネージャおよびローカル揮発性メモリ装置にマッピングされるアドレス指定可能なメモリ空間の部分を追跡するＲＡＭディレクトリマネージャを有し得る。必要に応じて、ＲＡＭキャッシュシステムは、ローカル揮発性メモリ装置の１つを、アドレス指定可能なメモリ空間の最近アクセスされた部分に関連したデータ信号をキャッシュ記憶するキャッシュメモリとして作動し得る。システムは、アドレス指定可能なメモリ空間の一部をローカル揮発性メモリ装置の１つとローカル持続性メモリ装置の１つとの間で再マッピングするためのページング要素、即ち、複数のコンピュータのそれぞれにおいて利用できる記憶装置を示すリソース利用可能信号を決定するためのポリシー制御器と、リソース利用可能信号に応答して、第１のコンピュータのメモリ装置から第２のコンピュータのメモリ装置にアドレス指定可能なメモリ空間の部分を再マッピングするページング要素と、アドレス指定可能なメモリ空間の部分を複数のコンピュータのローカル揮発性メモリ装置間で移動させるための移動制御器とを含むさらなる要素を有し得る。必要に応じて、システムは、複数のコンピュータを、各グループが複数のコンピュータのうちの少なくとも１つを有する１セットの階層グループに組織化するための階層マネージャを有し得る。各グループは、アドレス指定可能なメモリ空間の部分を階層グループの関数として移動させるためのグループメモリマネージャを有し得る。システムはアドレス指定可能なメモリ空間の一部のコヒーレントコピーを生成するためのコヒーレント複製制御器を含むことによって、メモリ空間のコピーされた部分間のコヒーレンシーを維持し得る。システムはグローバルアドレス信号を生成または受信し得る。従って、システムは、アドレス指定可能なメモリ空間の一部を示すグローバルアドレス信号を生成するためのアドレス生成器を有し得る。アドレス生成器は、グローバルアドレス信号を持続性メモリ装置に関連した記憶容量の関数として生成し、持続性メモリ装置の記憶容量を論理的にアドレス指定することが可能なグローバルアドレス信号を提供するためのスパンユニットを有し得る。分散システムでは、ディレクトリマネージャは、分散メモリ空間内に、アドレス指定可能な空間の一部の記憶装置位置を示すディレクトリ信号を記憶するための分散ディレクトリマネージャであり得る。分散ディレクトリマネージャは、アドレス指定可能なメモリ空間の一部を割り当て、ディレクトリ信号の一部を示すエントリ信号を内部に記憶するためのディレクトリページ生成器を有し得る。ディレクトリページ生成器は、必要に応じて、アドレス指定可能なメモリ空間の一部を示す範囲信号を生成し、範囲信号に応答するエントリ信号を生成し、アドレス指定可能なメモリ空間の一部に対応するディレクトリ信号の一部を示すエントリ信号を提供するための範囲生成器を有する。さらに、分散ディレクトリマネージャは、ディレクトリページを連結し、連結されたディレクトリページの階層データ構造を形成するための連結システム、ならびにデイレクトリページを範囲信号の関数として連結し、連結されたディレクトリページの階層データ構造を形成する範囲連結システムを有し得る。システムによって記憶されるデータはホームレスであり得る、即ち、データは、固定された物理的ホームを有しないが、ネットワークのメモリ装置間を、リソースおよび他の要因が指示するように移動し得るので、本発明によるコンピュータシステムは、共有アドレス空間の一部に対する位置情報を有する複数のコンピュータの選択された１つを示す信頼のできるノード信号を生成するためのノードセレクタを有するディレクトリページ生成器を有し得る。これによって、データの物理的記憶装置位置からディレクトリを切り離す遠回りのレベルが提供される。従って、ディレクトリは、データの物理的位置を追跡するノードまたは他の装置を識別するだけでよい。このように、データが物理的記憶装置位置間を移動する度に、ディレクトリが更新される必要はない。なぜなら、データの位置を追跡するノードは、変更されず、物理的位置情報を提供するからである。従って、システムは、信頼のできるコンピュータノードなどの位置モニタを示す情報を搬送し、データ記憶位置を追跡して、ホームレスデータを追跡するためのディレクトリ構造を提供するディレクトリページを生成するページ生成器を有し得る。さらに、ディレクトリ自体は、仮想メモリ空間内にページとして記憶され得る。それ故、データ記憶装置位置は、ディレクトリページを示す情報を記憶して、ホームレスデータのページとしてディレクトリ構造を記憶することが可能である。他の局面では、本願で参考のために援用する上記の米国特許出願の発明は、アドレス指定可能な共有メモリ空間を有するコンピュータシステムを提供する方法として理解され得る。この方法は、コンピュータで読み出し可能な情報を示すデータ信号を搬送するネットワークを提供する工程と、ネットワークに連結され、データ信号の持続性記憶装置を有するハードディスクを提供する工程と、各々が複数のコンピュータ間でデータ信号を交換するためのデータネットワークを結合するインターフェースを有する複数のコンピュータを提供する工程と、アドレス指定可能なメモリ空間の一部をハードディスクの持続性記憶装置の一部に割り付けて、データ信号のアドレス指定可能な持続性記憶装置を提供する工程とを包含し得る。ここで、アドレス指定可能な共有メモリシステムまたは本願で参考のために援用する上記の米国特許出願のエンジンに関連する図面を参照する。図７は、図示されるコンピュータネットワーク２１０の各ノードのメモリ空間をカバーする共有メモリを提供するコンピュータネットワーク１０を示す。具体的には、図７は、各々がＣＰＵ２１４、動作システム２１６、選択専用メモリデバイス２１８、および共有メモリサブシステム２２０を有する複数のノード２１２ａから２１２ｃを有するコンピュータネットワーク２１０を示す。図５にさらに示すように、各ノード２１２ａから２１２ｃは、共有メモリサブシステム２２０を介して仮想共有メモリ２２２に接続される。以下さらに詳細に説明するように、ノード２１２ａから２１２ｃが仮想共有メモリ２２２にアクセスできるようにする共有メモリサブシステム２２０を提供することによって、コンピュータネットワーク２１０は、ネットワークノード２１２ａから２１２ｃが、同じ機械上で走るアプリケーション間で通信するとき、アプリケーションによって用いられる同じ技術を用いて通信および機能性を共有し通信することができるようにする。これらの技術は、オブジェクト連結および埋め込み、ダイナミックリンクライブラリ、クラス登録、および他のこのような技術を使用し得る。従って、ノード２１２は、ネットワーク２１０の異なるノード２１２上で走るアプリケーションプログラム間でデータおよびオブジェクトを交換するために、仮想共有メモリ２２２を用い得る。図７に示す実施態様では、各ノード２１２は、市販のＩＢＭＰＣ互換性のコンピュータシステムなどの従来のコンピュータシステムであり得る。プロセッサ２１４は、このコンピュータシステムのデータ処理を実施するのに適した任意のプロセッサユニットであり得る。動作システム２１６は、コンピュータシステムのローカルメモリにアクセスし、ネットワーキングするための機能を有するか、またはこのような機能にアクセスすることが可能な任意の市販のまたは専売動作システムであり得る。専用メモリデバイス２１８は、コンピュータ読み出し可能情報の代表的なデータ信号を記憶するのに適した任意のコンピュータメモリデバイスであり得る。専用メモリはネットワーク上の他のノードにアクセス不可能に維持され得るローカル記憶装置をノードに提供する。典型的には、専用メモリデバイス２１８は、データおよびアプリケーションプログラムを一時的に記憶し、且つ、プロセッサ２１４にプログラムを実行するメモリ記憶装置を提供するためのＲＡＭまたはＲＡＭメモリの一部分を含む。専用メモリデバイス１８は、データの持続性記憶装置のために、典型的にはハードディスクユニットまたはハードディスクユニットの一部分である持続性メモリ記憶装置を更に含む。図７に示す共有メモリサブシステム２２０は、動作システム２１６と仮想共有メモリ２２２との間を結合し、且つ、動作システム２１６と仮想共有メモリとの間にインターフェースを形成し、それにより動作システム２１６が仮想共有メモリ２２２にアクセスできる、本発明の１つの実施形態である。図示した共有メモリサブシステム２２０は独立型分散共有メモリエンジンとして動作するソフトウェアモジュールである。図示したシステムは例示的であり、本発明の他のシステムはアプリケーションプログラムに組み込まれ得る共有メモリサブシステムとして実現され得るか、またはハードウェアデバイスの組み込まれたコードとして実現され得る。他のこのようなアプリケーションが、本発明の範囲から逸れることなく実行され得る図示した仮想共有メモリ２２２は、共有メモリサブシステム２２０を介して、ノード２１２ａ〜２１２ｃの各々によりアクセス可能な仮想共有メモリを示す。仮想共有メモリ２２２は、複数のページ２２４ａ〜２２４ｄとして図７に示した、コンピュータ読み出し可能データ用の物理的記憶装置を提供する装置をマッピングすることができる。ある実施形態において、ページは共有メモリ空間の複数の部分を形成し、共有メモリのアドレス空間をページアドレス可能メモリ空間に分割する。例えば、アドレス空間は４Ｋバイトのセクションにページ付けされる。他の実施形態において、共有メモリ空間を管理するのに異なる細分性が使用され得る。共有メモリサブシステム２２０を介した各ノード２１２ａ〜２１２ｃが、仮想共有メモリ２２２に記憶された各ページ２２４ａ〜２２４ｄにアクセスできる。各ページ２２４ａ〜２２４ｄは、仮想共有メモリ２２２内に記憶されたコンピュータデータの独自のエントリ（ｅｎｔｒｙ）を示す。各ページ２２４ａ〜２２４ｄは、ノード２１２ａ〜２１２ｃの各々１つにアクセス可能である。あるいは、各ノードは仮想共有メモリ２２２内の更なるページのデータを記憶し得る。各新たに記憶されたページのデータは、他のノード２１２ａ〜２１２ｃの各々にアクセス可能であり得る。従って、仮想共有メモリ２２２は、コンピュータネットワーク２１０の各ノード２１２間でデータを共有且つ通信するシステムを提供する。図８は、分散共有メモリを有するコンピュータネットワーク２３０を形成する機能ブロック図を示す。この実施形態において、各ノード２１２ａ〜２１２ｃは、動作システム２１６と２つのローカルメモリデバイス、ＲＡＭ２３４およびディスク２３６との間を接続し、図示したノード２１２ａ、２１２ｂおよび２１２ｃの各々ならびにネットワークメモリデバイス２２６に結合するネットワーク２３８に更に結合するメモリサブシステム２３２を有する。より詳細には、図８は、それぞれが処理ユニット２１４を含む複数のノード２１２ａ〜２１２ｃ、動作システム２１６、メモリサブシステム２３２、ＲＡＭ２３４、およびディスク２３６を含む分散共有メモリネットワーク３０を示す。図８は、ノード２１２ａ〜２１２ｃとネットワークメモリデバイス２２６との間を接続するコンピュータネットワークシステム３８を更に示す。ネットワーク２３８はこれらのエレメントを亘るネットワーク通信システムを提供する。動作システム２１６ａ〜２１６ｃと、メモリエレメント２３４ａ〜２３４ｃ、２３６ａ〜２３６ｃと、ネットワーク２３８との間を接続する図示したメモリサブシステム２３２ａ〜２３２ｃは、ノードの各々のローカルメモリをカプセル化し、ネットワーク２３８上のノード２１２ａ〜２１２ｃの各々を亘ってカバーする共有仮想メモリシステムの概念図を提供する。メモリサブシステム２３２ａ〜２３２ｃは、図示したメモリデバイスを亘るアドレス可能メモリ空間の複数の部分をマッピングするディストリビュータとして機能するソフトウェアモジュールであり得る。メモリサブシステムは、各ノード２１２のローカルメモリに記憶されたデータを更に追跡し、且つ、ノード２１２ａ〜２１２ｃ間でデータを転送するためのネットワーク２３８とのネットワーク連結を更に動作する。このように、メモリサブシステム２３２ａ〜２３２ｃが、ネットワーク２３８上の各メモリエレメントにアクセスし且つそれらを制御し、動作システム２１６に対して認識されないメモリアクセス動作を実行する。従って、動作システム２１６は、ネットワーク２３８上の各ノード２１２ａ〜２１２ｃに亘るグローバルメモリ空間へのインターフェースとして、メモリサブシステム２３２とインターフェースする。図８は、システム２３０が、分散されたメモリの複数の部分のための持続性記憶装置を含む分散共有メモリを提供する様子を更に示す。特に、図示した実施形態は、持続性メモリデバイスにインターフェースするサブシステム２３２ａ等のメモリサブシステムを含む。これを、ディスク２３６ａとして図示する。サブシステム２３２ａは持続性メモリデバイスを動作し、分散共有メモリ空間の複数の部分のために持続性記憶装置を提供し得る。図示されたように、図８に示す各持続性メモリデバイス２３６は、マッピングされたアドレス可能メモリ空間の一部分を有する。例えば、デバイス２３６ａは、マッピングされたアドレス可能メモリ空間Ｃ_o、Ｃ_d、Ｃ_gを複数の部分を有し、それらのアドレス範囲に記憶されたデータ信号に持続性記憶装置を提供する。従って、サブシステム２３２ａは持続性記憶装置デバイスおよび電子メモリの統合された制御を提供し、分散共有メモリ空間が両タイプの記憶装置デバイスを亘ることを可能とし、および、分散共有メモリの複数の部分が最近の使用方法のように所定の条件に基づいて持続性メモリと電子メモリとの間を移動することを可能にする。図２に示す実施形態を参照して、ネットワークのノードがグループの階層に構成され得る。これらの実施形態において、メモリサブシステム２３２ａ〜２３２ｃが、データの分散について階層的制御を提供する階層マネージャを含み得る。これは以下に詳細に説明する移動コントローラおよびポリシーコントローラを制御することを含み、データが主に同じグループのコンピュータ間を移動し、且つ、階層的順序で他のグループを通過するように、階層的データ移動および負荷バランシングを実行する。リソース分散は同様に管理される。図９は、本発明による、ある共有メモリサブシステム２４０をより詳細に示す。図９は、インターフェース２４２、ＤＳＭディレクトリマネージャ２４４、メモリコントローラ２４６、ローカルディスクキャッシュコントローラ２４８、およびローカルＲＡＭキャッシュコントローラ２５０を含む共有メモリサブシステム２４０を示す。図９は、ネットワーク２５４、サービス２５８として示すＤＳＭシステムの追加的なコンシューマ、動作システム２１６、ディスクドライバ２６０、ディスクエレメント２６２およびＲＡＭエレメント２６４を更に示す。図９に示す共有メモリサブシステム２４０は、ネットワークノード２１２のメモリ管理動作をカプセル化し、ネットワーク２５４に接続する各ノードに亘り得る仮想共有メモリを提供し得る。従って、各ローカルノード２１２はネットワークを、それぞれが大規模共有コンピュータメモリに接続された１組のノードとみなす。図示したインターフェース２４２はローカルノードにエントリーポイントを提供し、コンピュータネットワークの共有メモリ空間にアクセスする。インターフェース２４２は動作システム２１６、図示したＤＳＭファイルシステム２５８等の分散サービスユーティリティ、分散ユーザレベルサービスユーティリティ、あるいはそれらの任意の組み合わせに直接結合し得る。図示したインターフェース２４２は、メモリ志向性ＡＰＩであるＡＰＩを提供する。従って、示したインターフェース２４２は分散メモリの低レベル制御を提供する１組のインターフェースをエクスポートし得る。図９に示すように、インターフェース２４２はＡＰＩを動作システム２１６またはオプショナルＤＳＭサービス２５８にエクスポートする。動作システム２１６またはサービスはインターフェース２４２を用いて、メモリ空間の複数の部分からの読み出しおよび書き込み等の標準的なメモリ管理技術を要求する。メモリ空間のこれらの部分は共有メモリ空間もしくはオブジェクトまたはセグメント等の他のユニットのメモリの４Ｋバイトの部分であり得る上述のようなページであり得る。各ページはグローバルアドレス信号によってメモリのそのページを指定された共有メモリ空間内に位置し得る。システムはアプリケーションプログラムからアドレス信号を受け取り得るか、または選択的に、アドレス信号を生成するグローバルアドレス生成器を含み得る。アドレス生成器は、ネットワークの記憶容量に亘るメモリ空間についてアドレス信号を生成するスパニングモジュールを含み得る。従って、ある実施形態において、インターフェース２４２は共有メモリ空間のページを操作する（ｍａｎｉｐｕｌａｔｅ）要求を受け取る。この目的のために、インターフェース２４２は、サービス、ＯＳ２１６、または他のコーラー（ｃａｌｌｅｒ）によって呼び出され得る機能またはデバイスのライブラリを含むソフトウェアモジュールを含み得る。機能呼び出しはＯＳ２１６にデータ読み出し、データ書き込みおよびメモリ割り当て等の高レベルメモリ志向性サービスのＡＰＩを提供する。機能の実行には、ディレクトリマネージャ２４４を動作する制御の１組の呼び出しおよびローカルメモリコントローラ２４６が含まれ得る。従って、インターフェース２４２は、共有メモリサブシステム２４０の低レベル機能エレメントにインターフェースする１組の高レベルメモリ機能呼び出しであり得る。図９は、インターフェース２４２に結合するＤＳＭディレクトリマネージャ２４４を更に示す。インターフェース２４２は要求を示す要求信号を通し、メモリの部分の割り当て、メモリの部分のロッキング、メモリの部分のマッピング、またはこのような他のメモリ機能等のメモリ動作を実行する。ディレクトリマネージャ２４４は、各ＲＡＭおよびネットワークによってアクセス可能なディスクエレメントを含む図８に示されるネットワーク２３８に接続された各メモリデバイスに亘り得るマッピングを含み得るディレクトリを管理する。ディレクトリマネージャ２４４は、グローバルアドレス空間のマップを提供するグローバルディレクトリ構造を記憶する。以下に更に詳細に説明するある実施形態において、ディレクトリマネージャ２４４が、グローバルアドレス信号とネットワーク上のレスポンシブルノード（ｒｅｓｐｏｎｓｉｂｌｅｎｏｄｅ）との間をマッピングするグローバルディレクトリを提供する。レスポンシブルノードは、それぞれのグローバルアドレスに関連するデータの位置および属性に関する情報を記憶し、ページのデータのコピーを選択的に記憶する。結果、ディレクトリマネージャ２４４は識別子空間(identifier space)内の任意のアドレス位置にアクセスするための情報を追跡する。分散共有メモリの制御は、ディレクトリマネージャ２４４およびメモリコントローラ２４６によって調整され得る。ディレクトリマネージャ２４４はディレクトリ構成を維持し、そのディレクトリ構成は、インターフェース２４２から受け取られるグローバルアドレス上で作動し、共有メモリ空間のアドレスに関するページを維持する責任を負う、ネットワーク上のノードを、そのアドレスについて、特定し得る。特定のアドレスを維持する責任を負うノードはいずれのノードであるのかを、一旦、ディレクトリマネージャ２４４が特定すると、ディレクトリマネージャ２４４はそのページのコピーを位置づけるための情報を記憶するノードを特定し得、そのノードのメモリコントローラ２４６を呼び出し、そのノードのメモリコントローラに対して、メモリインターフェース２４２によって提供されるメモリの要求を通す。それにより、示されるディレクトリマネージャ２４４はディレクトリ構成を管理する責任を負い、そのディレクトリ構成は、共有メモリ空間の各ページについて、それぞれのページに記憶されるデータの物理的位置を追跡する責任を負うノードを特定し得る。したがって、ディレクトリは、ページの位置を直接提供するよりもむしろ、任意に、ページの位置を追跡する責任を負うノード、または他のデバイスを特定し得る。この遠回りは、ページがノード間を移動する際のディレクトリの維持を容易にする。メモリコントローラ２４６は、ネットワークに接続されるメモリ要素内にデータを物理的に記憶する、低レベルメモリアクセス機能を実行する。示される実施態様では、第１のノードのディレクトリマネージャ２４４は、インターフェース２４２を介して、メモリアクセス要求をＯＳ２１６のネットワークモジュールに通し得る。さらに、ネットワーク２５４を通って、所与のアドレスに対して責任を負うノードとしてディレクトリマネージャ２４４が特定する、第２のノードにその要求を通し得る。次いで、ディレクトリマネージャ２４４は、属性を特定するために、且つそれぞれのグローバルアドレスに関するメモリページの現在のオーナノードを特定するために、責任を負うノードに照会し得る。それぞれのページのオーナは、関連するページのデータが記憶されるメモリ記憶装置要素を制御する、ネットワークノードである。オーナのメモリコントローラ２４６は、そのノードのＯＳ２１６を介してまたは任意のインターフェースを介して、ページのデータにアクセスするために、オーナノードのメモリにアクセスし得る。ページのデータは、そのオーナノード上に物理的に記憶される。特に、図９に示されるように、ディレクトリマネージャ２４４はネットワークモジュール２５２に接続し、ネットワークモジュール２５２はネットワーク２５４に接続する。ディレクトリマネージャはネットワークモジュール２５２にコマンドを遷移し得、且つデータ信号をオーナノードに通すように、ネットワークインターフェース２５２を誘導する、関連データをも遷移し得る。オーナノードはネットワーク２５４を通じて、且つネットワークモジュール２５２を介して、メモリ要求を受け取る。ネットワークモジュール２５２は、メモリ要求をオーナノードのインターフェース２４２に通す。インターフェース２４２はメモリコントローラ２４６に接続し、オーナノードのローカルメモリコントローラに、メモリ要求を通し得る。それは、要求されるメモリ動作を実行するために、ディスクまたはＲＡＭ要素などのローカル記憶装置要素を操作するためである。オーナノードが、一旦、データのページの読み出しなどの、要求メモリ動作を実行すると、次いで、オーナノードのメモリサブシステム２４０は、そのデータのページ、またはそのデータのページのコピーを、ネットワーク２５４を介して、共有メモリのその部分へのアクセスを最初に要求したノードに転送し得る。データのページは、ネットワーク２５４を介して、ノードに要求するネットワークモジュール２５２へ転送され、且つ、共有メモリサブシステム２４０は、メモリコントローラ２４６が、アクセスされたデータのコピーを、ノードに要求するローカルメモリ内に記憶するようにコントローラを操作する。したがって発明の１つの実施態様では、第１のノードが、共有メモリ空間の、ノード上に局在的に記憶されていないページにアクセスする場合、ディレクトリマネージャ２４４はそのページに記憶されるデータのコピーを有するノードを特定し、そのデータのコピーを、ノードに要求するローカルメモリ内に移動する。したがって、ノードに要求する、揮発性（例えば、ローカルＲＡＭ）および持続性（例えば、ローカルディスク記憶装置）の双方のローカルメモリ記憶装置は、そのローカルノードによって要求されているページのキャッシュになる。この実施態様は図９に示され、ローカルディスクキャッシュコントローラ２４８およびローカルＲＡＭキャッシュコントローラ２５０を有するメモリコントローラが示される。これらのローカルキャッシュコントローラの双方は、オペレーティングシステム２１６または他のコンシューマに対して、ノードのローカルメモリにキャッシュ記憶される共有メモリ空間のページを提供する。そのようなローカルメモリは、ローカル持続性メモリおよびローカル揮発性メモリを含む。共有メモリサブシステムはコヒーレント複製コントローラを含み得る。コヒーレント複製コントローラは、無効化プロセスを介するコヒーレンス、移動プロセスを介するコヒーレンス、または本発明の実施に適する他のコヒーレンスプロセスを用いることによって、キャッシュされたページの間におけるコヒーレンスを維持する。コヒーレント複製コントローラは、各ページ内に記憶されるデータのコピーを自動的に発生し得、そのコピーを、元のコピーのメモリデバイスとは別のメモリデバイス内に、記憶し得る。これはフォールトトラレント動作を提供するが、それは任意のメモリデバイスの１つの故障が、データの損失を生じないといった動作である。コヒーレント複製コントローラは、揮発性メモリ内に保持されるページの全コピーをモニタし、且つ、書き込みのために利用可能にしておくソフトウエアモデルであり得る。コントローラは、上にその名称をあげられた、任意のコヒーレント技術を用い得、生成されたコピー全てについての位置情報を特定する、ローカル情報のテーブルを記憶し得る。図１０は、発明による共有メモリサブシステムの１つの実施態様を、より詳細に示す。図１０に示される共有メモリサブシステム２７０は遠隔動作要素２７４、ローカルＲＡＭキャッシュ２７６、ＲＡＭコピーセット２７８、グローバルＲＡＭディレクトリ２８０、ディスクコピーセット２８２、グローバルディスクディレクトリ２８４、環境設定マネージャ２８８、ポリシー要素２９０、およびローカルディスクキャッシュ９４を含む。図１０は、更に、ネットワーク要素３０４、物理的メモリ３００、共有データ要素３０２、オペレーティングシステム２１６の１部である物理的ファイルシステム２９８、環境設定サービス３０８、診断サービス３１０、およびメモリアクセス要求３１２を示す。示されるサブシステム２７０は、物理的メモリ、ファイルシステム、およびホストノードのネットワークシステムに接続するコンピュータプログラムであり得、またはホストノードにインターフェースをとる電気回路カードアセンブリであり得、またはプログラムおよび回路カードアセンブリの組み合わせであり得る。図１０に示されるフロースケジューラ２７２は、サブシステム２７０のＡＰＩによって提供される制御を統制し得る。１つの実施態様では、フロースケジューラ２７２は、ネットワーク３０４を介して、要求３１２および遠隔要求をモニタし、それらに応答する状態マシンであり得る。それらの要求は、メモリ動作についての命令であり得、且つ動作がなされているグローバルアドレスを表す信号を含み得る。これらのメモリ動作要求３１２は、１つ以上のグローバルアドレス上での基本的な動作のための演算コードとして、機能し得る。それらは、要求または他のメモリ動作を読み出し得、且つ書き込み得る。または、フロースケジューラ２７２は、インタープリタなどのプログラムであり得、そのプログラムは執行環境を提供し、アプレットと称される制御フロープログラム内にそれらの演算コードをマッピングし得る。アプレットはスレッディング、同調化、およびバッファ管理などの環境サービス、ならびに図１０に示される要素の双方を用いる独立的な執行可能プログラムであり得る。ＡＰＩは、分散共有メモリファイルシステムなどの外部のクライアントからと、再帰的に、アプレットおよびサブシステム２７０の他の要素２７４〜２９４によっての双方で呼び出され得る。各要素は、システムの特定のリソースまたは局面の管理に対して、カプセル化の程度を提供する。この目的のために、各要素は、アプレットによって用いられる機能を含むＡＰＩをエキスポートし得る。この構成は図１０に示される。それにより、フロースケジューラ２７２は、アプレットをロードし執行する環境を提供し得る。アプレットはフロースケジューラ２７２によって、演算コード毎にディスパッチされ、要素の連続執行または並列執行のためのコントロールフローを実行し得る。コントロールフローは、特定されたグローバルアドレスにおける、読み取りまたは書き込み動作などの演算コードを行う。必要に応じて、フロースケジューラ２７２は、実行時にアプレットを動的に変更するための、且つアプレットを並列および解釈された態様において執行するための要素を含み得る。示される共有メモリサブシステム２７０は、分岐するディレクトリマネージャを含み、そのディレクトリマネージャはグローバルＲＡＭディレクトリ２８０およびグローバルディスクディレクトリ２８４を含む。グローバルＲＡＭディレクトリ２８０は、ネットワークノードの揮発性メモリに記憶されるページの位置を提供し得る情報を追跡する、ディレクトリマネージャである。その揮発性メモリは、典型的にはＲＡＭである。グローバルディスクディレクトリ２８４は、ディレクトリ構成を管理するグローバルディスクディレクトリマネージャであり、そのディレクトリ構成は、持続性メモリデバイスに記憶されるページの位置を提供し得る情報を追跡する。グローバルＲＡＭディレクトリ２８０およびグローバルディスクディレクトリ２８４は、一緒に、持続性記憶装置および揮発性メモリに記憶されるページのための、内蔵ディレクトリ管理を、共有メモリサブシステム２７０に提供する。１つの実施態様において、ページング要素はＲＡＭおよびディスクディレクトリマネージャを操作し得、揮発性メモリの１つと持続性メモリの１つとの間のアドレシング可能メモリ空間の部分を再度マッピングする。共有メモリシステムでは、これにより、ページング要素が、ページを、１つのノードの揮発性メモリから別のノードのディスクメモリへと再度マッピングすることを可能にする。それにより、ＲＡＭディレクトリマネージャはそのページの制御をディスクディレクトリマネージャに通し、次いで、ディスクディレクトリマネージャは、そのページを、任意の他のデータページとして扱う。これは、ディスクディレクトリマネージャの制御下、データをＲＡＭメモリから除去し、且つそれをディスクデバイスに記憶することによって、負荷バランシングを改善することを可能にする。データは、１つ以上のＲａｍメモリ、１つ以上のノードの持続性メモリ、またはネットワークに分散されるＲＡＭおよび持続性メモリのある組み合わせに記憶され得る。システム内に存在する、この、データの自然な分散は、ノード故障に対する第１の防御線を提供する。データの自然な分散に加えて、システムはデータのページを２重に（ｄｕｐｌｅｘ）し得、すなわち、システムはページまたは多数のノードにコピーを記憶し得る。グローバルディスクディレクトリ２８４は、各アドレス範囲内のページを管理する責任を負うノードにアドレス範囲をマッピングする。アドレスの範囲に責任を負うノードは、これらのページの「コアホルダ」として参照される。各ページは、それ以下に減少してはならない最低数のコアホルダを割り当てられる。例えば、ページが、最低数として、３つのコアホルダを割り当てられ、且つ第３のコアホルダが、ページへのアクセスを妨害する故障を被る場合、少なくとも好適な、コアホルダの最低数を割り込み、ページの別のコピーが作成されなければならない。ページの別のコピーは、コアホルダノード（完全にそれが故障しなかった場合）上に作成され得るか、または残るコアホルダの１つによってページのコピーが付与される、新たなコアホルダが指定され得る。上記に示唆されるように、完全なノードから回復するために再度の２重化も用いられ、ノード故障の後の再度の２重化は以下にさらに詳細に考察される。サブシステム２７０のローカルメモリコントローラは、ローカルＲＡＭキャッシュ２７６およびローカルディスクキャッシュ２９４によって提供される。ローカルノードの物理的メモリ３００に接続するローカルＲＡＭキャッシュ２７６は、上述のように、ＲＡＭメモリ３００内に物理的に記憶されるデータをアクセスするために、ローカルノードの仮想メモリ空間にアクセスし得る。同様に、ローカルディスクキャッシュ２９４は持続性記憶装置デバイス２９８に接続し、ローカル持続性記憶装置に、分散共有メモリのデータを維持する、物理的な位置をアクセスし得る。図１０は、ネットワーク３０４とフロースケジューラ２７２との間を接続する、遠隔操作要素２７４をも示す。遠隔操作要素２７４は、ネットワークのノード間における共有メモリ空間に記憶されるデータの移動部分について、ネットワーク３０４へのそのデータの転送を処理する。遠隔操作要素２７４は、また、遠隔の対等者からのサービスを要求し、すなわち、コヒーレンス維持を助けるため、または別の目的のために無効にする。図１０はまた、プリンタ性能、ハードディスク空間、利用可能ＲＡＭおよび他のこのようなリソースなどのリソースの可用性を決定するコントローラとして機能するソフトウェアモジュールであり得るポリシーエレメント２９０を示す。ポリシーコントローラは、可用リソースを動的に分配するページングコントローラ、ディスクディレクトリマネージャ、および他のエレメントなどのエレメントを指示するために適切なヒューリスティック（heuristics）のいずれも利用し得る。図１０は、ＲＡＭコピーセット２７８およびディスクコピーセット２８２を含むメモリサブシステム２７０を更に示す。これらのコピーセットは、単一ノードでキャッシュされたページのコピーの情報を管理し得る。ディスクコピーセット２８２は、ローカル持続メモリであり得るローカルディスクキャッシュに格納されるページのコピー上の情報を維持し得る。同様に、ＲＡＭコピーセット２７８は、ローカルＲＡＭであり得るローカルＲＡＭキャッシュに格納されるページのコピーの情報を維持し得る。これらのコピーセットは、共有メモリスペースにおいて格納されるデータのコヒーレンスを維持する目的でアプレットまたは他の実行コードによって利用され得るコピーセットデータの索引および記憶装置を要約する。コピーセットエレメントは、ホストノードによってキャッシュされるページを確認するコピーセットデータを維持し得る。更に、コピーセットは、そのページのコピーを維持するネットワーク上の別のノードを確認し得、これらのノードがオーナノードである各ページについて更に確認し得る。ここで、オーナノードは、アクセスされるページに書き込み特権を有するノードであり得る。コピーセット自身は、分配された共有メモリスペースのページに格納され得る。ローカルＲＡＭキャッシュ２７６は、メモリページおよびそれらの属性のための記憶装置を提供する。１つの実施形態において、ローカルＲＡＭキャッシュ２７６は、分配されたメモリのキャッシュされたページおよびそのページに基づいた属性にアクセスするためのグローバルアドレスインデックスを提供する。本実施形態において、ローカルＲＡＭキャッシュ２７６は、ローカルＲＡＭにキャッシュされた各グローバルアドレスのリストをメモリに格納する事によってインデックスを提供する。列挙されたグローバルアドレスの各々によって、インデックスはバッファメモリおよびページデータのロケーションにポインタを提供する。任意に、列挙された各グローバルアドレスによって、インデックスは、データのバージョンのバージョンタグ代表、ＲＡＭキャッシュデータがディスク上に保持されたデータのコピーであるかまたは、ＲＡＭキャッシュデータが変更されているがディスクへまだフラッシュされていないダーティ(dirty)ビット代表、持続メモリにおいてバックアップ記憶装置によってバックアップされたページであるかを示すための揮発性ビット、および格納されたデータのコヒーレンスを管理するために有用な他の属性情報を含む属性情報を更に提供する。図１０に示す実施形態において、メモリサブシステム２７０は、グローバルＲＡＭディレクトリ２８０およびグローバルディスクディレクトリ２８４を含むディレクトリマネージャ、ローカルＲＡＭキャッシュ２７６およびローカルディスクキャッシュエレメント２９４を含むキャッシュコントローラ、およびＲＡＭコピーセット２７８およびディスクコピーセット２８２を含むコピーセットエレメントの同調的な動作による分配メモリスペースへのノードアクセスを提供する。ディレクトリマネージャは、共有アドレススペースを索引するディレクトリ構造を提供する。ページ化共有アドレススペースの例を続けると、サブシステム２７０のディレクトリマネージャは、グローバルアドレスによってホストノードが共有メモリスペースのページにアクセスする事を可能にする。図１１および図１２は、共有メモリスペースへのアクセスを提供するディレクトリ構造の１つの実施例を示す。図１１は、ページヘッダ３２２、ディレクトリエントリ３２４および３２６を含むディレクトリページ３２０を示し、ここで、キャッシュディレクトリエントリは、領域フィールド３３０、関与するノードフィールド３３２およびアドレスフィールド３３４を含む。ディレクトリページは、ディレクトリマネージャによって制御されるソフトウェアモジュールであり得るディレクトリページ生成器によって生成され得る。ディレクトリマネージャがグローバルディスクのための１つとグローバルＲＡＭディレクトリのための１つを含む複数のディレクトリを生成し得ることが理解される。図示されるディレクトリページ３２０は、共有アドレススペースの４Ｋバイト部分などのグローバルアドレススペースのページであり得る。よって、ディレクトリページは、ディレクトリページがアクセスを提供する他のページと同様の分配された共有メモリスペースに格納され得る。図１１においてさらに示すように、各ディレクトリページ１２０は、典型的にディレクトリページのメタデータである、そのページヘッダのための属性情報を含むページヘッダ３２２を含み、分配共有メモリ空間の全てのページを含む１つ以上のページであり得る、共有アドレススペースの部分に索引を提供するディレクトリエントリ３２４および３２６などのディレクトリエントリを更に含む。図示されたディレクトリページ３２０は、共有メモリスペースのグローバルアドレスの選択された範囲を索引するディレクトリエントリを含む。このために、ディレクトリ生成器は、各ディレクトリエントリがそのエントリが位置するアドレスの範囲の始めを示す範囲フィールド３３０を含み得るように、範囲生成器を含み得る。従って、各ディレクトリページ３２０は、アドレススペースをアドレス範囲のサブセットに細分化し得る、エントリ３２４および３２６などの複数のディレクトリエントリを含み得る。例えば、図示されるディレクトリページ３２０は、２つのディレクトリエントリ３２４および３２６を含む。ディレクトリエントリ３２４および３２６は、例えば、アドレススペースを２つのサブ部分に細分化し得る。本実施例において、ディレクトリエントリ３２４の開始アドレス範囲は、アドレススペースのベースアドレス、およびディレクトリエントリ３２６の開始アドレス範囲は、メモリスペースの上半分のアドレスであり得る。よって、ディレクトリエントリ３２４は、基礎アドレスとメモリスペースの中間点までとの間のアドレススペースに格納されるページについてのインデックスを提供し、その完了に伴い、ディレクトリエントリ３２６はアドレススペースの中間点から最高アドレスまでの範囲のアドレススペースに格納されるページについての索引を提供する。図１１は、更に、各ディレクトリエントリにおいて、関与するノードフィールド３３２および子ページグローバルアドレスフィールド３３４を含むディレクトリページ３２０を示す。これらのフィールド３３２、３３４は、フィールド３３０によって確認されたアドレス範囲内のページに格納されたデータに対する更なる位置情報を提供する。図１２は、図９に示したディレクトリページと同様のディレクトリページから形成されるディレクトリ３４０を示す。図１２は、ディレクトリページ３４２、３５０〜３５４および３６０〜３６６を含むディレクトリ３４０を示す。図１２は更に、図１２にページ３７０〜３８４で示す分配された共有メモリスペースのページの位置情報を提供するディレクトリ３４０を示す。図１２に示すディレクトリページ３４２は、ルートディレクトリページのように機能し、分配アドレススペースに結合されたキャッシュノードに既知である静的アドレスに配置され得る。ルートディレクトリページ３４２は、３つのディレクトリエントリ３４４、３４６および３４８を含む。図１２に示す各ディレクトリエントリは、図１１に示すのと同様のディレクトリエントリを有する。例えば、ディレクトリエントリ３４４は、アドレス範囲フィールド３３０を示す変数Ｃｏ、フィールド３３２を示す変数Ｎｊ、およびフィールド３３４を示す変数Ｃｓを含む。図示されるルートディレクトリページ３４２は、アドレスＣｏとＣｄとの間を伸びるアドレス範囲、アドレスＣｄとＣｇとの間を伸びる第２のアドレス範囲、Ｃｇとアドレススペースの最高メモリ位置との間を伸びる第３のメモリ範囲として示される３つの範囲にアドレススペースを細分化する。図１２に更に図示されるように、各ディレクトリエントリ３４４、３４６および３４８はディレクトリページ３５０、３５２、および３５４として示される従属ディレクトリページを示す。ディレクトリページ３５０、３５２、および３５４の各々は、ルートディレクトリ３４２の関連ディレクトリエントリによってアドレス範囲索引をさらに細分化する。図１１において、ディレクトリページ３５０、３５２、および３５４が、各々、ディレクトリページ３６０、３６２、３６４および３６６の示された例を含む従属ディレクトリページを配置するディレクトリエントリを再び有すると、この細分化プロセスは続けられる。ディレクトリページ３６０、３６２、３６４および３６６の図示された例は、それぞれリーフエントリ(leaf entry)である。リーフエントリは、範囲フィールド３３０および関与するノードフィールド３３２を格納する、リーフエントリ３６０のディレクトリエントリ３５６および３５８などのディレクトリエントリを含む。これらのリーフエントリは、示されたページ３７０〜３８４など、アクセスされる分配されたメモリスペースのページに対するアドレスおよび関与するノードを確認する。例えば、図１２に示すように、リーフエントリ３５６は、リーフエントリに対してはアクセスされたページである、リーフエントリ３５６の範囲フィールド３３０に対応するページ３７０を示す。この方法によって、ディレクトリ構造３４０は、分配アドレススペースに格納されたページに対する位置情報を提供する。図１２に示す実施形態において、ノード選択器は、上述するように各ページに対する関与ノードを選択し得るので、リーフエントリ３５６は、配置されたページのアドレスおよび関与ノードの情報を提供する。よって、このディレクトリはデータの所有者および責任能力を追跡し、データのディレクトリと物理的位置との間の不正のレベルを提供する。メモリアクセス動作の間、メモリサブシステム２７０はリーフエントリ３５６に示される関与するノードをアクセスされるページのアドレスに送る。ノードの共有メモリサブシステムは、オーナノードを含む、アクセスされるページのコピーを格納するノードを確認し得る。コピーを有するノードの確認は、関与するノードのＲＡＭコピーセットおよびディスクコピーセットによって実行され得る。オーナノードなどのローカル物理的メモリに格納されるコピーを有するノードは、ローカルＲＡＭキャッシュおよびローカルディスクキャッシュを含むローカルキャッシュエレメントを利用し、グローバルアドレス信号からアクセスされるページに格納されるデータの物理的位置を確認する。キャッシュエレメントは、オーナノードの動作システムを利用し、ページに格納されたデータがアクセスされ得るために物理的位置を維持するメモリ装置にアクセスし得る。読み出しメモリ動作、または他の同様な動作に対して、オーナノードの物理的メモリから読み出されたデータは、ネットワークを介して読み出しを要求するノードのメモリサブシステムに送られ得、続いて、ノードによる使用のために要求するノードの仮想メモリスペースに格納される。図１２を再び参照すると、示されるディレクトリ構造３４０は階層構造を含むことが見られる。この目的のために、ディレクトリ構造３４０は、メモリスペースをより小さなセクションに細分化し続ける構造を提供する。更に、各セクションは、同一の構造のディレクトリページによって示されるが、異なる大きさのアドレススペースを索引する。ページが作成または削除されるに従い、リンカはディレクトリに対してページが挿入または削除される。１つの実施形態において、リンカはデータ構造を結合するソフトウェアモジュールである。リンカは、アドレス範囲が示され階層構造を提供するように動作し得る。よって、示されたディレクトリ３４０は、共有アドレススペースに対して評価可能なディレクトリを提供する。更に、ディレクトリページは、分配アドレススペースに格納され、分配共有メモリシステムによって維持される。ディレクトリに対するルートは、システムのブートストラップを可能にするように既知の位置に格納し得る。その結果、よく使用されるページはコピーおよび分配され、あまり使用されないページはディスクに転嫁される。同様に、ディレクトリページは、それに最も多くアクセスするノードに移動し、ネットワーク通信量を低減するある程度の自己体制を提供する。図13は、本発明によるシステムによって使用される図１２のディレクトリを図示する。より詳細には、図13は、２つのノード406aおよび406b、ディレクトリ構造340、ならびに揮発性メモリデバイス264aおよび264bならびに不揮発性メモリデバイス262aおよび262bを有する１対のローカルメモリを含むシステム４００を図示する。図示されたノード406aは、アドレスコンシューマ408a、グローバルアドレス4l0a、ならびにインターフェース242a、ディレクトリマネージャ244aおよびメモリコントローラ246aを含む。ノード406bは、対応する要素を有する。ノードは、ネットワーク254によって接続される。ディレクトリ340は、ルートページ、ディレクトリページA-F、およびページl-5を有する。各ノード406aおよび406bは、上述のように動作する。図示されたアドレスコンシューマ408aおよび408bは、アプリケーションプログラム、ファイルシステム、ハードウェアデバイス、または仮想メモリへアクセスを要求するような他の要素であり得る。動作中に、アドレスコンシューマ408aおよび408bは、１アドレスまたは所定範囲のアドレスを要求し、そしてディレクトリマネージャは、要求されたアドレスをコンシューマに提供するグローバルアドレス生成器、または要求されたアドレスへのポインタを含み得る。アドレスが生成されるにつれて、それぞれのディレクトリマネージャ244aおよび244bは、ディレクトリページを生成し、そしてページをディレクトリ構造340に格納する。図示されるように、ディレクトリ構造340は、システム400によって用いられるアドレススペースの部分をなぞり、そして各ページの物理的記憶装置がローカルメモリ内に提供される。図13に示されるように、ディレクトリページに関連するデータは、２つのローカルメモリにまたがって分散的に格納され、そして複製コピーが存在し得る。上述およびここで図13に例示されるように、データは、異なるローカルメモリ間を移動し得、そしてまた揮発性および不揮発性格納部を移動またはページ（page）する。データの移動は、アプリケーションプログラムのようなメモリユーザまたは上述の移動コントローラの操作によってなされるデータ要求に応答し得る。また上述のように、異なるメモリロケーション間のデータの移動は、ディレクトリ 340に対して変更を要求することなしに起こり得る。これは、データ格納ロケーションをなぞる関連ノードへのポインタを用いることによってデータの物理的ロケーションから切り離されるディレクトリ340を提供することによって達成される。したがって、データ格納ロケーションが変更し得るが、担当ノードは一定を維持し、これによってディレクトリ340を変更させる必要を回避する。回復上述のシステムおよび方法は、分散システムが、メモリのための不揮発性格納部を含むアドレス空間を共有し、そしてノード故障をうまく処理することを可能にする。RAMディレクトリ、ディスクディレクトリ、およびファイルシステムは、分散共有システムですべてのノードにわたって分散されるので、１つのノードの故障は、RAMディレクトリ、ディスクディレクトリ、ファイルシステム、またはこの３つの組合せ中に「ホール(hole)」を残し得る。明細書全体で述べられるシステムは、メモリ共有および故障寛容性を補助するための２つの概念に基づく。これらの概念は、定数およびハートビート（heartb eat）であるが定数およびハートビートをまだ説明していない。しかし、アンカーノードの概念は、紹介されなければならない。アンカーノードは、全ノードディレクトリデータベースのコピーを維持する特定のネットワークノードであり、ディスクディレクトリツリーのルートのコピーなどの他の重要なシステム情報のための格納部を提供する。ノードは、ネットワークへ導入される場合にアンカーノードとして構成され、そしてこれはノード上に存在する構成ファイル中の値を設定することによってなされ得、またはジャンパまたは特定のケーブルなどのハードウェア技術を使用してアンカーとして構成され得る。アンカーノードはまた、ネットワーク内の他のアンカーノードのすべての完全なリストを格納する。各アンカーノードは、システムアドミニストレータによって他のアンカーノードすべてのリストを提供され得、または初期化時に各アンカーノードが他のアンカーノードを位置付ける探索プロトコルを使用し得る。定数は、適切なデータ処理およびメモリ共有を提供するために、十分なノードがシステム内に機能を維持することを示す。ネットワークに存在するノードの数は、すべてのノードが定数計算に参加するわけではないが、非常におおきくあり得る。処理要求を低減するために、「アンカー」ノードだけが定数計算に参加する。定数を確立しようとする際に、各アンカーノードは、１「票」を投じ得る。受け取られる票の数が所定の閾値を超えるならば、定数が確立され、そして正常な処理が行われる。定数はまた、ネットワークの故障がネットワークを２つ以上の領域に分割される場合、うまく動作させるために使用され得る。パーティションの１つは、他は動作を続け得ない間に動作し続け得る(定数が確立し得るならば)。特定の実施態様において、ネットワークアドミニストレータは、特定のノードに向けてのネットワークの動作のバイアス動作の試みにおいて、１票以上を特定のアンカーノードに割当て得る。「ハートビート」は、ネットワークのすべてのノード間における結合情報の周期的交換を意味する。１つのノードがハートビート情報を監視するために割り当てられる。ハートビートモニタは、ネットワークごと、パーティションごと、またはグループ基盤ごとに割り当てられ得る。ハートビートモニタの同一性は、動的に割り当てられ、そして、要求はされないが、アンカーノードをハートビートモニタとして選択することが好ましい。ネットワークに接続される他のノードのすべては、ハートビート「スレーブ」であり、これは、これらのノードが動作状態をハートビートモニタに報告し、そしてモニタから周期的な結合更新を受け取ることを意味する。ハートビート情報は、以下の方法で伝達する。各ハートビートスレーブは、機能的であることをローカルハートビートモニタに示すメンバパルスをモニタへ周期的に転送する。モニタは、スレーブのメンバパルスを受け取る場合、結合情報を更新する。モニタは、結合情報をビットマップまたはこのような情報が格納されそして転送されることを可能にする任意の他のデータ構造として格納し得る。モニタは、以下「モニタパルス」と称される、集められた結合情報をハートビートスレーブへ周期的に同報通信する。ハートビートスレーブが、メンバパルス情報を転送するための行において３度期限を逃した場合、ハートビートモニタは、誤ったスレーブが機能を停止したと仮定し、そして格納された結合情報を状態の変更を反映するために更新する。各生き残りハートビートスレーブは、次のモニタパルスにおいて結合の変更を通知され得る。スレーブが不安定で情報を受け取れるが、転送できない場合、スレーブは、もはやネットワークの部分でないという同報通信された通知を受け取る。ハートビートモニタが、モニタパルスを同時通信するための行において３度期限を逃した場合、各スレーブは、ハートビートモニタが機能を停止したと仮定し、そして各スレーブは、新しいハートビートモニタになろうとする。１つのスレーブがハートビートモニタになるように調停するか、またはハートビートモニタを優先順にリストし、そこから連続するモニタを選択し得る構成ファイルが作成され得る。各ノードの責任は、ハートビートモニタ、アンカーノード、またはその両方となるかどうかに依存する。各場合の要旨が以下に述べられる。ハートビートモニタかつアンカーノードどの結合変更においても、すなわち、メンバパルスを受け取るためのどの期限においても、このノードは、定数が格納された結合ビットマップだけに基づいて存在するかどうかを再計算する。得られた定数状態は、同報通信されたモニタパルス中に含まれる。他のアンカーノードから受け取られた定数状態情報は、無視される。ハートモニタであってアンカーモニタでないこのノードは、すべてのスレーブからメンバパルスを受け取る。メンバパルスがアンカーノードから受け取られると、このノードはすぐに、現在の定数状態を更新し、そして次のモニタパルスで現在の定数状態を転送する。ハートビートスレーブかつアンカーノード結合変更がある場合はいつでも、これらのノードが、ハートビートモニタから受け取られる結合情報だけに基づいて定数を再計算する。これらのノードは、メンバパルス中に得られた結果としての定数状態を含む。ハートビートモニタから得られた定数情報は無視される。ハートビートスレーブであってアンカーノードでないこれらのノードは、定数情報を全く転送しない。これらのノードは、ハートビートモニタのモニタパルスから更新された定数情報を受け取る。ノードがグループ化される実施態様について、各グループは、グループハートビート転送器を選択し得る。グループハートビート転送器は、グループレベルハートビートモニタに、それが表すグループがアクティブであることを通知する。グループレベルハートビートモニタは、ネットワークに存在するグループの集合の状態を周期的に同報通信する。この階層的グループ化は、任意の深さのものである。特定の実施態様において、定数情報は、特定期間の時間の後に放棄される。これは、タイマを定数情報に関連させることによって（ハートビートモニタおよびスレーブ上で）達成され、ノードが定数情報を受けとったときはいつでも、タイマは再スタートされる。したがって、最後のアンカーノードが機能を停止する場合(そしてしたがって定数情報の転送を停止する)、タイマに対してタイムアウト期間以内に定数をもはや有しないことを知るアンカーはひとつもない。上記のように、アンカーノードは、現在のノードデータベースの記録を維持する、すなわちアンカーノードは、ネットワークの現在の結合状態を記録する。アンカーノードは、ノード故障の間のバックアップを提供するために、ノードデータベースをディスク格納部または特定の他の不揮発性格納機構へ格納し得る。ノードデータベースは、特定のディレクトリロケーションに書き込まれ得る。データベースの更新は、集中されたデータベースによって制御され得る。アンカーノードがデータベースを更新する用意をした場合、行おうとする動作(加算、削除、またはノードの変更)、エントリが変更するノードを確認するデータ、および更新が成功した場合に使用されるデータベースのバージョン番号をを示し得る。１つより多いアンカーノードを有するネットワークにおいて、アンカーノードはノードデータベース更新を行うために調停アルゴリズムへ入力されなければならない。ノードデータベース更新を開始するアンカーノードは、「コーディネータ」の役割を仮定する。コーディネータは、現在定数集合中のすべてのアンカーノードのリストを得、そしてこのリスト中の各アンカーノードは、開始された更新の目的のために「従属(subordinate)」アンカーノードの役割を仮定する。データベース更新が進行する一方で、コーディネータおよび従属が第２ノードデータベース更新が始まることを許可しない。単一アンカーノードを有するネットワークにおいて、コーディネータは、コーディネータだけを含むアンカーノードのリストを得る。コーディネータが空のアンカーノードのリストを取り出した場合、エラーが起こり、更新は直ちに終結される。特定の実施態様において、コーディネータの最初の働きは、定数に対するチェックである。定数が全く存在しない場合、更新は直ちに終結される。ＲＡＭディレクトリ回復上述のように、グローバルＲＡＭディレクトリ（ＧＲＤ）ページは、冗長性、信頼性、永続性のあるディスク記憶装置にバックアップされない揮発性ページであり、頻繁に改変される。これらの特質により、ＧＲＤページはノード故障に極めて脆い。ＧＲＤページは他のＧＲＤページの位置を可能にするため、あるＧＲＤページを失うと、共有メモリスペースのあるセクションが検索不可能になり得る。簡単に概観を述べると、ネットワーク内のノードが故障すると、すべての他のノードが処理を停止する。ＧＲＤは放棄され、生き残ったノードのローカルＲＡＭキャッシュの内容が同期して再供給され、処理が回復する。「ノード状態」および「ネットワーク状態」の概念が導入されるべきである。ノードは４つの状態、すなわち、正常状態、通知状態、静止状態、および再構築状態を有する。正常状態では、ノードは正常に機能している。別のノードの故障が通知されると、ノードは「通知」状態に入り、そのローカル処理のすべてが停止するのを待つ。すべての処理が停止すると、ノードは静止状態に入り、保管しているすべてのＧＲＤページを放棄する。ノードが回復コーディネタからの「再供給開始」メッセージを受け取ると、静止状態から出て、再構築状態に入る。ノードが回復コーディネータに再構築を完了したことを報告すると、ノードは再び正常状態に入る。ネットワーク状態は同様の特性を有するが、任意のノードが通知状態にある場合はネットワークは通知状態にあることを除けば、すべてのノードが静止状熊にあるときのみネットワークは静止状態にあり、任意のノードが再構築状態にある場合はネットワークは再構築状態にあり、そして第１のノードが正常状態に戻るとネットワークは正常状態にある。アンカーノードが、ノードが故障したことを（ハートビーン(heartbean)メカニズムを介して）通知するか、またはノードの故障を検出した別のノードからＧＲＤを再構築するようにとの要求を受け取ると、アンカーノードは「通知」状態に入り、他のアンカーと交渉して、回復コーディネータになり、これにより再構築の制御を得る。再構築を制御する交渉は、多くの異なる特質に依存し得る。例えば、アンカーノードは識別コードに基づいて交渉し得、割り当て識別コードが低い方が交渉に「勝つ」。アンカーノードは、交渉に負けると、勝者に従い、再構築を制御しようと企てることは止め、「回復開始」メッセージを待ち、そして、上述のように進行する。さもなければ、アンカーノードが再構築を制御する場合は、「回復のための静止」メッセージをすべてのノードに送り、返答すべてを受け取るまで待つ。これは同期プロセスであり得るが、様々な応答速度および能力を有するノードに適合するためにアンカーノードが非同期であることは望まれ得る。非アンカーノードは先ず、回復コーディネータであるアンカーノードからの「回復のための静止」メッセージを受け取る。これにより、ノードは「通知」状態に入る。通知状態に入ると、すべてのローカル処理活動は停止され、ほとんどの受け取った遠隔呼び出しに対してエラーが返されるべきである。この状態はすべての無効化を完了させるか、または確実に無効化に失敗するかのいずれかでなければならない。さもなくば、ページが改変され得る一方で、分離されたコピーホールダはそのままにされる。すべてのローカル処理が終了すると、「回復のための静止」メッセージへの返答がコーディネータに送られ、ノードは静止状態に入る。静止状態の間、ノードはすべてのＧＲＤページを、ダーティかどうかに係わらずそのローカルＲＡＭキャッシュから除去し、コピーセット情報を放棄し、「再供給開始」メッセージを待つ。回復コーディネータは、すべての返答を受け取ると、すべてのノードに「再供給開始」メッセージを送り、これらのノードからの再供給が完了した旨の返答を待つ。ノードは「再供給開始」メッセージを受け取ると、再構築状態に入り、メッセ −ジへの返答を送る。ノードのローカルＲＡＭキャッシュ内に残っているページに対して、ノードは、グローバルアドレスによってそのページを識別し、そのページの責任ノードおよび所有者となることを要求するメッセージを回復コーディネータに送る。これが成功する場合は、ノードはそのページを所有する。成功しない場合は、ノードはページをそのローカルＲＡＭキャッシュから落とすか、またはそのページのコピーチャイルドになるために新しい所有者に登録すべきである。ノードが、そのローカルＲＡＭキャッシュ内に存在するすべてのページの所有者になろうと企てる場合は、「再供給完了」メッセージを回復コーディネータに送って、「動作再開」メッセージの受け取りを待つ。すべてのノードが「再供絵完了」メッセージを回復コーディネータに送ると、回復コーディネータはネットワーク内のすべてのノードに「動作再開」メッセージを送る。ノードがＧＲＤ再構築プロセス中に失敗すると、このノードは無視されるか、または再構築プロセスが再び開始される。ディスクディレクトリ回復ＧＤＤのページはネットワーク内の複数のノードによって格納されるため、ノードの故障に対してある程度の許容度が提供される。ノードが故障すると、故障したノードによって格納されている永続性データおよびディレクトリページは、続いての故障に生き残るために、再複製を行う必要がある。この再複製機能を行うために使用されるメカニズムは２つある。第１のメカニズムは、通常のページ活性化プロセスである。ページが活性化される毎に、一次コアホルダがチェックを行って、このページがコアホルダ数の最小しきい値より少なくないことを確実にする。最小しきい値より少ない場合は、一次コアホルダは責任を持って新しいコアホルダを見つける。このメカニズムは要求駆動型である。すなわち、このメカニズムによれば、ページは明白にアクセスされるときに再複製される。第２のメカニズムは、活動を非同期的にスケジュール化するバックグラウンド再複製器を用いる。ネットワーク内に存在するアンカーノードのうちの１つが、一次アンカーノード（ＰＡＮ）として指名される。ＰＡＮは、グローバルディスクディレクトリ（ＧＤＤ）ルートページの一次コピーを維持する。ＰＡＮは動的に任命される。ＰＡＮが故障の場合にＰＡＮになるようにアンカーノード同志が調停し得るか、またはＰＡＮとして働き得る一連のノードをリストアップする構成ファイルが提供され得る。いずれの場合においても、定数は依然として存在しなければならない。ＰＡＮではないアンカーノードは、再複製プロセスに関しては非アンカーノードと同じように振る舞う。非同期のＧＤＤ回復を提供するためには、ＰＡＮはバックグラウンド再複製プロセスを維持および制御する。ＰＡＮは、他のノードが最小コアホルダしきい値より少ないＧＤＤページを検出するとき送られる他のノードからの通知を受け取る。これらのＧＤＤページは、典型的には、通常のディレクトリ横断(traversal )動作中に検出される。ＰＡＮは上述のようにページを活性化することにより再複製を行う。ノードは、しきい値より少ない数のコアホルダを有するＧＤＤページに遭遇すると、このＧＤＤページに関する状態を維持する。このようなページに遭遇すると、ノードはＰＡＮにページを再複製するように通知し、次にＰＡＮを監視する。再複製中にＰＡＮが故障すると、ノードは他のアンカーノードが新しいＰＡＮを選択するのを（または構成ファイルから新しいＰＡＮが任命されるまで）待ち、新しいＰＡＮに再複製要求を伝送する。このプロセスでは、ノード状態を監視するために通信サブシステムが利用される。ノード状態はまた、利用可能なディスクスペースなどのリソース制約により不完全であった再複製動作を再び開始するためにも使用され得る。様々な形態のネットワークの隙間により、ノードセットが、個別の集合体に分断される結果となり得る。これが生じると、ページの複製コピーは集合体間で分断され得る。すなわち、あるページのための１つのコアホルダがネットワーク内に存在する一方で、別のコアホルダが集合体内に含まれることになる。データおよびディレクトリページへの書き込みアクセスには、オリジナルのアンカーノードセットの過半数である定数セットが必要とされる。従って、定数セット内ではないノードの集合体は、データページを供給し得るが、これらに書き込みを行うことはできない。この定数でない場合にページを改変することができないという特性は、アンカーノードに、定数が失われるとＧＤＤルートページへの改変を許可しないようにさせることによって実施される。ノードがそのコアホルダのすべてにアクセスしないでページを改変しようと企てる場合は、先ずコアコピーホルダーセットを改変しようと企てるであろうが、これにはそのページのＧＤＤページを改変する必要がある。このＧＤＤページへの書き込みは、それ自体、そのコアコピーセットを格納するＧＤＤへの権利を必要となり得、最終的には、ノードはＧＤＤルートページを改変しようと企てるであろう。この動作はアンカーノードによって失敗させられるため、通常のデータページへのオリジナルな書き込みは失敗し得る。アンカーノードがこのＧＤＤルートページに定数を実施することにより、分断されたネットワークの存在下でのデータ崩壊が防止される。ファイルシステム回復ノード故障の別の結果としては、ファイルシステムメタデータ不一致の発生がある。ファイルシステムメタデータ不一致は、（１）ページの割り当てまたは割り当て解除中の故障により生じる、割り当てられたページのファイルシステム表示と、割り当てられたまたは割り当て解除されたページのグローバルディスクディレクトリ（ＧＤＤ）との間の不一致、（２）ファイルＩノード中に含まれる間違ったファイル属性、（３）複数のディスクブロックにわたる更新（ディレクトリ更新およびファイルセット動作）などの、更新を記録するために複数のフラッシュ動作を必要とするトランザクション中の故障から生じるファイルシステムからの不一致ページ、（４）単一ページおよび複数ページ更新の失敗から生じるＩノードディレクトリエラー、（５）同期プロセス中の故障から生じる、Ｉノード内に格納されているファイル属性と、ファイルのＩノードおよびファイルのディレクトリエントリ内に格納されているファイル属性との間の不一致を含む、多数の形態をとる。ＧＤＤ更新を含むファイルシステムトランザクションは、割り当て動作、割り当て解除動作、および非割り当て動作、すなわち、アドレススペースを保留にしておく一方でディスクスペースを自由にする動作を含むトランザクションである。これらのトランザクションは、割り当てられているページの状態がファイルシステムメタデータ構造内で更新されることを必要とし、またＧＤＤ割り当て、割り当て解除、または非割り当て機能の呼び出しを必要とする。これらの機能をファイルシステムがノード故障から回復するのを可能にするように行うためには、ファイルシステムページは、ページが割り当てられるとＧＤＤに伝送される回復処理と関連付けられなければならない。回復処理は、ファイルシステム対象物識別コードなどのページを独自に識別する任意の識別エンティティである。ファイルシステムは、ファイルシステムに従って行われる特定のページの割り当ての現在の状態を決定するためにＧＤＤによって呼び出され得るコールバックルーチンを提供する。ページの割り当てに対しては、ファイルシステムは、トランザクションを企てる前に、ＧＤＤ割り当て機能を呼び出さなければならない。ＧＤＤ割り当てが成功裏に完了すると、ファイルシステムはその割り当て状態を永久に記録し得る。トランザクションの完了が失敗する場合は、ＧＤＤはファイルシステムが認識しないページを割り当てているかも知れない。ページの割り当て解除または非割り当てに対しては、ファイルシステムは、ページの割り当て解除または非割り当てを行うためにＧＤＤ機能を呼び出す前に、割り当て解除または非割り当てを永久に記録(report)しなければならない。トランザクションの完了が失敗する場合は、ＧＤＤはファイルシステムが認識しないファイルシステムページで終了し得る。ＧＤＤは、ファイルシステム対象物ＩＤに関連するページを認証するためにファイルシステムを呼び出し得る。ＧＤＤは、ＧＤＤが感知する割り当て状態をフアイルシステムに渡す。ファイルシステムは、そのメタデータ構造を検索して、ページを識別し、ＧＤＤに同意しない場合のみＧＤＤに返答する。ファイルＩノードの更新は、ファイルのＩノードに含まれるメタデータ情報を更新することを要求する。これらの属性は、ファイルのタイムスタンプ、ファイルのフラグ、およびエンド・オブ・ファイルマークを含み得る。属性は、様々なセットファイル属性動作によって直接更新されてもよく、あるいはタイムスタンプの場合のように、他のファイルシステム動作の一部として間接的に設定されてもよい。Ｉノードはディスクブロックにはまたがらないので、すなわちＩノードは単一のページを占めるので、更新は完全に成功するか完全に失敗するかのどちらかである。従って、ファイルシステムはファイルシステムのメタデータ中の不一致性を検出しない。これはファイルサイズの更新にも当てはまる。なぜなら、一次ストリームのファイルサイズはファイルＩノードおよびデータストリーム記述子の両方に格納されているが、これらのメタデータ構造は両方とも、同じディスクブロック中の同じページ上に存在するからである。複数ページにまたがるファイルシステムメタデータ更新は、ファイルまたはディレクトリ作成、ファイルまたはディレクトリ削除、およびファイルまたはディレクトリのリネーム、ファイルセット更新（例えば作成または削除、あるいはスーパールート(super root)更新または作成）などの、ディレクトリエントリ更新を含む。これらの複数ページメタデータ更新のそれぞれは、トランザクション中のノード故障に弱く、それぞれ特定の方法で取り扱われなければならない。ディレクトリエントリの挿入および削除は、複数のページに関与する複数のフラッシュを必要とし得る。ディレクトリエントリ上の分布に応じて、ファイルの追加または削除は、エントリを含むページ、リスト中の前のエントリおよび次のエントリを含むページ、およびネームハッシュテーブルを含むＩノードページに影響し得る。ディレクトリエントリの挿入の場合、存在するディレクトリのページ中に空いたスロットが見つからなければ、新しいエントリページが割り当てられる。ディレクトリエントリを挿入または削除するトランザクションは、まず、ディレクトリＩノードに、処理のタイプによってマーク付けしなければならない。マークは、作成、作成＿ディレクトリ、リネーム、リネームターゲット、および削除を含み得る。挿入または除去されるファイルのＩノードナンバーも、ディレクトリＩノードに格納される。次にディレクトリＩノードをフラッシュする。これは更新処理の開始を意味（mark)する。ディレクトリＩノードがフラッシュされると、ソートおよびハッシュリスト中の前のエントリおよび次のエントリを含むページならびにハッシュテーブルＩノードページとともに、エントリ変更によってディレクトリを更新する。これらは並列におこり得る。次にディレクトリＩノード中の処理マークを消去し、Ｉノードを書き出す。これは処理の終了を意味する。処理マークを有するディレクトリＩノードページは、そのディレクトリが不完全な処理のターゲットであったことを示しており、そのディレクトリは回復されなければならない。ファイルシステムは、個々のディレクトリを確認して修復する機能を呼び出すことにより、ディレクトリＩノードページを回復する。これらの機能は、壊れたソート／ハッシュリンク化リスト、不一致空きブロックリンク化リスト、あるいは不正なハッシュテーブルバケットエントリなどの、ディレクトリ中に見いだされたいかなる不一致もチェックして修復しなければならない。この機能がディレクトリの修復に失敗した場合、ディレクトリは不正(corrupt)としてマークされなければならず、このディレクトリに対する将来のアクセスは禁止されなければならない。そうでない場合は、処理マークからファイルエントリＩノードナンバーを抽出し、Ｉノードに対する接続性を確認する。確認が終われば、ディレクトリＩノード中の処理マークを消去し、ディレクトリＩノードページをフラッシュする。これは回復の終了を意味する。ファイル作成およびディレクトリ作成は、新しいＩノードページの割り当てを包含し、ディレクトリの場合には、第１のディレクトリエントリページの割り当ておよび、新しいファイルまたはディレクトリを後に親ディレクトリに挿入することを包含する。ファイルシステムは、新しいＩノードを返すＩノードディレクトリ機能をまず呼び出すことによって、ファイルまたはディレクトリ作成を実行する。処理を親ディレクトリＩノード中でマークし、フラッシュする。全てのデータ構造更新は、この処理マーク下において行われる。これらの更新がフラッシュされると、ディレクトリＩノード中の処理マークを消去する。親Ｉノード（すなわち親ディレクトリのＩノード）中で見つかった処理マークは、処理中にノード故障が起こったことを示している。故障したファイルまたはディレクトリ作成処理から回復するために、親ディレクトリＩノードに含まれる処理マークを用いてファイルまたはディレクトリＩノードを探す。親ディレクトリは、上述と同様な方法で回復されるが、親Ｉノード処理マークは直ちには消去されない。親ディレクトリを修復することが可能あるいは不一致性を有しており、処理マークから新しいファイルＩノードまたは新しいディレクトリＩノードが明らかであれば、親Ｉノード中の処理マークを消去し、フラッシュする。この場合、処理は完了である。そうでない場合は、ファイルシステムは処理を取り消さなければならない。処理を取り消すためには、ファイルシステムは、処理がディレクトリ作成処理であるかファイル作成処理であるかを決定しなければならない。失敗した処理がディレクトリ作成であり、ファイルシステムがＩノードページ中にディレクトリエントリページに対するポインタを有していれば、単にディレクトリエントリページを割り当て解除すればよい。そうでなければ、ファイルシステムはＩノードを自由にするＩノードディレクトリ機能を呼び出し、エントリが作成されていれば親ディレクトリからエントリを除去し、そして親Ｉノードから処理マークを消去してフラッシュしなければならない。ファイル削除およびディレクトリ削除は２つの段階(phase)で行われる。簡単に概観すると、ファイルまたはディレクトリをまず削除マーク付けし、そのエントリを親ディレクトリから除去する。その後、そのファイルまたはディレクトリに対する全てのオープンハンドルが閉じられたときに、物理的に削除される。失敗したファイル削除処理またはディレクトリ削除処理から回復するためには、ファイルシステムは、削除マーク段階において、ファイルＩノードまたはディレクトリＩノードに処理マークを設定することによりそれが削除されることを示さなければならない。次にＩノードをフラッシュする。次に上述の一般的方法を用いてファイルエントリまたはディレクトリエントリを親ディレクトリから除去する。親Ｉノードに設定された処理マークは、削除処理が起こっていることを表す。そのファイルに対するディレクトリ探索はいまや失敗するため、新しいファイルハンドルを開くことはできない。しかし、存在するハンドルを用いてファイルまたはディレクトリにアクセスし得る。ファイルまたはディレクトリに対する全ての存在するハンドルが閉じられ、かつ処理のターゲットがディレクトリである場合、全てのディレクトリエントリページを割り当て解除する。Ｉノードをゆっくりとローカルルックアサイド（ｌｏｏｋａｓｉｄｅ）リストに返す。性能およびスケーリング的な理由から、Ｉノードはグループ単位でグローバルプールから割り当てまたは割り当て解除される。しかし、Ｉノードは単独で割り当ておよび割り当て解除される。もし親ディレクトリＩノードまたはファイル／ディレクトリＩノードが、不完全な削除処理を示す処理マークを有した状態で見つかれば、その削除は回復されなければならない。しかし、もし親Ｉノードが削除処理マークを有していれば、親Ｉノード中の処理マークを用いて削除中のファイル／ディレクトリのＩノードを探さなければならない。もしファイル／ディレクトリＩノードが、削除のターゲットがディレクトリであることを示していれば、全てのディレクトリエントリページを割り当て解除しなければならない。Ｉノードを後の処置のためローカルプールに戻す。ファイル／ディレクトリのエントリの除去が確認されれば、親Ｉノードの処理マークを消去してもよく、親Ｉノードをフラッシュすることができる。このステップにより削除の回復が完了する。リネーム動作は、新しいディレクトリへの挿入および古いディレクトリからの削除を行うことによって実行される。ただし挿入および削除の両方が首尾よく完了するまでは、挿入処理は消去されない。これによりシステムは、失敗までの進行度合いに応じて、不成功なリネーム動作に出会ったときにそこから「退却」するか、あるいはその失敗したリネーム動作を完了することが可能になる。ファイルセット作成および削除はまた複数のページフラッシュを必要とするが、これらは処理中のノード故障に弱い。ファイルセット作成は、新しいファイルセットページ、ファイルセットのＩノードディレクトリ、およびルートディレクトリの割り当ておよび初期化を包含する。失敗したファイルセット作成を回復するためには、ファイルシステムは、ファイルセット、Ｉノードディレクトリ、およびルートディレクトリを初期化するために必要なページを割り当てることから始めなければならない。ルートディレクトリページには、ルートディレクトリを指すファイルシステムオブジェクトＩＤが割り当てられ、ファイルセットの関連ページはファイルセットＩＤのみによって初期化される。もしこの時点でノードが失敗すれば、割り当てられたページは失われる。そしてスーパールートを更新することにより新しいファイルセットを記録する。このステップが成功すれば、ファイルセット作成処理は成功である。ファイルセット削除動作は、ファイルセットページ、Ｉノードディレクトリ、およびルートディレクトリを割り当て解除する。この処理は、ファイルセットを削除処理のターゲットとしてマーク付けすることから始まる。ファイルセットページをフラッシュし、ルートディレクトリを削除する。ルートディレクトリが削除されれば全ての空きＩノードを割り当て解除し、このステップを必要な回数だけ繰り返し得る。次にスーパールートを更新することによりスーパールートのファイルセットの集合からファイルセットを除去する。この時点でノードが失敗すれば、ファイルページは失われるが、ＧＤＤコールバック機構を介して回復され得る。ファイルセット削除は、ファイルセットページを削除することで完了する。Ｉノードディレクトリは、ファイルセット中の全てのＩノードを追跡するために用いられる永続的なデータ構造の集合である。Ｉノードディレクトリを用いて、ファイルシステムはファイルセット中のいかなるＩノードも探し出すことが可能である。Ｉノードディレクトリは、(1)空いているＩノードリストおよび(2)I ノードビットマップの２つの主要要素を含む。上記のように、ファイルシステムのもっとも重要な性能指標の１つであるディレクトリ照会の性能を改善するために、ファイル属性はファイルＩノードおよびそのディレクトリエントリにおいて複製される。いかなるファイル属性の変更も両構造に伝播されなければならないため、ファイルまたはディレクトリを更新するために必要なフラッシュの回数は２倍になり得る。Ｉノードページとディレクトリエントリページとの更新は別なため、これら２つの間に不一致が起こり得る。この不一致は、ディレクトリエントリ中のＩノードに同期バージョンナンバーを設けることにより、減少される。これら２つは同じ同期バージョンナンバーを有していれば同期される。Ｉノードが更新されるときは必ず、その同期バージョンナンバーをインクリメントする。そして、ディレクトリエントリページをロックし、Ｉノード中のファイル属性は同期バージョンナンバーを含めディレクトリエントリのコピーとなる。エントリページはまだフラッシュされないが、上述の方法に基づいてＩノードページをフラッシュする。もしこの時点でノードが故障したならば、Ｉノード中のディレクトリエントリは互いに対して同期していない。Ｉノードがフラッシュされると、エントリページも独立してフラッシュされる。ファイルオープンまたはディレクトリオープン中において、Ｉノード同期バージョンをディレクトリエントリの同期バージョンと比較する。もしこれらが一致しなければ、ディレクトリエントリはＩノードエントリと同期しておらず、ディレクトリエントリを更新しなければならない。当業者には、請求の範囲に記載した通りの発明の趣旨および範囲から逸脱することなく、本明細書に説明した事項の変形、改変およびその他の実施が想起されるであろう。従って、本発明は上記の例示的な説明によって定義されるのではなく、以下の請求項の趣旨および範囲によって定義されるものである。

───────────────────────────────────────────────────── フロントページの続き (31)優先権主張番号０８／８４８，９６７ (32)優先日平成９年５月２日(1997．5．2) (33)優先権主張国米国（ＵＳ） (81)指定国ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＭＬ，ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＫＥ，ＬＳ，ＭＷ，ＳＤ，ＳＺ，ＵＧ，ＺＷ)，ＥＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ，ＴＪ，ＴＭ)，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ，ＢＡ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ，ＣＵ，ＣＺ，ＤＥ，ＤＫ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＥ，ＧＨ，ＨＵ，ＩＤ，ＩＬ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＣ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＳＬ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＵＡ，ＵＧ，ＵＺ，ＶＮ，ＹＵ，ＺＷ (72)発明者ディターリッチ，ダニエルジェイ. アメリカ合衆国マサチューセッツ 01720，アクトン，セダーテラス４ (72)発明者フランク，スティーブンジェイ. アメリカ合衆国マサチューセッツ 01748，ホプキントン，ティファニートレイル６ (72)発明者フィリップス，ロバートエス. アメリカ合衆国マサチューセッツ 01506, ブルックフィールド，ピー．オー．ボックス 601，シャーマンストリート５ (72)発明者ウッズ，ジョンアメリカ合衆国マサチューセッツ 01719，ボックスボロー，マサチューセッツアベニュー 958 (72)発明者ポーター，デイビッドアメリカ合衆国マサチューセッツ 01460，リトルトン，アップランドロード２ (72)発明者リー，シンエイチ. アメリカ合衆国マサチューセッツ 01720，アクトン，フランシンロード７

Claims

【特許請求の範囲】１．データに対する分散制御を提供するシステムにおいて、ノード故障後に動作を継続する方法であって、（ａ）接続状態情報を定期的に交換する、ネットワークによって相互接続された複数のノードを提供するステップと、（ｂ）データを操作するためのデータ制御プログラムのインスタンスを各ノードに格納し、これにより、複数の分散されたデータ制御プログラムのインスタンスを提供するステップと、（ｃ）該相互接続されたノード上に分散ストレージを提供するとともにアドレシング可能な持続性データストレージを提供する分散共有メモリシステムに対して該データ制御プログラムの各インスタンスをインターフェースさせるステップと、（ｄ）該データ制御プログラムの各インスタンスを操作して、その中にデータを収容したメモリ装置として該共有メモリシステムを採用するステップであって、それによって、該共有メモリシステムが、１つよりも多いネットワークノード間に分散された複数コピーの持続性データを維持するステップと、（ｅ）該交換される接続状態情報から、あるノードの故障を決定するステップと、（ｆ）該故障ノードが関与した、該データの一部を決定するステップと、（ｇ）生き残りノードをホストとする持続性ストレージ内に、該故障ノードが関与した該データの該一部のコピーを格納するステップと、を包含する方法。２．前記ステップ（ａ）は、（ａ−ａ）ネットワークによって相互接続される複数のノードを提供するステップと、（ａ−ｂ）該相互接続される複数のノードからハートビートモニタ(heartbeat monitor)ノードを指定するステップと、を包含し、該複数のノードは該ハートビートモニタノードに定期的に情報を伝達し、該ハートビートモニタノードは該複数のノードに定期的に情報を一斉送信する、請求項１に記載の方法。３．前記ステップ（ａ）は、（ａ−ａ）ネットワークによって相互接続される複数のノードを提供するステップであって、該ノードは階層的ノードグループに組織化されている、ステップと、（ａ−ｂ）各ノードグループについてハートビートモニタノードを指定するステップと、を包含し、あるグループ内の各ノードは該グループの該ハートビートモニタノードに定期的に情報を伝達し、各ハートビートモニタノードはそのグループに属するノードに定期的に情報を一斉送信し、該複数のハートビートモニタノードは情報を交換する、請求項１に記載の方法。４．前記ステップ（ｅ）は、あるノードの故障を、該ノードからの交換情報の不在から決定するステップを包含する、請求項２に記載の方法。５．前記ステップ（ｄ）は、前記データ制御プログラムの各インスタンスを操作して、その中にデータを収容したメモリ装置として前記共有メモリシステムを採用するステップであって、該共有メモリシステムは、ディレクトリを使用して各ノードに関連する揮発性メモリ素子内に格納されたデータへのアクセスを調整するとともに、１つよりも多いネットワークノード間に分散された複数コピーの持続性データを維持するステップを包含する、請求項１に記載の方法。６．前記ステップ（ｆ）は、（ｆ−ａ）前記故障ノードが該故障ノードに関連する揮発性メモリ素子内に格納していた前記データの一部を決定するステップと、（ｆ−ｂ）該故障ノードが該故障ノードに関連する持続性メモリ素子内に格納していた該データの一部を決定するステップと、をさらに包含する、請求項５に記載の方法。７．前記ステップ（ｇ）は、前記揮発性メモリディレクトリを再構築するステップを包含する、請求項５に記載の方法。８．データに対する分散制御を提供するシステムにおいて、ノード故障後に動作を継続する方法であって、（ａ）接続状態情報を定期的に交換する、ネットワークによって相互接続された複数のノードを提供するステップと、（ｂ）データを操作するためのデータ制御プログラムのインスタンスを各ノードに格納し、これにより、複数の分散されたデータ制御プログラムのインスタンスを提供するステップと、（ｃ）該相互接続されたノード上に分散ストレージを提供するとともにアドレシング可能な持続性データストレージを提供するグローバルにアドレシング可能なデータ格納部に対して該データ制御プログラムの各インスタンスをインターフェースさせるステップと、（ｄ）該データ制御プログラムの各インスタンスを操作して、その中にデータを収容したメモリ装置として該グローバルにアドレシング可能なデータ格納部を採用するステップであって、それによって、該グローバルにアドレシング可能なデータ格納部が、１つよりも多いネットワークノード間に分散された複数コピーの持続性データを維持するステップと、（ｅ）該交換される接続状態情報から、あるノードの故障を決定するステップと、（ｆ）該故障ノードが関与した、該データの一部を決定するステップと、（ｇ）生き残りノードをホストとする持続性ストレージ内に、該故障ノードが関与した該データの該一部のコピーを格納するステップと、を包含する方法。９．前記ステップ（ａ）は、（ａ−ａ）ネットワークによって相互接続される複数のノードを提供するステップと、（ａ−ｂ）該相互接続される複数のノードからハートビートモニタノードを指定するステップと、を包含し、該複数のノードは該ハートビートモニタノードに定期的に情報を伝達し、該ハートビートモニタノードは該複数のノードに定期的に情報を一斉送信する、請求項８に記載の方法。１０．前記ステップ（ａ）は、（ａ−ａ）ネットワークによって相互接続される複数のノードを提供するステップであって、該ノードは階層的ノードグループに組織化されている、ステップと、（ａ−ｂ）各ノードグループについてハートビートモニタノードを指定するステップと、をさらに包含し、あるグループ内の各ノードは該グループの該ハートビートモニタノードに定期的に情報を伝達し、各ハートビートモニタノードはそのグループに属するノードに定期的に情報を一斉送信し、該複数のハートビートモニタノードは情報を交換する、請求項８に記載の方法。１１．前記ステップ（ｅ）は、あるノードの故障を、該ノードからの交換情報の不在から決定するステップを包含する、請求項９に記載の方法。１２．前記ステップ（ｄ）は、前記データ制御プログラムの各インスタンスを操作して、その中にデータを収容したメモリ装置として前記グローバルにアドレシング可能なデータ格納部を採用するステップであって、該グローバルにアドレシング可能なデータ格納部は、ディレクトリを使用して各ノードに関連する揮発性メモリ素子内に格納されたデータへのアクセスを調整するとともに、１つよりも多いネットワークノード間に分散された複数コピーの持続性データを維持するステップを包含する、請求項８に記載の方法。１３．前記ステップ（ｆ）は、（ｆ−ａ）前記故障ノードが該故障ノードに関連する揮発性メモリ素子内に格納していた前記データの一部を決定するステップと、（ｆ−ｂ）該故障ノードが該故障ノードに関連する持続性メモリ素子内に格納していた該データの一部を決定するステップと、をさらに包含する、請求項１２に記載の方法。１４．前記ステップ（ｇ）は、前記揮発性メモリディレクトリを再構築するステップを包含する、請求項１２に記載の方法。