JP2001518665A - 分散型計算ノードの高信頼アレイ - Google Patents

Abstract

(57)【要約】 頑健な分散型サーバシステムを提供するために冗長記憶および冗長通信を利用するシステム。

Description

【発明の詳細な説明】

【０００１】

【技術分野】

本願は、頑健な通信ならびに分散型の読出および書込動作を形成するような形
で、情報の冗長通信および記憶を含むネットワークを形成する、分散型計算ノー
ドの高信頼アレイに関する。また、該システムは、冗長性が必要であることを示
す状態を検出し、そのような状態に対応して該状態に対する補償をするために再
設定を行なうこともできる。

【０００２】

【背景技術】

分散型環境上の計算および記憶を使用すれば、既存のハードウェアおよびソフ
トウェアを増強することのできる可能性は大いにある。このようなシステムは、
分散型の、可用性に優れた記憶サーバとして使用することができるであろう。可
能な用途としては、マルチメディアサーバ、ウェブサーバ、およびデータベース
サーバ等がある。しかし、より一般的には、この種のシステムは、情報を複数の
場所で分散する必要のある、どのような応用にも使用することができる。

【０００３】 しかしながら、コストを過度に増すことなく高い信頼性を提供するよう、接続
、監視および動作を正しく組合せることは、非常に困難である。

【０００４】 障害を補償することのできる冗長記憶システムを提供する方法はよく知られて
いる。このようなシステムの一例が、「ＲＡＩＤ（reliable array of independ
ent disks）」と呼ばれるシステムである。ＲＡＩＤタイプのシステムの２つの 例が、米国特許番号第５，５７９，４７５号および第５，４１２，６６１号に記
載されている。これらのシステムは冗長データ記憶を提供することで、システム
のどのディスクの故障も、該システム内の他の場所にある冗長データによって補
償されるようにしている。

【０００５】 システム内の各コンピュータ（「ノード」）が他のノードと接続されている通
信システムはよく知られている。その一例がイーサネットであるが、これはバス
型プロトコルであって、計算ノードがバスを介して通信する。サーバは典型的に
、すべてのノードのための共用データをすべて格納している。これらのノードは
、ローカルなデータ記憶もまた有してもよい。

【０００６】 単一のネットワークシステムは、ノードとサーバとをつなぐ単一のイーサネッ
トリンクを含む。したがって、サーバへの接続もしくは通信に、またはサーバ自
身の内部になんらかの障害が発生すると、ノードはもはやサーバから従来のデー
タアクセスサービスを得ることができなくなる。それらノードは、その後はスタ
ンドアロンモードで動作することを強いられ、したがってローカルに利用可能な
データを使用して動作することしかできなくなる。

【０００７】 このようなシステムの信頼性を高めることを目的としたサーバ型システムが知
られている。このようなシステムの１つは、デュアルバス接続を使用する。各計
算ノードには、２つの別個のイーサネットカードを使用して２つの別個のバスを
介して２つの別個のサーバにつながる、２つのイーサネット接続が提供される。
これは、実質的には、各々がハードウェアおよび記憶の完全な予備を有する、２
つの別個のシステムである。

【０００８】 この場合、いずれかの接続またはバスにエラーがあっても、他方のバスを介し
て正常な動作を続けることができる。２つの冗長バスおよび２つの冗長サーバを
有するシステムを、デュアルバス、デュアルサーバと呼ぶ。このようなデュアル
バス、デュアルサーバシステムは、単一のネットワーク障害は許容することがで
きる。しかし、このようなシステムでは、通常、各サーバ上にすべての情報の複
製を作成しなければならない。

【０００９】

【発明の開示】

本願に記載されるシステムは、パーソナルコンピュータ等の比較的ローパワー
のワークステーションを使用して、既存のハードウェアおよびソフトウェアを増
強するものである。これらのパーソナルコンピュータは、冗長接続によって接続
される。この接続は、既存のハードウェア、たとえばローカルおよび／またはワ
イドエリアネットワークを利用することができる。

【００１０】 本願は、分散型計算ノードのアレイで形成された、冗長分散型サーバを開示す
る。それら計算ノードの各々は、特別な冗長方式で情報を記憶し、また、頑健な
通信を保証するプロトコルを実行する。

【００１１】 該システムは、好ましくは、ある特定の数のネットワーク障害が、システムの
残りのノードの動作に影響を及ぼすことのないように、ネットワークにフォール
トトレランスをもたらす、特別なアーキテクチャおよび動作を含む。しかし、そ
のノードはどれ一つをとっても、すべての情報を二重に記憶することはない。

【００１２】 該サーバシステムは、冗長通信および冗長記憶を含む。冗長通信は、各ノード
が少なくとも２つの異なる経路のうちの１つを介して他の各ノードと通信するこ
とができるようにする、システムアーキテクチャによって得られる。冗長記憶は
、特別な冗長符号化方式を使用して情報を冗長に記憶することによって得られる
。

【００１３】 該サーバシステムはまた、システムの機能状態を検出する分散型検出ルーチン
を実行する。システムの機能状態としては、たとえば、ネットワーク障害がある
。ネットワーク障害は、リンク断、または動作不能ノードもしくは動作不能スイ
ッチングデバイス等の、通信障害を含み得る。しかし、より一般的には、システ
ム機能状態は、ネットワークの動作を妨げるおそれのある、どのような状態をも
含み得る。システム機能状態は、システムの冗長性によって補償することができ
る。

【００１４】 該サーバシステムは、好ましくは、システムの機能状態を検出するネットワー
ク監視プロセスを実行する。論理ネットワークプロセスがシステムを再設定して
、冗長性を利用してシステム機能状態を補償するようにしている。

【００１５】 該システムはまた、システム障害があった場合に代替的な動作ができるように
する、分散型読出および書込システムを使用する。この代替的な動作は、システ
ムの冗長性を使用する。

【００１６】

【発明を実施するための最良の形態】

本発明の目的、利点および特徴は、添付の図面を参照して以下の詳細な説明を
読むことにより、より容易に理解されるであろう。

【００１７】 図１は、高信頼冗長分散型ネットワークサーバシステムの、最も基本的な第１
の実施例を示す。このシステムは、複数の計算ノード（「ノード」）と、それら
ノードの間でスイッチングを行なうネットワークとで形成されている。

【００１８】 図１のネットワークは、ノードとネットワークとの間に、通信および記憶の双
方について冗長性を有する。この冗長性は、所定の数のシステム機能状態を補償
するのに使用することができる。この冗長性によって補償されるシステム機能状
態は、ネットワークにおける障害（「通信障害」）、ディスク、揮発性メモリ、
もしくはデータを記憶する他のいかなる種類のメモリであってもよい、メモリの
記憶における障害（「メモリ障害」）、または、望ましくない結果をもたらす他
のどのような種類の障害をも含み得る。

【００１９】 この分散型サーバシステムはまた、検出プロセスを含む。検出プロセスは、各
ノードにおいて稼動して、ネットワーク内の他のノードへの接続状態を見る。各
ノードは、ネットワークの状態に関するヒントの集積を使用して、同じプロトコ
ルに従ってネットワークを見る。この検出プロセスは、両サイドがネットワーク
の同じ履歴を見ることができるようにしている。この検出プロセスは、分散され
てはいるが、トークンパッシングシステムを使用して、所望のしきい値内で整合
する、ネットワークのノード間のネットワーク履歴を維持する。トークンにより
、一方側が、他方側がアクションをとったことを確認せずにとることのできるア
クションの数を、所定数に制限することによって、２つの側の自由度が制限され
る。

【００２０】 この検出プロセスは、他のプログラムおよびユーザアプリケーションから見え
ないところで実行される。検出プロセスの好ましい形態は、監視対象となるシス
テムに関する情報を集めるよう動作する、ネットワーク監視（「ＮＥＴＭ」）プ
ロセスを使用するものである。このＮＥＴＭプロセスは、好ましくは、他方ノー
ドが正しく動作しているかどうかを判断するが、より一般的には、ＮＥＴＭプロ
セスは、ユーザビリティに関するパラメータを判断する。このパラメータは、以
下に説明するように、システムが動作中かダウンしているかを示す表示を含み得
る。このパラメータは、システムがどの程度ビジーであるかを示す表示もまた含
み得るが、この表示は、負荷の最適配分に使用することができる。

【００２１】 図１のシステムは、２つのスイッチ１１０および１１２によって接続される４
つの計算ノード（「ノード」）１００、１０２、１０４および１０６を用いて、
本発明の特徴を示している。各ノードは、２つの異なる、したがって冗長な経路
を介して、他の各ノードと通信することができる。たとえば、ノード１００は、
ノード１００とスイッチ１１０との間の相互接続１２０を介して、ノード１０６
と通信することができる。また、スイッチ１１０からノード１０６への経路１２
２を介して冗長相互接続を与える、完璧に別個の経路が存在する。これとは別に
、ノード１００は、ノード１００からスイッチ１１２への相互接続１２４、およ
び、スイッチ１１２からノード１０６への相互接続１２６を使用して、ノード１
０６と通信することもできる。したがって、各ノードは、少なくとも２つの完全
に別個の、冗長な接続経路によって、他の各ノードと接続されている。

【００２２】 この冗長通信能力は、ある通信リンクの使用を避ける方が好ましい場合に、異
なる経路を選択することができるようする。たとえば、スイッチ１１０、または
、接続線１２０および／または１２２のどこかの部分が失われた場合にも、スイ
ッチ１１２を介して、接続線１２４および１２６を通じて、通信を行なうことが
できる。

【００２３】 情報もまた、冗長な方法で記憶されており、ネットワークのどこかの部分が故
障するか、他の形、たとえば膨大なトラフィック等により利用不可能となった場
合にも、どのような情報も検索することができる。この冗長記憶機構を、図１に
おいては要素１４０として示す。システム内のノードの全個数をｎで表わし、選
択数をｋで表わすとすると、冗長記憶１４０内のデータは、ｎ−ｋ個のノードが
失われた場合にも、システムから所望のデータを得ることのできる能力に影響が
及ぶことのないような態様で、記憶されるのが好ましい。このような記憶は、好
ましくは、ノードの各々に冗長情報が記憶される最大距離分離（「ＭＤＳ」）符
号方式に従ってデータを記憶することによって行なわれる。この冗長情報を他の
ノードのデータとともに使用して、欠けてしまった１つ以上のノードのためのデ
ータを再構築することができる。

【００２４】 検出プロセスによって、動作不能ノードや破断した通信リンク等の望ましくな
いシステム機能状態が検出されると、再設定プロセス１４０が実行される。この
再設定プロセス１４０は、記憶冗長性または通信冗長性の少なくとも一方を使用
することができるというその能力のおかげで、障害に対して頑健である。再設定
プロセスは、特定の障害があった場合にもシステムが動作することができるよう
にする。しかし、このプロセスは、専用のスイッチングを何ら必要としないであ
ろう。たとえば、ノード１００と１０６との間の経路は、１２０／１１０／１２
２を介する経路１上で、または、１２４／１１２／１２６を介する経路２上で、
構築することができる。正常動作中には、通信は、経路１、次に経路２、その次
に経路１、等のように、交互に行なわれる。しかし、経路１内に障害または過負
荷があれば、すべての通信は経路２上で行なわれるようになる。これは、通信が
適切に方向付けられるという意味で、再設定と言える。いずれにせよ通信の半分
が経路２を介するように方向付けられていたであろうとはいうものの、この再設
定によって、すべての通信が経路２を介するように仕向けられるのである。

【００２５】 したがって、図１は、本願において説明する分散型サーバの基本的な特徴を示
している。これらの特徴は、通信の冗長性、記憶の冗長性、その冗長性によって
補償することのできるイベントの検出、および、そのイベントを補償するために
冗長性を使用する再設定、を含む。

【００２６】 冗長通信 図１のシステムは、４つのノード１００〜１０６ならびに２つのスイッチ１１
０および１１２を含む、簡単な冗長接続を示す。これらのノードは、好ましくは
、各々が２つのＰＣＩバス型通信カードを有する、パーソナルコンピュータ（「
ＰＣＳ」）等のスタンドアロンワークステーションである。通信カードは、スイ
ッチを介して、他のＰＣＳの同様の通信カードと通信する。通信カードのプロト
コルは、イーサネットまたは他の市販のどのような種類のものであってもよい。
好ましいシステムは、図２に示すスイッチングノード２００に対して、ミリネッ
ト（Ｍｙｒｉｎｅｔ）スイッチを使用する。ミリネットスイッチは市販されてお
り、また、ボーデン（Boden）他による「ミリネット：ギガビット／秒のローカ ルエリアネットワーク（"Myrinet: a gigabit per second local area network"
）」IEEE Micro 1995、に記載されている。

【００２７】 本発明によって使用される特別なノード接続は、ネットワーク通信障害があっ
た場合にも正常に動作する能力を改善する、通信冗長性を提供する。ネットワー
ク通信障害は、スイッチ障害、リンク断、またはスイッチ故障等の、障害を起こ
した通信を含む。接続は、単一の通信障害または通信障害の組合せが通信の破壊
またはノードの孤立化を引起す可能性を最小に抑えるような方法で構築される。
正しい接続の重要性を、以下に説明する。

【００２８】 図２は、４つのスイッチ２２０〜２２６を使用して８つの計算ノード２００〜
２１４を接続するシステムを示す。各計算ノードは、使用可能な２つの相互接続
リンク経路を含み、これにより、通信の冗長性が与えられている。

【００２９】 しかし、図２のシステムにおける通信故障は、計算ノードのグループを意に反
して「分離する」おそれがある。これらの孤立した計算ノードのグループは、そ
れらが分散型サーバの他の稼動中のノードのすべてともはや通信することができ
ないという意味で、分離されている。

【００３０】 １例として、もしスイッチ２２４および２２６が両方とも故障してしまえば、
計算ノード２００〜２０６が計算ノード２０８〜２１４とは完全に分離してしま
う。この場合、使用可能ではあるがあまり好ましくない状態の、分離し得るシス
テムができることになる。

【００３１】 たとえば、使用されるＭＤＳ符号が、データを再構築するのに６個から８個の
ノードを必要とするものとする。もしこのシステムが上述のように分離されれば
、半数のノードのみしか通信ができなくなる。通信可能なノードは４つなので、
この場合は障害によって、データの再構築ができなくなってしまう。

【００３２】 図３のような接続構造が好まれる。この１０ノード、４スイッチを含むシステ
ムでは、通信障害がある場合の相互接続が改善されている。コネクションインタ
ーフェイスは、いずれか２つのスイッチが失われても、最悪の場合でも２つの計
算ノードのみにしか影響が及ぶことのないように作られている。たとえば、スイ
ッチ３２０および３２６が故障した状態を示す図４を参照されたい。太い線は、
この故障によって影響を受ける通信線を示す。この２つのスイッチの故障によっ
て分離されるのは、計算ノード３０４および３１２のみである。他のすべてのノ
ードは、全く問題なく動作でき、どれも分離されることはない。

【００３３】 フォールトトレランスの重要な部分は、スイッチおよびノードの特定的な相互
接続によって得られる。上述の例のように、図２のシステムは、計算ノードの半
分ずつが分離されてしまうおそれがある、という欠点を有する。分離されたシス
テムは計算ノード２００〜２０６を含み、それらのノードは通信することはでき
るが、ノード２０８〜２１４のグループとは分離されている。

【００３４】 この問題の別の例を、図１２に示す。図１２は、複数のスイッチングノードを
使用して、多数の計算ノードを相互接続する方法の１例を示す。各スイッチング
ノードＮは、隣接する２つの計算ノードＣの間に位置付けられる。これは、使用
可能ではあるが、あまり好ましくない構成である。計算ノード１２００および１
２０２が同時に障害を起こしてしまった場合、このシステムの通信能力は、図１
２に示した破線に沿って分割されてしまうことに留意されたい。これにより、シ
ステムの半分１２０４が、システムの他方の半分１２０６とは実質的に分離され
てしまう。

【００３５】 本願に開示した接続の目的は、２つの通信故障によって形成されるおそれのあ
る、この種の分離を防ぐことである。好ましいシステムは、可能な限り最も非ロ
ーカルな方法でノードを接続する方法を説明する。これは、各スイッチングノー
ドが最も近い２つの計算ノードに接続される図１２のシステムとは、対称的であ
る。発明者は、非ローカルなスイッチ間を接続するこの非自明のシステムが、非
常に優れたフォールトトレランスをもたらすことを発見した。

【００３６】 図１３はそのような装置を示す。各ノードは２つのスイッチに接続されており
、この図は、最も遠い２つのスイッチ間が接続されている様子を示す。図１３の
ようにスイッチおよびノードを並べて図示した場合、互いに対して物理的に最も
遠い２つのスイッチ間を結ぶ接続は、直径として表わされる。このような接続は
、どれか３つのスイッチが失われた場合にも、ユニット全体の半分ずつを分離さ
せるような影響が生ずることはない、という利点を有する。逆に、いずれか２つ
の場所でユニットに破損が生じた場合にも、多くのノードの間で通信は依然とし
て行なうことができる。どこか３つの場所で損失があった場合でも、システム内
のノードの全個数に関係なく、ある一定数のノード−直接影響を受けるノード−
のみが分離されるにすぎない。

【００３７】 たとえば、ロケーション１３１０で通信故障が生じ、ロケーション１３１２で
別の破損が生じたとする。スイッチ１３００がスイッチ１３０４を介して依然と
してスイッチ１３０２に接続しているので、ノードが依然として通信することが
できるのは明らかである。スイッチ１３００はまた、スイッチ１３０８を介して
スイッチ１３０６にも接続されている。同様に、これらのスイッチはすべて、破
損があった場合にも互いに接続されている。さらに、この好ましいシステムにお
いては、必要とされるであろうノード間接続は、最大でも、システム全周の１／
４である。

【００３８】 この非ローカルという概念は、リング型以外の構成にもあてはまる。たとえば
、リングと見なすことのできる構成であれば、どのようなものも代替的に使用す
ることができる。

【００３９】 図１から図３に示した好ましいサーバシステムは、ミリネット相互接続技術を
使用して冗長ネットワークを介して接続される、パーソナルコンピュータ型のワ
ークステーションを使用する。もちろん、代替的に、１００ＭＢイーサネット等
の他の通信技術を使用することもできる。これらのシステムはすべて、共通に、
障害を起こしたリンクがあった場合にも冗長性を維持するという能力を有する。
このシステムは、どのような数の通信要素とも、ともに使用することができる。
ただし、好ましい数、また開示される数は、２である。

【００４０】 冗長記憶 図１の好ましい実施例において、各ノードは、所与の記憶データのうち、１部
分のみを記憶している。この記憶データは、ローカルノード内に実際に記憶され
ている各情報の一部、および他のノードが記憶している一部を使用して、取出さ
れる。この概念を図５を参照して説明する。図５は、ビデオサーバを示す。開示
されるサーバは、図示されるように表示されるビデオを示すデータを提供する。
各計算ノードは、図示するように、データ全体の半分の量を記憶している。この
データは、そのデータを要求する１ノード内に記憶されているデータを、他のノ
ード内に記憶されているデータと組合せることで、どのビデオフレームも再構築
することができるような方法で、冗長に記憶されている。

【００４１】 この記憶方式によれば、どのノードも、そのノードが他のすべてのノードから
分離されていない限り、そのノードが所望する情報を受取ることができる。この
方式は、分散型サーバ内に多数の故障が生じた場合に備える、記憶冗長性を提供
する。

【００４２】 しかし、より一般的には、ここに規定する好ましい方式は、全部でｎ個のノー
ドのうち、ｋ個の稼働中のノードのサブセットから、データを再構築することが
できるようにするものである。ｋ＝２およびｎ＝４の場合の例を、以下に示す。

【００４３】 図６は、計算ノードの１つに故障が生じた場合に、送り出されたビデオのどの
項目でも、残りの計算ノードで復元することができる方法を示す。これは、冗長
記憶を可能にするどのような符号方式でも達成することができる。

【００４４】 好ましいシステムは、いずれか２つの通信リンクを失っても、そのサーバシス
テムの他のいかなる通信機能も失うことがなく、かつ、障害を実際に含むノード
以外の他ノードに影響を及ぼすことがない。

【００４５】 このシステムの冗長記憶特徴は、各ノード内に、データ全体よりも小さいサイ
ズ、全データの半分の量の、符号化されたデータを記憶する。したがって、ｋ個
の稼働中のノードを有するシステムにおけるサイズＫの各ファイルについて、こ
の好ましい実施例においては、そのファイルのＫ／ｋが、サーバの各ノード上に
記憶されている。ファイルの他の（ｋ−１）は、他のｋ−１個の稼働中のノード
から得られる。

【００４６】 Ｘ符号 記憶の冗長性は、好ましい実施例に従えば、ノード間で情報の記憶を分散させ
ることによって得られる。上述のように、サイズＫの情報の各項目について、好
ましいシステムは、各ノード内にＫ／ｋのデータ（情報のオリジナルサイズ）を
記憶する。ここで、ｋは、データを再構築するのに必要となるであろうノードの
数を表わす。各ノードは、他のいずれかのノードに記憶される情報の他のＫ／ｋ
にアクセスすることによって、情報のいずれの項目も再構築することができる。
情報は、好ましくは、その情報を記憶するために最大距離分離（「ＭＤＳ」）符
号を使用して記憶される。情報を記憶するための好ましい形態は、Ｘ符号と呼ば
れる新しい符号化システムを使用する。ここに記載するＸ符号は、ノード間、よ
り特定的にはノードのディスク間に分散される、情報の各項目を記憶するための
、特別な、最適化された符号である。

【００４７】 最も好ましくは、情報の一部のみ、符号化されたデータのある部分のみが、各
ノード上に記憶される。各ノードは、他のノード上の情報のなんらかの特性を示
す情報もまた記憶する。この特性とは、たとえば、他のノード上のデータの合計
を示す、チェックサムまたはパリティであり得る。この情報は、他のノード上の
情報を再構築するために、それら他のノード上の情報とともに使用される。

【００４８】 上述のように、使用される好ましい符号はＸ符号であって、これを以下に詳細
に説明する。Ｘ符号は、Ｎ×Ｎの最大距離分離（「ＭＤＳ」）アレイ符号であっ
て、Ｎは好ましくは素数である。この符号は、排他的論理和（「ＸＯＲ」）およ
び循環シフト演算のみを使用して、符号化および復号化することができる。この
ため、Ｘ符号は、リードソロモン符号等の計算がより複雑な符号に比べて、はる
かに高速で符号化および復号化することができる。

【００４９】 このＸ符号は、最小列距離３を有する。これは、この符号が１つの列誤りまた
は２つの列消失を訂正することができることを意味する。Ｘ符号は、Ｘ符号内の
単一の情報ビットまたはシンボル等の、単一の情報ユニットの変化が、常に、２
つのパリティビットまたはシンボルだけにしか影響を及ぼさない、という、特定
的な特性を有する。したがって、情報が更新されるたびに、変更が必要となるの
は、それら２つのパリティビットまたはシンボルのみである。

【００５０】 Ｘ符号のシステムは、図１５に示すアレイを使用する。各列１５００は、単一
ノード内の情報を表わし、各ノードにマップされる。パリティシンボルは、列で
はなく行に記憶される。

【００５１】 この符号は、ネットワークのすべてのノードを使用して配列されて、集合的に
Ｎ×ｎのアレイを形成する。ここで、好ましくはＮ＝ｎである。このアレイは、
Ｎ-２ ×Ｎの情報シンボル、および２×ｎのパリティシンボルを含む。図１４（
Ａ）は、ｎ＝５の場合のアレイの例を示す。ノード１４００の部分は情報を表わ
し、四角で囲った要素は、１ビット、１セクタまたはディスクの他の何らかのユ
ニット等の情報の１ユニットを表わす。本明細書では、これらのユニットを総称
的にシンボルと呼ぶ。

【００５２】 非情報部分１４０２は、冗長情報を表わす。ここで説明するように、アレイの
単一列によって表わされるディスク、たとえばディスク番号１４０４のディスク
に対して、冗長情報１４０２は、他のディスクからの冗長情報を表わす。すなわ
ち、この冗長情報は、１４０４以外のディスクからのみ得られるものである。

【００５３】 このＸ符号システムは、ディスク１４０４全体の内容を表わす列を形成する。
Ｘ符号のパリティシンボルは、ディスク上の２つの付加的な行１４０２から形成
されている。したがって、各ディスクは、Ｎ−２個の情報シンボル、および２個
のパリティシンボルを有する。１列内の１シンボルの誤りまたは消失は、列消失
から復元することができる。

【００５４】 ここで具体的な符号化手順を説明する。ｉ番目の行およびｊ番目の列のシンボ
ルをＣ_ijとすると、Ｘ符号のパリティシンボルは、以下の式に従って構築される
。式１：

【００５５】

【数２】

【００５６】 これは、幾何学的には、傾き１および−１の対角線方向にそれぞれ沿ったチェ
ックサムを表わす、パリティ行と解釈することができる。

【００５７】 図１４（Ａ）は、第２のパリティチェック行１４１２が存在しないかまたはす
べてゼロ（０）であると仮定して、第１のパリティチェック行１４１０を得る方
法を示す。なお、存在しないかまたはすべてゼロのパリティチェック行は、仮想
ゼロ行と呼ぶ。チェックサムは、傾き−１のすべての対角線方向上で形成される
。図１４（Ａ）においては、三角形をすべて加算することで、第１のパリティチ
ェック行１４１０が形成される。具体的には、要素１４１４、１４１６、１４１
８および１４２０を加算して、パリティ要素１４２２を形成するのである。

【００５８】 図１４（Ｂ）は、例示の複数の単一ビットについて、第１のパリティチェック
行を計算する１例を示す。対角線方向の要素１４１４、１４１６、１４１８およ
び１４２０については、１＋１＋１＋０を計算することでパリティ１が導出され
、これがシンボル１４２２として記憶される。

【００５９】 対角線は、アレイの外縁に達すると隣接する行に続く。たとえば、要素１４３
２、１４３４、１４３６および１４３８を含む対角線方向の行１４３０は、次の
行の最上部に続いて、１４４０で始まる。パリティシンボル１４３６は、シンボ
ル１４３２、１４３４、１４３８および１４４０を加算したものに対応する。図
１４（Ｂ）は、これらのシンボルが０＋０＋０＋１に対応して、１となることを
示しており、シンボル１４３６として値１が記憶される。

【００６０】 第２のパリティチェック行は、傾き＋１の対角線方向から形成される。図１４
（Ｃ）は、図１４（Ｄ）とともに、第２のパリティ行の同様の計算方法の具体例
を示す。行１４４０は、シンボル１４４２、１４４４、１４４６、１４４８およ
び１４５０を含む。パリティシンボル１４５０は、１４４２＋１４４４＋１４４
８＋１４４６で計算される。図１４（Ｄ）は、具体的な例を示しており、ここで
は、＋０＋０＋１＝１から、パリティ０が得られる。

【００６１】 図１４（Ｅ）は、これら２つのパリティチェック行を組合せることによって形
成される、完全な符号語を示す。２つのパリティチェック行は、互いに完全に独
立して得られる。各情報シンボルは、各パリティ行に厳密に１度だけ現れる。す
べてのパリティシンボルは、他の列（他のディスク）からの情報シンボルにのみ
依存するものであって、互いに依存しあうものではない。したがって、１つの情
報シンボルの更新は、２つのパリティシンボルのみを更新させる結果となる。

【００６２】 上述のＸ符号は、真に対角線方向の計算を考慮して、素数ｎを使用している。
しかし、ｎが素数でない場合にも、計算には別の線を使用できる。たとえば、ｎ
−１個のディスクのすべてを横断するような好適な所与のエンベロープも、Ｘ符
号に従って使用することができる。これらの線はすべて、平行であることが好ま
しい。

【００６３】 上述のように、Ｘ符号は列距離３を有し、２つの列消失または１つの列誤りを
訂正することができるようにしている。消失とは、問題があって、どの領域に問
題があるのかがわかっている場合である。誤りは、問題の具体的な原因がわから
ない場合に生じる。復号化動作は、有限体演算を必要とせず、循環シフトおよび
排他的ＯＲのみを使用して、利用することができる。

【００６４】 １つの消失の訂正は、どちらかのパリティ行を使用して傾き１または−１の対
角線方向に沿って、その消失を簡単に復元することができる。

【００６５】 サイズＮ×ｎのアレイにおいて、２つの列が「消失」であるものと仮定する。
この場合、これら２つの列の基本の未知のシンボルは、それらの列内にある情報
シンボルである。各列が（ｎ−２）の情報シンボルを有するので、未知のシンボ
ルの数は２×（ｎ−２）となる。同様に、残りのアレイは、これら２×（ｎ−２
）の未知のシンボルを全て含む、２× ｎ-２のパリティシンボルを含む。このた
め、消失の訂正は、２×（ｎ−２）の線形方程式から２×（ｎ−２）の未知数を
算出する問題となる。これらの線形方程式は、線形独立であるため、解くことが
可能となる。

【００６６】 さらに、この符号の同じ列内の２つの情報シンボルが、同じパリティシンボル
内に現れることはない。したがって、各方程式は、２個以下の未知のシンボルを
有することになり、未知のシンボルを１つしか含まない方程式もある。このこと
は、方程式を解く複雑さを大いに減じる。このシステムに従って使用されるシス
テムは、１つの知られている未知のシンボルを有する方程式から始める。これら
の方程式を解くことは比較的簡単である。このプロセスは、すべての方程式が解
けるまで、他の未知の解を求めて続けられる。

【００６７】 消失列がｉ番目およびｊ番目（０≦ｉ＜ｊ≦ ｎ-１）の列であると仮定する。
各対角線は、ｎ−１本の列のみを横断するので、１本の対角線が最終行において
１本の列と交差する場合には、その列のどのシンボルも、この対角線内に含まれ
ることはない。これにより、２つの消失列の１つのシンボルしか含まないパリテ
ィシンボルの位置が決定される。このシンボルは、この対角線に沿った簡単なチ
ェックサムから復元することができる。

【００６８】 まず、傾き１の対角線について考える。ｉ番目の列のｘ番目のシンボルが、１
対角線内の唯一の未知のシンボルであると仮定する。この場合、この対角線は（
ｎ−１）番目の行においてｊ番目の列に当たり、ｙ番目の列で第１のパリティ行
に当たることになる。すなわち、３つの点（ｘ，ｉ）、（ｎ−１，ｊ）および（
ｎ−２，ｙ）は、傾き１の同じ対角線上にあり、したがって、以下の等式が成り
立つ。

【００６９】

【数３】

【００７０】 したがって、パリティシンボルＣ_n-2,j-1は、ｉ番目の列内のシンボルＣ_{(n-1) -(j-i),i} の計算を可能にする。同様に、ｊ番目の列内のシンボルＣ_(j-i)-1,jは 、パリティシンボルＣ_n-2,<i-1>nから直接解くことができる。

【００７１】 傾き−１の対角線方向と対称に、ｉ番目の列内のシンボルＣ_(j-i)-i,iはパリ ティシンボルＣ_n-1,<j+1>nから解くことができ、また、ｊ番目の列内のシンボル
Ｃ_{(n-1)-(j-i),j}は、パリティシンボルＣ_n-1,i+1から解くことができる。

【００７２】 １つの情報シンボルと、傾き１および−１の対角線とがそれぞれ厳密に１度だ
け交差することに留意されたい。未知のシンボルが傾き１（または−１）の対角
線に沿って解かれ、その後、その解かれたシンボルと交差する傾き−１（または
１）の対角線に沿ってパリティシンボルが解かれると、他の列における別の未知
のシンボルを解くことができる。この手順は、パリティシンボルが「消失」列と
なるか、または、解かれたシンボル自体がパリティシンボルとなるまで、反復的
に用いることができる。これら同様の技術を使用して、１つ以上のどのような所
望の未知のシンボルも、復元することができる。

【００７３】 好ましいシステムは、Ｎ＝ｎまたはＮとして素数を使用する。図５および図６
のようなシステム（ｎ＝４；ｋ＝２）を上述のように使用することもできる。

【００７４】 分散型読出／書込 本システムは、分散型読出および書込システムを使用することによって、新し
い種類の動作を行なうことができる。

【００７５】 情報の冗長記憶により、システムは、システムの帯域幅を最大にするように、
ｎ個のノードすべてから読出しを行なうことができる。この場合、システムは、
ノードの生の情報部分１５０２からのみ読出しを行なう。

【００７６】 代替的に、ノードのうちｋ個のみを読出すこともできるが、これらｋは、それ
らのパリティ部分１５０４とともに読出される。従来の「訂正」とは異なり、こ
のシステムは、利用可能なクラスタのうちどれを使用するかを、システムが見た
ネットワークの状態に基づいて選択する。異なる部分を、たとえば奇偶符号等の
異なる符号のために使用することができる。

【００７７】 分散型の書込は、情報が変化するたびに、影響を受けるすべてのノードに書込
みを行なう。しかし、更新はできる限り小規模とされる。ＭＤＳ符号は冗長性を
保証し、更新を最適に最小かつ効率的にする。平均単位パリティ更新数は、符号
内で単一の情報ビットが変化した場合に影響を受ける、パリティビットの平均数
を表わす。このパラメータは、記憶アプリケーションにアレイ符号が使用されて
いるときに特に重要となる。Ｘ符号は、各単一の情報ビットの変化が２つのパリ
ティビットの更新しか必要としないという意味で、最適である。

【００７８】 Ｘ符号の別の重要な特徴は、独立なパリティビットが形成されることに起因す
る。これまで使用されてきた符号の多くは、３という符号距離を形成するために
従属パリティ列に依存している。これらのパリティの計算は、パリティが互いに
依存しあっているために、非常に複雑であり得る。このことはしばしば、その符
号の平均単位パリティ更新数がアレイの列の数に応じて線形に増加する、という
状況を生み出す。

【００７９】 米国特許番号第５，５７９，４７５号に記載されたＥＶＥＮＯＤＤ（奇偶）符
号または他の同様のシステムは、独立パリティ列を使用して、情報の更新をより
効率的なものにしている。

【００８０】 検出 分散型データ記憶システムは、複数ノードにわたってサーバ機能を広げる。こ
れは、本システムに従えば、多数ノードの各々の上で稼動する、特別な通信層を
使用して行なわれる。この通信層は、アプリケーションに対して透過的である。
特別な分散型読出システムおよび分散型書込システムは、本システムの頑健な動
作もまた維持する。

【００８１】 好ましいシステムの通信アーキテクチャを図７に示す。実際の通信およびネッ
トワークインターフェイスは、要素７００として示されている。通信は、イーサ
ネット、ミリネット、ＡＴＭサーバネット（ATM Servernet）、または従来の他 のどのような通信方式をも含む、従来の方法で行なうことができる。これらの従
来のネットワークインターフェイスは、冗長通信層によって制御される。

【００８２】 通信は、ネット監視（「ＮＥＴＭ」）プロトコルシステム７０２によって監視
される。ＮＥＴＭは、各ノードにおいてチャネル状態およびチャネル状態の履歴
を判断する接続プロトコルを維持する。より特定的には、ＮＥＴＭは、ＮＥＴＭ
がその上で稼動しているローカルノードから各リモートノードへの、そのローカ
ルノードとリモートノードとを結ぶ各接続経路を介した接続のすべてを監視する
。ＮＥＴＭは接続チャートを保持するが、このチャートは、ローカルノードから
各リモートノードへの可能なすべての接続のステータスを常時知らせる表示を含
む。

【００８３】 実際の通信は、高信頼ユーザデータプロトコル（「ＲＵＤＰ」）によって制御
される。ＲＵＤＰは、ローカルノード（「ノードＡ」）が他のノード（「ノード
Ｂ」）への通信を求めるリクエストに基づいて動作する。ＲＵＤＰは、ＮＥＴＭ
から、ノードＡからノードＢへの正常に動作している通信経路に関する接続情報
を入手する。ＲＵＤＰは、ＮＥＴＭによって集められた情報を使用して通信経路
を選択し、その情報を束ねられたインターフェイスを使用して送出する。ＲＵＤ
Ｐはまた、よく知られているプロトコルシステムを使用して情報を適宜パッケー
ジして、順序正しく確認された配信を行なう。

【００８４】 ＮＥＴＭシステムは、システムの各ノード上で稼動して、システムに関する情
報を見つける。ＮＥＴＭは、自身がその上で稼動しているノードを、ローカルノ
ードとして見ている。ＮＥＴＭはシステムクルーを使用して、そのローカルノー
ドとシステム内の他のすべてのノードとの間の接続の状態を判断する。

【００８５】 すべてのノード上で同じプロトコルが稼動しているので、各ノード上の各ＮＥ
ＴＭプロセスは、ＡからＢへのどの接続状態についても、同じ条件を判断するで
あろう。ＮＥＴＭはまた、履歴チェッキング機構を使用して、すべてのノードが
ある時間にわたってチャネル状態の同じ履歴を見るようにしている。

【００８６】 好ましいシステムクルーは、ノードＡからシステム内の他の各ノードへと、そ
のノードへの可能な各経路上を送られるメッセージから得られる。これらのメッ
セージは「ハートビート」と呼ばれる。ＮＥＴＭは、ローカルノード（「ノード
Ａ」）から各リモートノード（「ノードＢ］）へと、各経路上でメッセージを送
る。各接続は、ｉ＝ローカルインターフェイス、ｊ＝リモートノード、およびｋ
＝リモートインターフェイスを含む、Ｃｉ,ｊ,ｋ「タプル」と呼ばれる情報の３
つの項目によって特徴付けられる。このタプルは、明確な経路を規定する。

【００８７】 ＮＥＴＭは、ハートビートを使用して、各経路Ｃｉ,ｊ,ｋ上にＡとＢとの間に
運用中の通信リンクが存在するかどうかを判断する。ＮＥＴＭプロトコルはノー
ドＢ上でも稼動しているので、そのリモートＮＥＴＭも、各経路Ｃｉ,ｊ,ｋを介
したノードＢからＡへの接続状態について、同じ判断を行なうであろう。

【００８８】 たとえばバッファオーバフロー等のような障害は、一方方向のみでチャネルが
失われる原因となり得る。接続プロトコルはトークンパッシングシステムを使用
して、チャネルの履歴を対称にする。

【００８９】 履歴の検出は、接続の動作可能性に関するヒントの集積に基づく。ハートビー
トは好ましいヒントであり、ここにさらに詳細に説明する。別のヒントの例とし
ては、通信ハードウェア、たとえばミリネットカードからの、障害表示がある。
経路Ｘ上の通信を制御しているミリネットカードが、動作不能であるとの表示を
すると、プロトコルはその経路が動作不能であると評価することができる。

【００９０】 ヒントの集積は、Ｘを介したＡからＢへの通信経路の状態を評価する変数の状
態を設定するのに使用される。この変数は、稼働中（アップ）に対してＵ、ダウ
ンに対してＤの値を有する。

【００９１】 この動作を、図８の概略的なフローチャートに示す。図８の実施例は、信頼性
の低いメッセージで形成されたハートビートメッセージを使用している。高信頼
メッセージ通信システムでは、送信側のノードがメッセージの受信確認を受取る
ことが要求される。送信側ノードは、何らかのメッセージ受信確認を受取るまで
、そのメッセージを送り続けるのである。これに対し、図８のシステムは、信頼
性の低いメッセージ通信を採用している。すなわち、メッセージが単に送信され
るのみであり、受信の確認が受取られることはない。

【００９２】 メッセージ８００は、低信頼パッケージメッセージとしてノードＢに送られる
。ハートビートは、好ましくは１０ミリセカンド（ｍｓ）毎に送られる。システ
ムは、ステップ８０２においてネットワークヒントを待ってチェックして、ネッ
トワークリンクの状態および履歴を評価する。ハートビートは、あるノードから
他ノードに送信されるどのようなメッセージであってもよい。

【００９３】 各ノード上では同じプロトコルが稼動しているので、各ノードは、１０ｍｓ毎
に他の各ノードからハートビートを受信すべきであることをわかっている。各Ｎ
ＥＴＭにおいて、そのＮＥＴＭが他のノードからハートビートを受信するたびに
リセットされるタイマが稼動している。他のノードからハートビートを受信する
前にタイマが時間切れとなった場合、その接続に何か問題がある、と判定するこ
とができる。

【００９４】 各サイドは、ある時間にわたって同じ履歴を見ていることを確認しようとする
。これは、ポイント・ツー・ポイントプロトコルを構成しているノードの対の間
で高信頼トークンを渡すことによって行なわれる。各トークンは、ノードがイベ
ントを見たことを示す。そのトークンが他のノードによって受取られる場合、そ
のノードもまた、対応するイベントを見てトークンを送ったことを意味する。各
サイドは、イベントを認めるとトークンを渡す。これにより、両サイドにおける
履歴を同じものに維持することができる。

【００９５】 各サイドが渡すことのできるトークンの数は有限である。これは、他のノード
によってイベントが確認される前に起こり得るイベントの数を制限する効果があ
る。たとえば、１サイド当り２つのトークンが当初あったとすると、ノードは渡
せるトークンを２つしか持っていないことになる。チャネルの状態に変化が認め
られるたびにトークンが１つ渡される。他サイドからトークンが届かなければ、
２つの変化を認めた後には、そのノードの所有するトークンはなくなる。このこ
とは、各ノードが、他ノードよりも２つのイベントまたはアクションのみしか先
行する（または遅れる）ことができないことを意味する。このトークンの手渡し
は、２つのノード間の自由度を制限する。すなわち、１つのノードがチャネルが
ダウン状態であるという報告を受けてから、他ノード側がその情報を得るのを待
つ間、それら２つのノードが離れて動作することのできる度合いを制限する。

【００９６】 別の見方をすれば、それらトークンは、１つのノードが他ノードが同様にアク
ションを取ったことを知る前に行なうことのできる、遷移の最大数を設定する。

【００９７】 ＮＥＴＭシステムの好ましい実施例を、図９の接続プロトコルステートマシン
において示す。図１０Ａおよび図１０Ｂは、その実施例のフローチャートである
。ステップ１０００は、１つのノードから他の知られているすべてのノードへの
物理的に可能なすべてのチャネルの各々について、ローカルインターフェイスＩ
Ｄ、リモートマシンＩＤ、およびリモートインターフェイスＩＤを含むＣｉ,ｊ,
ｋの３タプルを形成する最初のステップを含む。プロセスＣｏｎｎＰ（Ｃｉ,ｊ,
ｋ）は、すべてのＣｉ,ｊ,ｋの３タプルに対して実行されて、これらチャネルの
各々について接続状態が判断される。これにより、各Ｃ_iチャネルについてアッ プ／ダウン（１または０）のステータスを示すブール値を記憶する、Ｃｏｎｎｅ
ｃｔｅｄ（Ｃ_i,ｊ,ｋ）と呼ばれるデータ構造が形成される。

【００９８】 ステップ１００２は、ＣｏｎｎＰ（Ｃ_i,ｊ,ｋ）イベントがあったかどうかを 判断する。もしイベントがなかった場合、実行すべきことは何もないので、プロ
セスは初めに戻る。

【００９９】 ステップ１００２においてイベントが検出されれば、フローはステップ１００
４に進み、そこで、そのイベントがシステムアップイベントであるかどうかが判
定される。そうであれば、結果として「１」が戻され、そうでなければ、結果と
して「０」が戻される。

【０１００】 図１０Ｂのリンクステータスのフローチャートは、他のエンドポイントシステ
ムの動作の証拠として「トークン」のカウントを使用する。

【０１０１】 ステップ１０１０で、プロセスは、最初の値ｎ≧２に設定されているトークン
カウント（「ｔ」）で開始する。システムは、ステップ１０１２で、アップ（「
１」）に最初に設定されている状態で開始する。ステップ１０１４は、タイム・
インイベントがあったかどうかを検出する。タイム・インイベントは、たとえば
、ノードＢからハートビートを受信することによって引起される。状態はこの時
点で既にアップなので、タイム・インイベントが検出されても状態はアップのま
まであって、さらなるアクションが取られることはない。ステップ１０１４にお
いてタイム・インイベントがなかった場合には、ステップ１０１６において、た
とえばタイマが時間切れとなる前に予測されるハートビートが受取られなかった
ために生じる、タイム・アウトイベントの判断が行なわれ、ステップ１０１８に
おいては、トークンが受信されたかどうか（「トークン到着イベント」）が判断
される。それらのイベントが起こっていなかった場合には、制御は再びステップ
１０１２に渡され、それらのイベントが起きないかどうかの監視が続けられる。
システムはこの時点では必ずトークンを持っているため、別のトークンを調べる
必要はない。

【０１０２】 ステップ１０１６においてタイム・アウトイベントがあるということは、経路
Ｘを介してノードＢからハートビートが受信されなかったことを意味し、したが
って、経路Ｘを介したノードＢへの通信に問題がある可能性を意味する。そこで
、制御がステップ１０２０に移る。ステップ１０２０においては、タイム・アウ
トイベントを示すトークンがノードＢに送られて、所定の時間内にハートビート
が届かなかったことが報告される。トークンが送出されたので、トークンのカウ
ントもまた１０２０においてデクリメントされる。この後、ステップ１０２２に
おいてＣｏｎｎＰの状態がＤに変更される。

【０１０３】 ステップ１０１８においてトークン到着イベントがあると、１０２４において
トークンの受信ステップが行なわれ、トークンのカウントがインクリメントされ
る。現時点におけるトークンカウントが１０２６における最大トークン値ｎより
も小さい場合には、トークンカウントは１０２８においてインクリメントされる
。トークンが失われることがあるので、他方端における遷移は、トークンパッシ
ング方式によって許容される許容可能な自由度の範囲内であり、受取られたトー
クンによって、両サイドが同期状態に戻される。

【０１０４】 トークンカウントがＮ未満でない場合には、トークンカウントはその最大値で
ある。したがって、システムは遷移をする必要がある。これは、１０３０におい
てトークンを送出することによって行なわれ、その後、システムがダウンする。
これは、ＣｏｎｎＰ→０または、１０２２においてＤとして示される。これによ
り、ダウンルーチン処理動作が開始される。

【０１０５】 ダウンルーチン処理動作は、アップルーチン処理動作と同様である。タイム・
アウトイベントが１０３０で検出される。これは、システムが既にダウンしてい
るので何ら影響を及ぼすことはない。タイム・インイベントが１０３２で検出さ
れる。このタイム・インイベントは、もしその遷移を示すよう送ることのできる
トークンがあれば、システムをアップ状態に戻すことができる。このルーチンは
、ステップ１０４０においてトークンを調べる。利用可能なトークンがなければ
、遷移は起こらず、フローは１０２２に戻る。手渡せるトークンがあれば、フロ
ーは１０４２に進み、トークンカウントがデクリメントされる。ＣｏｎｎＰの変
数は、そのアップ状態に戻り、トークン処理ルーチンが始まる。

【０１０６】 経路Ｘを介したノードＡからノードＢへの各システムは、ＮＥＴＭプロトコル
によってこのように特徴付けられる。

【０１０７】 アプリケーションは、ＲＵＤＰの上で実行される。たとえば、プロセスＩＤを
有するアプリケーションは、最初に、システムに対して自身の身元を明かす。た
とえば、このアプリケーションは、プロセス６として自身を識別しかつプロセス
４に対して送信の希望を示す、メッセージを送信することができる。このアイデ
ンティフィケーションは、上述のＣｉ,ｊ,ｋタプルを使用する。ＮＥＴＭは、こ
のオペレーションのための通信経路を決定する。

【０１０８】 実際の通信は、一旦決定されると、いわゆるスライディングウィンドウプロト
コルを使用して行なわれる。スライディングウィンドウはよく知られており、た
とえば、米国特許番号第５，３０７，３５１号に記載されている。スライディン
グウィンドウは、データパケットを適切にパッケージングすることによって、高
信頼メッセージ通信方式を監督する。スライディングウィンドウは、実質的に、
シーケンス番号および確認を管理する。データは高信頼パケットとして送出され
、２つ以上のウィンドウが送出される前に受信側が受信を確認することが要求さ
れる。受信が正しく確認されると、情報のウィンドウは次の、まだ確認されてい
ない情報のパケットに「スライド」する。

【０１０９】 ＲＵＤＰは、スライディングウィンドウモジュールを使用して実際の通信を行
なう。ＲＵＤＰはまた、有効な情報経路を提供するよう、ＮＥＴＭをコールする
。ノード間に使用できる経路が２つ以上ある場合には、ＲＵＤＰはそれら使用可
能な経路を巡回する。

【０１１０】 ＲＵＤＰはまた、ＮＥＴＭによって提供される情報を使用してシステムを再設
定することによって、論理ネットワークとしても機能する。

【０１１１】 基本的なＲＵＤＰのフローチャートを図１１に示す。オペレーションは、ステ
ップ１１００において受信イベントを判断することから開始する。ステップ１１
００において受信イベントが受信されなければ、ステップ１１０２において、送
信イベントがあったかどうかが判断される。もし送信イベントがなければ、ＬＮ
ＥＴは何もすることがなく、フローは戻って、イベントのチェックを続ける。

【０１１２】 ステップ１１００において受信イベントが検出されれば、フローはステップ１
１１０に進む。ステップ１１１０は、データが何らかのＣｉ,ｊ,ｋタプルを示し
ているかどうかを判断する。もしそうでなければ、ステップ１１１２において誤
りが判断される。

【０１１３】 正しいデータが得られれば、そのデータはステップ１１１４において受信され
て、ステップ１１１６においてシステムに戻される。

【０１１４】 送信イベントは、送出されるデータおよびイベントを受信するリモートマシン
を示す、Ｃｉ,ｊ,ｋの引数を要求する。このためには、リモートマシンに対して
動作の引数の１つとして示されるアップチャネルＣｉ,ｊ,ｋが存在するかどうか
を、ステップ１１２０で判断せねばならない。もし存在しなければ、ステップ１
１２２において接続損失誤りが宣言されるが、より一般的なケースとして、少な
くとも１つのアップチャネルが存在すれば、そのアドレスはＣｉ,ｊ,ｋタプルの
引数を使用している。その後、プロセスは１１３０で戻る。

【０１１５】 プロセス１１２０は、ＮＥＴＭを使用して、ローカルマシンからリモートマシ
ンへの既存の経路を調べる。したがって、ＮＥＴＭは、ＬＮＥＴがデータ構造を
使用する間も、データ構造を維持する。

【０１１６】 情報サーバ ここに記載するシステムは、情報サーバ、すなわち、リクエストに応じてユー
ザに情報を提供するサーバ、に特別に応用される。情報サーバは、インターネッ
ト（ウェブ）サーバ、ビデオサーバ、または、情報を提供する他のどのような種
類のデバイスであってもよい。

【０１１７】 システムは、どのノードも、他のいずれかのノードまたはノードの組合せから
そこに記憶されているどのような情報もリクエストすることができる、という意
味で、サーバとして使用される。たとえば、２５個の異なるノードから情報を要
求するリクエストを行なうこともできる。このシステムは、最も近くにある２５
個のノード、または、最も使用頻度の低い２５個のノードを選択することができ
る。これにより、システムは、過負荷のノードを、それらがあたかも障害を起こ
しているかのように無視することができる。

【０１１８】 システムがビデオサーバとして使用される場合、送出されるべきビデオの記憶
場所としては、システム上のあらゆる場所が可能である。本方式に従えば、ビデ
オは分散情報として、ネットワークの種々のノード間で記憶されており、特定の
ネットワークが故障した場合にもビデオ情報が取出せるようにしている。

【０１１９】 サーバシステムは、ビデオを記憶しているノードから、そのビデオが提供され
るようリクエストする。このシステムの特別な技術は、特定数の故障によってシ
ステム全体の動作が決して中断されることのないようにする。たとえば、２つの
ノードが故障しても、記憶情報を得ることはできる。というのも、情報はネット
ワーク内の他のローケーションに冗長に記憶されているためである。

【０１２０】 別の応用例としてウェブサーバがある。ウェブサーバは、ＴＣＰ／ＩＰプロト
コルおよびパケット通信を使用して、インターネットの情報を取得する。やはり
、この情報も、分散型サーバ内のどこに記憶されていてもよい。通信または記憶
を問わず、どのような２つの障害も、情報の取得を妨げることはない。

【０１２１】 このシステムは、他にも、拡張および修復に応用される。どのノードもどの時
点においても取除くことができ、システムの残りの部分はそれでも中断なく動作
し続ける。そのノードは、空白のノードに置換されてもよく、その場合、ネット
ワークは、それが空白の列であると認める列に、冗長データを利用して情報を書
込み始める。

【０１２２】 以上に、いくつかの実施例のみを詳細に開示したが、当業者には、開示された
実施例の範囲内に他の実施例が存在すること、また、開示した実施例から、本発
明を実施するための技術が他にも想定され得ること、が理解されるであろう。

【図面の簡単な説明】

【図１】 最も簡単なネットワークの例を示す、基本的なブロック図である
。

【図２】 より多くのスイッチおよびより多くの計算ノードを有する、より
複雑な例を示す。

【図３】 より信頼性の高いネットワーキングの例を示す。

【図４】 フォールトトレラントシステムを示す。

【図５】 このシステムを使用してビデオを記憶する方法の例を示す。

【図６】 システムがどのようにリンク障害を許容することができるかを示
す。

【図７】 信頼性の高い通信のための、ソフトウェアアーキテクチャのブロ
ック図である。

【図８】 ネットワーク監視プロセスのための基本的なソフトウェアフロー
チャートを示す。

【図９】 ネットワーク監視プロセスのための接続プロトコルステートマシ
ンを示す。

【図１０Ａ】 接続のためのデータ構造のフォーメーションを示す。

【図１０Ｂ】 リンクステータスオペレーションのフローチャートを示す。

【図１１】 ＲＵＤＰプロセスのフローチャートを示す。

【図１２】 計算ノードおよびスイッチング要素の可能な配列を示す。

【図１３】 計算ノードおよびスイッチング要素のより高度な配列を示す。

【図１４】 Ｘ符号における、５×５のアレイ符号のための、パリティ行の
計算を示す。

【図１５】 Ｘ符号システムの基本的なレイアウトを示す。

【符号の説明】

１００，１０２，１０４，１０６ 計算ノード、１１０，１１２ スイッチ、
１３０ ネットワーク監視（ＮＥＴＭ）、１４０ 冗長記憶。

【手続補正書】特許協力条約第３４条補正の翻訳文提出書

【提出日】平成１２年３月３１日（２０００．３．３１）

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】特許請求の範囲

【補正方法】変更

【補正内容】

【特許請求の範囲】

【数１】

【手続補正２】

【補正対象書類名】明細書

【補正対象項目名】０００８

【補正方法】変更

【補正内容】

【０００８】 この場合、いずれかの接続またはバスにエラーがあっても、他方のバスを介し
て正常な動作を続けることができる。２つの冗長バスおよび２つの冗長サーバを
有するシステムを、デュアルバス、デュアルサーバと呼ぶ。このようなデュアル
バス、デュアルサーバシステムは、単一のネットワーク障害は許容することがで
きる。しかし、このようなシステムでは、通常、各サーバ上にすべての情報の複
製を作成しなければならない。 システムの冗長性を提供する試みは、「フレキシブルなプロトコル能力を有す る高速スイッチングシステム」と題された公報ＥＰ−Ａ−０３６６９３５号に記 載されているシステムを含む。この文献は、複数のスイッチング面を含んで、１ つのスイッチング面またはリンクが障害を起こした場合にも、残りのスイッチン グ面を使用することによって稼動し続ける、高速のスイッチングシステムを開示 している。このスイッチング面は特定の種類の、特定の目的のためのものである 。さらに、このＤ１の文献は、システムの再構成およびデータの復元に関するも のではない。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｌ 12/28 Ｈ０４Ｎ 7/173 ６２０Ｄ Ｈ０４Ｎ 7/173 ６２０ Ｈ０４Ｌ 11/20 Ｃ (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ， ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＧＷ，ＭＬ， ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，Ｋ Ｅ，ＬＳ，ＭＷ，ＳＤ，ＳＺ，ＵＧ，ＺＷ)，ＥＡ(ＡＭ ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ，ＴＪ，ＴＭ) ，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ，ＢＡ，ＢＢ，ＢＧ， ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ，ＣＵ，ＣＺ，ＤＥ，Ｄ Ｋ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＤ，ＧＥ，ＧＨ，ＧＭ ，ＨＲ，ＨＵ，ＩＤ，ＩＬ，ＩＳ，ＪＰ，ＫＥ，ＫＧ， ＫＰ，ＫＲ，ＫＺ，ＬＣ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，Ｌ Ｕ，ＬＶ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＮＯ ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ， ＳＩ，ＳＫ，ＳＬ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＵＡ，Ｕ Ｇ，ＵＺ，ＶＮ，ＹＵ，ＺＷ (72)発明者 ボーシアン，バスケン カナダ、エイチ・４・ジェイ １・エック ス・４ ケベック州、モントリオール、 11675、ラビン・アパートメント・６ (72)発明者 ファン，チェンゴン アメリカ合衆国、91106 カリフォルニア 州、パサデナ、エス・メリディス・アベ ル、156、アパートメント・115 (72)発明者 レマイエウ，ポール アメリカ合衆国、91106 カリフォルニア 州、パサデナ、イー・デル・マー・ブール バード、1032、アパートメント・301 (72)発明者 リーデル，マーカス・デイビッド・ダニエ ル カナダ、ジェイ・４・エックス １・テ ィ・２ ケベック州、ブロッサード、スト ラウス、1015 (72)発明者 シュ，リハオ アメリカ合衆国、91106 カリフォルニア 州、パサデナ、サウス・ウィルソン・アベ ニュ、307、アパートメント・５

Claims (30)

【特許請求の範囲】
1. 【請求項１】 冗長分散型ネットワークシステムであって、 複数のシステムノードを含み、前記システムノードの各々は少なくとも２つの
   通信装置および記憶装置を有し、前記記憶装置はネットワークのための情報の冗
   長記憶を有し、さらに 前記システムノードの前記通信装置に、いずれか１つのシステムノード内の前
   記通信装置の各々が複数のスイッチング装置の異なる１つに接続されて、前記シ
   ステムノードの各々が少なくとも２つの異なる経路のうちの１つを介して互いに
   通信することができ、したがって冗長通信を提供するように接続される、複数の
   スイッチング装置と、 ネットワークシステムの動作を妨害し得るシステム機能状態を検出する、検出
   ルーチンと、 ネットワークの冗長性を利用してシステム機能状態を補償するよう、前記通信
   冗長性または前記記憶冗長性のうち少なくとも１つを使用してネットワークを再
   設定する、論理ネットワークプロセスとを含む、システム。
2. 【請求項２】 前記検出ルーチンは、前記システムノードの少なくとも複数
   上のランを検出し、前記システムノードの各々上では各前記検出ルーチンによっ
   て同じプロトコルが実行される、請求項１に記載のシステム。
3. 【請求項３】 前記システム機能状態は、ネットワーク通信内の障害、メモ
   リ記憶内の障害、または、望ましくない結果をもたらす他の種類の障害を含む、
   請求項１に記載のシステム。
4. 【請求項４】 前記システム機能状態は、ネットワーク通信における障害を
   含み、前記論理ネットワークプロセスは、接続が異なる接続に変更されるよう指
   令する、請求項３に記載のシステム。
5. 【請求項５】 前記システム機能状態がメモリ記憶における障害を含むとき
   には、前記論理ネットワークプロセスは、所望の情報が前記冗長データ記憶から
   得られるよう指令する、請求項４に記載のシステム。
6. 【請求項６】 前記検出ルーチンは各ノードで動作して、ネットワーク内の
   他のノードに対する接続状態を見る、請求項１に記載のシステム。
7. 【請求項７】 前記検出ルーチンは、ネットワークの状態に関するヒントを
   使用して前記接続状態を判断するよう動作する、請求項６に記載のシステム。
8. 【請求項８】 前記ヒントは、所定の間隔で各前記ノードによって生成され
   るハートビート信号を含み、前記検出ルーチンは、前記ハートビート信号を受信
   して前記ヒントの１つとしての前記ハートビート信号の存在または不在を検出す
   るよう動作する、請求項７に記載のシステム。
9. 【請求項９】 トークンパッシングシステムをさらに含み、各ノードは監視
   されるチャネルを介して監視されるノードにおけるイベントを判断し、前記イベ
   ントを示すよう前記監視されるチャネルを介して前記監視されるノードにトーク
   ンを渡し、前記監視されるノードは、前記イベントに基づいた動作を示すよう前
   記トークンを戻し、各ノードは、該ノードとは異なるノード上で対応するイベン
   トが起きずとも該ノードにおいて起こすことのできるイベントの数を制限するよ
   う、所定数のトークンのみを有する、請求項７に記載のシステム。
10. 【請求項１０】 各前記ノードがネットワークの同じ履歴を見ることを保証
    する手段をさらに含む、請求項６に記載のシステム。
11. 【請求項１１】 前記接続は、計算ノードのグループが分離されることのな
    いように行なわれる、請求項１に記載のシステム。
12. 【請求項１２】 前記スイッチは、可能な限り最も非ローカルな方法で前記
    ノードを接続する、請求項１に記載のシステム。
13. 【請求項１３】 前記スイッチは、互いに最も遠い２つのノード間を接続す
    る、請求項１２に記載のシステム。
14. 【請求項１４】 前記接続は、どの２つのノードの故障によってもノードの
    １グループをノードの他のグループとの通信から分離することのないように行な
    われる、請求項１３に記載のシステム。
15. 【請求項１５】 各ノードは、少なくとも２つの経路によって各他ノードと
    接続され、 ネットワークモニタをさらに含み、該ネットワークモニタは、各前記ノードに
    おいて稼動して、前記ネットワークモニタがその上で稼動するローカルノードか
    ら各リモートノードへの各接続経路上のすべての接続を監視する、請求項１に記
    載のシステム。
16. 【請求項１６】 高信頼ユーザデータプロトコルをさらに含み、該プロトコ
    ルは、前記ローカルノード上で稼動し、該ローカルノードから他のノードへの通
    信リクエストを受信し、かつ、前記ネットワーク監視プロセスから経路を判断す
    る、請求項１５に記載のシステム。
17. 【請求項１７】 ノード間の物理的な接続を、異なるノード接続に変更する
    ことを可能にする、論理ネットワーク相互接続を使用した前記通信経路の再設定
    をさらに含む、請求項１６に記載のシステム。
18. 【請求項１８】 前記ノード間の動作可能な接続を判断するネットワークモ
    ニタと、稼働中のノードのための情報を処理する高信頼ユーザプロトコルと、前
    記動作可能な接続に基づいて通信を再設定する論理ネットワークと、をさらに含
    む、請求項１に記載のシステム。
19. 【請求項１９】 前記記憶装置は、各ノードの各ディスク上の情報の一部の
    みを記憶する、請求項１に記載のシステム。
20. 【請求項２０】 各ノードの各ディスクは、他のディスク上の情報の特性を
    示す情報もまた記憶する、請求項１９に記載のシステム。
21. 【請求項２１】 冗長分散型サーバであって、 分散型計算ノードのアレイを含み、前記計算ノードの各々は各他ノードとは異
    なる情報を記憶し、前記記憶される情報は前記計算ノード間で冗長となっており
    、さらに 前記計算ノードのアレイに接続され、前記計算ノードのアレイ間に冗長通信経
    路を提供し、どのような所定数のネットワーク障害もシステムの残りのノードの
    動作に影響を及ぼすことのないように動作する、スイッチングシステムを含み、 前記計算ノードの各々はネットワークステータスを判断する同じプロトコルを
    実行し、よって、各前記計算ノードが同じネットワーク履歴を見るようにする、
    サーバ。
22. 【請求項２２】 前記各ノード上に記憶される情報は、所望の情報のすべて
    ではない一部のみを記憶し、どの２つのノードも同じ情報を記憶することはない
    、請求項２１に記載のサーバ。
23. 【請求項２３】 前記記憶される情報は、情報部分および冗長部分を含み、
    前記冗長部分は他のノードのための情報部分のみを示す情報である、請求項２２
    に記載のサーバ。
24. 【請求項２４】 前記冗長部分は、複数の前記ノードが前記情報部分を形成
    するようアレイへと配列されているアレイ符号から形成され、かつ、前記冗長部
    分は、前記アレイの対角線方向に沿ったチェックサムで形成される、請求項２３
    に記載のサーバ。
25. 【請求項２５】 集合的にシステムデータを記憶する複数のノードを含み、
    各ノードは生のデータおよび、前記各ノードとは異なる他のノード内に記憶され
    ている生のデータを示す冗長データを記憶し、さらに 前記複数のノードからの分散型の読出を実行するよう動作する制御プロセスを
    含み、前記分散型読出は、ノードの可用性に関するパラメータを判断するステッ
    プと、もし前記パラメータが可用性を示す場合には前記複数のノードから前記生
    のデータを読出すステップと、もし前記パラメータが可用性を示さない場合には
    前記複数のノードよりも少ない数のノードから前記生のデータおよび前記冗長デ
    ータの両方を読出すステップとを含む、冗長ネットワーク。
26. 【請求項２６】 誤り訂正符号を示す生の情報および冗長情報を複数の情報
    ノードに記憶するステップと、 前記情報ノードのユーザビリティを示すパラメータを判断するステップと、 前記パラメータが前記複数のノードが使用可能であることを示す場合には前記
    複数のノードから前記生の情報を読出し、かつ、前記パラメータが前記複数のノ
    ードのうち少なくとも１部分が使用可能ではないことを示す場合には前記複数の
    ノードよりも少ない数のノードから前記生のデータおよび前記冗長データの両方
    を読出すステップとを含む、誤り訂正符号を使用する方法。
27. 【請求項２７】 ノードからの情報を表わす、アレイの各列を形成すること
    によって、情報のアレイを形成するステップと、 データを示す生の情報を含む、各列の生の部分を形成するステップと、 冗長性に関する情報を示す、冗長情報を形成するステップとを含み、前記冗長
    情報は、前記各ノード以外の他のノードに関する情報を示し、該情報は、前記他
    のノードから情報を得る特定の形状のエンベロープに沿って取られる、ノードの
    アレイのための符号化方法。
28. 【請求項２８】 前記エンベロープは、前記アレイの縁を超えて他ノードに
    延びる対角線である、請求項２７に記載の符号化方法。
29. 【請求項２９】 アレイの列に各ノードをマッピングするステップと、 前記アレイの列から冗長情報の２つの行を形成し、前記２つの行を前記列内に
    位置付けることによって、Ｎ-２ ×Ｎ個の情報シンボルおよび２×Ｎ個の冗長情
    報シンボルを含む、結果として得られるＮ×Ｎのアレイを形成するステップとを
    含み、前記パリティシンボルは以下の式に従って構築される、複数のノードで形
    成される冗長符号化ネットワークを形成する方法。 【数１】
30. 【請求項３０】 冗長ビデオサーバシステムであって、 複数のシステムビデオ記憶ノードを含み、前記システムビデオ記憶ノードの各
    々は、少なくとも２つの通信装置および記憶装置を含み、前記記憶装置はビデオ
    情報の冗長記憶を含み、さらに 前記システムビデオ記憶ノードの前記通信装置に、いずれか１つのシステムノ
    ードにおける前記通信装置の各々が複数のスイッチング装置の異なる１つに接続
    されて、前記システムノードの各々が少なくとも２つの異なる経路のうち１つを
    介して互いに通信することができ、したがって、冗長通信を提供することができ
    るように接続される、複数のスイッチング装置と、 特定の数の故障がビデオサーバの動作を中断することのないような形をとる、
    前記スイッチング装置およびビデオ情報の冗長記憶上の接続と、 ネットワークシステムの動作を妨害し得るシステム機能状態を検出する、検出
    ルーチンと、 ネットワークの冗長性を使用してシステム機能状態を補償するよう、前記通信
    冗長性および前記記憶冗長性のうち少なくとも１つを使用してネットワークを再
    設定する、論理ネットワークプロセスとを含む、システム。