JP2003067215A - 分散システム、同システムの多重化制御方法および時刻管理方法 - Google Patents

Abstract

(57)【要約】 【課題】スプリットブレインの防止と故障発生時におけ
るリアルタイム性の確保とを両立させることを可能とし
た分散システムを提供する。 【解決手段】この分散システムは、ｎ台のコンピュータ
で多重化を構成し、ｆ台までの故障停止を許容する。そ
して、各コンピュータは、内部ネットワークＢを介して
入力候補を送受信し合い、その一覧を作成する。そし
て、その中に（ｎ−ｆ）個の同一の入力候補が現れるま
で、それぞれがこの一覧作成を繰り返し、この条件を満
たしたものから、他のコンピュータの状態に関わらず
に、その処理を実行する。つまり、この分散システム
は、故障検出をまったく行わないことによって、スプリ
ットブレインを原理的に発生させず、タイムアウトによ
る故障発生時の処理の中断も発生させることがない。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、４台以上のコン
ピュータがネットワークで接続された分散システム、同
システムの多重化制御方法および時刻管理方法に係り、
特に、スプリットブレインの防止と故障発生時における
リアルタイム性の確保とを両立させることを可能とした
分散システム、同システムの多重化制御方法および時刻
管理方法に関する。

【０００２】

【従来の技術】近年、コンピュータ技術やネットワーク
技術の向上は目覚ましく、これに伴って、業務の電算化
が広く行われている。また、その業務の内容によって
は、故障などによる中断が許されないものも多く、最近
では、複数のコンピュータをネットワークで結合した分
散システムを構築することが一般的になりつつある。そ
して、この分散システムの運用手法の１つに、整列マル
チキャストを用いた決定性のプログラムの実行の多重化
が存在する。

【０００３】まず、「整列マルチキャスト」、「決定性
のプログラム」および「多重化」について説明する。

【０００４】・整列マルチキャスト 複数のコンピュータが結合した分散システムのような環
境では、各コンピュータが独立して動作する。したがっ
て、これらのコンピュータを同期的に動作させるために
は、特別な仕組みが必要である。整列マルチキャスト
は、分散システムへの入力をすべてのコンピュータに配
送する仕組みであり、データの到着順序がすべてのコン
ピュータで同じであることを保証するものである。

【０００５】・決定性のプログラム プログラムの実行は、コンピュータに入力が与えられる
と、その時のコンピュータの状態によって、出力と次の
状態とを決めるものであると考えることができる。そし
て、決定性（deterministic）のプログラムは、与えら
れた入力にしたがって、出力と次の状態とが一意的に決
まるプログラムとして定義される。具体的には、不定値
や乱数の参照等がないプログラムのことをいう。決定性
のプログラムの特徴は、初期状態と入力列とが決まれ
ば、その実行が一意的であることである。以下、本明細
書でプログラムと称するとき、決定性のプログラムのこ
とをさすものとする。

【０００６】・多重化 分散システムでは、各コンピュータが独立に故障する可
能性がある。仮に、１つのコンピュータが故障しただけ
でシステム全体が機能しない場合は、分散システムの稼
働率は、１台のコンピュータの稼働率よりも低くなって
しまう。かかる事態を防止するために、システム全体に
係わる処理は多重化することが必要である。逆に、多重
化することによって、分散システムの稼働率を１台のコ
ンピュータの稼働率よりも高くすることが可能である。
たとえば、稼働率９９パーセントのコンピュータ１０台
で構成する分散システムが、まったく多重化されていな
いとすると、その分散システムの稼働率は９０％程度で
ある。もし、これが多重化によって３台の故障まで耐え
得るとすると、稼働率は、９９．９９９８％程度とな
る。

【０００７】次に、整列マルチキャストを用いた決定性
のプログラムの実行の多重化について説明する。ここで
は、複数台のコンピュータによって構成される分散シス
テムであって、多重化を構成するそれぞれのコンピュー
タが、同一のプログラムを有していると想定する。

【０００８】まず、すべてのコンピュータは、同一の初
期状態からはじまる。その後、入力されるデータは、必
ず整列マルチキャストを通して、すべてのコンピュータ
に同一順序で配送され、それぞれのプログラムが実行さ
れる。

【０００９】各プログラムへの入力列は、この整列マル
チキャストにより、同一順序となっているので、決定性
のプログラムの特徴により、すべてのコンピュータの状
態が同一に保たれ、出力列もすべて同じとなる。つま
り、プログラムの実行が多重化される。

【００１０】ここで、整列マルチキャストの実現方法に
ついて、その概要を説明する。

【００１１】特別なハードウェアによらずに整列マルチ
キャストを実現するためには、コンピュータ間で適切な
アルゴリズムにしたがってメッセージをやり取りするこ
と、つまりプロトコルが用いられる。アルゴリズムを具
体的に説明する前に、注意すべき点を列挙する。

【００１２】すべてのコンピュータが、いつでも故障停
止する可能性があることを前提としており、多重化とし
て成立するためには、特定のコンピュータに全体の処理
が依存してはならない。したがって、次のことに注意す
る必要がある。

【００１３】（１）分散システムへの入力の受け付けを
特定のコンピュータに固定しない。

【００１４】たとえば、特定のコンピュータに入力の受
付を固定し、すべての入力をそのコンピュータにいった
ん転送することによって入力の順序を決定し、その順序
で配送するといった単純なアルゴリズムは使えない。こ
のアルゴリズムでは、入力受付を固定したコンピュータ
が故障停止すると、その時点で入力の順序が決定できな
くなってしまう。

【００１５】（２）入力の配送の完了まちあわせを特定
のコンピュータに固定しない。

【００１６】たとえば、特定のコンピュータが、停止し
ていないすべてのコンピュータに配送を行うようにす
る、といった単純なアルゴリズムは使えない。このアル
ゴリズムでは、配送コンピュータが配送の途中で故障停
止してしまうと、一部のコンピュータにのみ配送された
まま、配送が完了しなくなってしまう。

【００１７】以上を踏まえて、前述のアルゴリズムを具
体的に説明する。

【００１８】従来では、故障検出が重要な役割を果た
す。典型的には、故障検出はハートビート・タイムアウ
ト・アルゴリズムによって行われる。このアルゴリズム
は、各コンピュータが定期的に送出するハートビート
（心拍）が一定時間以上確認できない場合に、当該コン
ピュータの故障を判定するというものである。

【００１９】また、各コンピュータは、入力受付キュー
をもつ。第１ステップとして、それぞれのコンピュータ
は、入力受付キューの先頭にある入力をそのコンピュー
タにおける「入力候補」として他のすべてのコンピュー
タに配送する。また、入力受付キューが空のコンピュー
タでは、他のコンピュータの第１ステップとして最初に
得られた「入力候補」を自分の「入力候補」として他の
すべてのコンピュータに配送する。

【００２０】第１ステップの最終的な結果として、各コ
ンピュータは、すべてのコンピュータについて、「入力
候補」を得るか、「故障検出」を得るか、または、その
双方を得る。ここでは、すべてのコンピュータについて
の「入力候補」および「故障検出」の一覧を単に「一
覧」と呼ぶことにする。

【００２１】第２ステップとして、それぞれのコンピュ
ータは、自分の「一覧」を他のすべてのコンピュータに
配送する。ここで注意すべき点は、これらの「一覧」
が、各コンピュータごとに異なっているかも知れないと
いうことである。なぜなら、第１ステップの途中で故障
停止が発生した場合には、「入力候補」が部分的にしか
配送されていないかも知れない。また、第２ステップの
開始の時点で、「故障検出」にはずれがあるかも知れな
いからである。

【００２２】第２ステップの結果として、各コンピュー
タは、他のコンピュータから得られた「一覧」が自分の
「一覧」と異なっている場合、これらを合併して自分の
「一覧」にし、第２ステップを繰り返し実行する。する
と、この第２ステップの最終的な結果として、故障して
いない他のコンピュータがもつ「一覧」がすべて自分の
「一覧」と一致する。この時点で、プロトコルは完了す
る。

【００２３】なお、整列マルチキャストとして配送され
る入力は、その「一覧」にある「入力候補」の中から各
自が同一の決まったルールで選べばよい（たとえば先頭
にあるもの）。そして、最後に、その選んだ入力を入力
受付キューから取り除く。

【００２４】以上の手順により、複数のコンピュータを
ネットワークで結合した分散システムにおける、整列マ
ルチキャストを用いた決定性のプログラムの実行の多重
化が実現される。

【００２５】

【発明が解決しようとする課題】ところで、前述した手
順では、次のような問題点があった。

【００２６】（１）スプリットブレイン スプリットブレインは、実行のコンテキスト（状態）が
２つ以上に分かれてしまうことをさす。このスプリット
ブレインは、故障検出が誤って行われたときに発生す
る。たとえば、システムを構成するコンピュータが、２
つのコンピュータ群の間で互いに通信できない状態とな
った場合（ネットワークパーティショニング）、それぞ
れのコンピュータ群は、互いに故障検出し、独立して動
作をはじめる。あるいは、一時的な高負荷のために、ハ
ートビートの送受信が中断して故障の誤検出が発生し、
スプリットブレインに陥る場合もある。

【００２７】多重化された処理は、システムの中で重要
な処理であるはずである。ここでスプリットブレインが
起きると、その処理に一貫性がなくなり、システム全体
に致命的な影響を及ぼすことになる。

【００２８】スプリットブレインを起きにくくするため
には、故障の誤検出を起きにくくする必要がある。その
ためには、ハートビートのタイムアウトを十分に長くす
る必要がある。実用上は、１０秒〜１分ぐらいのタイム
アウト値が使われるのが一般的である。

【００２９】（２）故障発生時の処理のリアルタイム性 ところが、タイムアウトを長く設定すると、故障の発生
から故障検出までの時間が長くなることになる。する
と、その間は、整列マルチキャストのプロトコル中で、
故障したコンピュータの故障検出を待ち、整列マルチキ
ャストの実行が一時的に停止する。その結果、多重化の
実行が一時的に停止することになる。

【００３０】これは、一般的にはシステムに致命的な影
響を与えるものではないが、リアルタイム性が重要なシ
ステムでは、故障発生時にその要件を満たさなくなる場
合もある。つまり、ハートビートのタイムアウト値は、
リアルタイム性の要件から上限が抑えられており、むや
みに長く設定できない。

【００３１】結局、このハートビートのタイムアウト値
の設定は、スプリットブレインとリアルタイム性の間で
トレードオフの関係に陥ってしまうという問題があっ
た。

【００３２】この発明は、このような事情を考慮してな
されたものであり、スプリットブレインの防止と故障発
生時におけるリアルタイム性の確保とを両立させること
を可能とした分散システム、同システムの多重化制御方
法および時刻管理方法を提供することを目的とする。

【００３３】

【課題を解決するための手段】前述した目的を達成する
ために、この発明は、故障検出をまったく行わないこと
によって、スプリットブレインを原理的に発生させず、
タイムアウトによる故障発生時の処理の中断も発生させ
ないようにしたものである。そして、そのために、この
発明は、少なくとも（ｎ−ｆ）台のコンピュータが動作
していれば、他のｆ台の動作に関わらず、入力をそれら
に配送するようにした。

【００３４】より具体的には、この発明は、ネットワー
クで接続されたｎ台のコンピュータを同期的に動作させ
る分散システムであって、少なくとも（ｎ−ｆ）台以上
での多重化を保証する分散システムにおいて、前記各コ
ンピュータは、前記ｎ台のコンピュータそれぞれが次に
処理する候補として選択した入力データを前記ネットワ
ークを介して収集する入力候補収集手段と、前記入力候
補収集手段により収集された入力データが（ｎ−ｆ）個
以上存在する場合に、その中に同一内容の入力データが
（ｎ−ｆ）個以上あるか否かを判定し、（ｎ−ｆ）個以
上あったときに、その入力データを次に処理する対象と
して確定する第１の入力候補選定制御手段と、前記収集
された入力データの中に同一内容の入力データが（ｎ−
ｆ）個以上ないと前記第１の入力候補選定制御手段で判
定されたときに、前記収集された入力データ数の過半数
を占める同一内容の入力データが存在するか否かを判定
し、存在したときに、その入力データを自候補とすると
ともにそれ以外の他の候補の入力データをすべて破棄し
た上で前記入力候補収集手段に入力データの収集を再実
行させる第２の入力候補選定制御手段と、前記収集され
た入力データ数の過半数を占める同一内容の入力データ
が存在しないと前記第２の入力候補選定手段で判定され
たときに、前記収集された入力データの中からいずれか
の入力データを任意に選択して自候補とするとともに、
それ以外の他の候補の入力データをすべて破棄した上で
前記入力候補収集手段に入力データの収集を再実行させ
る第３の入力候補選定制御手段とを具備することを特徴
とする分散システムを提供する。

【００３５】この分散システムにおいては、故障検出を
まったく行わないで、整列マルチキャストを実現し、特
に、故障発生時でも配送の中断を発生させることがな
い。

【００３６】

【発明の実施の形態】以下、図面を参照してこの発明の
一実施形態を説明する。

【００３７】（第１実施形態） まず、この実施形態に
係る分散システムの前提条件を説明する。ここでは、多
重化を構成するコンピュータの数をｎとし、ｆ台までの
故障停止が許容されるものと想定する。つまり、多重化
されるプログラムは、少なくとも（ｎ−ｆ）台のコンピ
ュータ上で実行される。また、（ｆ＋１）台以上の故障
停止が発生した場合には、多重化は継続しないものとす
る（いわゆるフェイルストップ）。

【００３８】また、ここでは、このｆを３ｆ＜ｎとなる
最大の整数とする。たとえばｎ＝４ならば、ｆ＝１であ
る。ｎ＝１０ならばｆ＝３である。この前提は、システ
ムの稼働率に制限を設けるものであるが、たとえば、ｎ
＝１０の場合には、前述の稼働率の計算より、実用上ま
ったく問題ないといえる。

【００３９】また、多重化されるプログラムの入力およ
び出力は、信頼性のないデータグラム（Unreliable Dat
agram）であるとする。これは、入出力のパケットにつ
いて、欠落、重複および順序の交換を許容するものであ
る。信頼性のないデータグラムの例としては、ＩＰ（In
ternet Protocl）が挙げられる。

【００４０】なお、この信頼性のないデータグラムの非
決定性と多重化されるプログラムの決定性とは矛盾する
ものではない。プログラムの決定性は、入力が決まれば
一意的に次の状態と出力が決まることを示し、プログラ
ムの内部動作に関する決定性を意味している。一方、信
頼性のないデータグラムは、あるプログラムの出力が他
のプログラムの入力へ渡される途中で、欠落、重複また
は順序の交換があり得ることを示し、プログラム間の入
出力に関する非決定性を意味している。

【００４１】次に、図１および図２を参照して、この分
散システムの構成を説明する。

【００４２】図１に示すように、この分散システム１０
００は、ｎ台のコンピュータ１００により多重化されて
おり、それぞれのコンピュータ１００が、外部ネットワ
ークＡを介して複数のクライアント装置２０００と接続
されている。また、このコンピュータ１００間は、内部
ネットワークＢを介して接続されている。そして、この
分散システム１０００における各コンピュータ１００
は、外部ネットワークＡを介してクライアント装置２０
００から受け取った入力パケット（入力）を他のコンピ
ュータ１００と同じ順序で処理していく。なお、クライ
アント装置２０００からの入力パケットは、ｎ台のコン
ピュータ１００の中のいずれかのコンピュータに入力さ
れる。

【００４３】また、この処理により生成される出力パケ
ットは、外部ネットワークＡを介してクライアント装置
２０００に返却される（出力）。

【００４４】図２は、コンピュータ１００の構成を示す
図である。入力受付キュー部１で受け付けられた入力パ
ケットは、整列マルチキャスト部２によってアプリケー
ションプログラム３に配送されることになる。配送され
た入力パケットの入力によって、このアプリケーション
プログラム３は、プログラム状態管理部４に保存されて
いる状態にしたがって実行し、出力パケットを生成す
る。出力パケットは、出力フィルター部５で選別されて
から出力される。

【００４５】次に、整列マルチキャスト部２の各構成要
素について説明する。

【００４６】入力順序番号記憶部２１は、整列マルチキ
ャストによってそのコンピュータへ次に配送される入力
パケットの順序番号を記憶する。入力パケットジャーナ
ル記憶部２２は、整列マルチキャストによってそのコン
ピュータへ配送が確定した入力パケットの列を最近のも
のから一定の量だけ記憶する。プロトコルデータ送受信
部２３は、他のコンピュータのプロトコルデータ送受信
部２３とプロトコルデータをやり取りする。

【００４７】また、ステップ番号記憶部２４、候補パケ
ット記憶部２５および入力パケット確定判定部２６は、
整列マルチキャストによってそのコンピュータへ次に配
送される入力パケットを決定するアルゴリズムで用いら
れる。ステップ番号記憶部２４は、プロトコルのステッ
プ番号を記憶する。候補パケット記憶部２５は、そのス
テップにおける各コンピュータの「入力候補」となる入
力パケットを計ｎ個記憶する。入力パケット確定判定部
２６は、候補パケット記憶部２５の情報から入力パケッ
トの確定の判定および次ステップの「入力候補」の決定
を行う。

【００４８】最大確定入力順序番号記憶部２７は、他の
コンピュータも含め、配送が確定したことがわかってい
る最大の入力順序番号を記憶する。遅延記憶部２８は、
（ｎ−１）個のフラグで構成され、他コンピュータより
遅延しているかどうかを記憶する。そして、スキップ判
定部２９は、遅延記憶部２８の情報からスキップ動作の
必要性を判定、実行する。

【００４９】以降、該当入力順序番号とは、入力順序番
号記憶部２１に記憶された入力順序番号のことを指し、
該当ステップ番号とは、ステップ番号記憶部２４に記憶
されたステップ番号のことを指し、該当最大確定入力順
序番号とは、最大確定入力順序番号記憶部２７に記憶さ
れた入力順序番号のことを指し、自候補とは、候補パケ
ット記憶部２５における自コンピュータに対応する「入
力候補」を指し、他候補とは、候補パケット記憶部２５
における自候補以外の「入力候補」を指すものとする。

【００５０】図３は、プロトコルデータ送受信部２３に
よって送受信されるプロトコルデータのレイアウトを示
す図である。

【００５１】図３に示すように、プロトコルデータ送受
信部２３によって送受信されるプロトコルデータは、種
類、送信者、入力順序番号、ステップ番号、最大確定入
力順序番号および入力パケットの各フィールドを含んで
いる。そして、先頭の種類フィールドによって、このプ
ロトコルデータは、次の３つに使い分けられる。

【００５２】（１）候補種類：入力順序番号フィール
ド、ステップ番号フィールド、入力パケットフィールド
には、それぞれ、送信者の送信時における該当入力順序
番号、該当ステップ番号、自候補が格納される。

【００５３】（２）確定種類：その入力順序番号に対応
する入力パケットが、送信者の送信時における入力パケ
ットジャーナル記憶部２６にあることを示し、入力パケ
ットフィールドにはその入力パケットが格納される。こ
の場合、ステップ番号フィールドは使用しない。

【００５４】（３）遅延種類：その入力順序番号に対応
する入力パケットが、送信者の送信時における入力パケ
ットジャーナル記憶部２６にないことを示す。この場
合、ステップ番号フィールド、入力パケットフィールド
は使用しない。

【００５５】いずれの種類においても、最大確定入力順
序番号フィールドには、送信者の送信時における該当最
大確定入力順序番号を格納する。また、該当最大確定入
力順序番号は、そのコンピュータで確定した入力パケッ
トの順序番号と、受信したプロトコルデータ中の最大確
定入力順序番号とのうち、最も大きいものに更新するも
のとする。

【００５６】ここで、図４を参照して、整列マルチキャ
スト部２によって実行される整列マルチキャストの主要
部の概要について説明する。

【００５７】いま、多重化を構成するコンピュータの
数、つまりｎを４とする。また、前述したように、ｆは
３ｆ＜ｎとなる最大の整数であるから、ｆ＝１となる。
したがって、この例では、少なくとも（ｎ−ｆ）、つま
り３台以上で一貫性を保ちながら処理を実行していくこ
とになる。

【００５８】第１に、コンピュータ（１），（２）は
Ａ、コンピュータ（３）はＢ、コンピュータ（４）はＣ
をそれぞれ入力候補として選択したとする。また、第２
に、コンピュータ（１）は、コンピュータ（２）の入力
候補Ａとコンピュータ（３）の入力候補Ｂを収集したと
する。つまり、コンピュータ（１）は、自候補および他
候補を（ｎ−ｆ）個収集したことになる。この時、コン
ピュータ（１）は、コンピュータ（４）の入力候補の収
集を待たずに、入力候補の判定を試みる。しかしなが
ら、その中に（ｎ−ｆ）個の同一の候補は存在しないこ
とから、コンピュータ（１）は、入力候補の再選択を実
行する。再選択は、収集された入力候補数の過半数を占
める候補があればその候補を選択し、なければその中か
らランダムに選択する。ここではＡが過半数を占めるの
で、コンピュータ（１）は、第３に、Ａを自候補として
再選択する。

【００５９】この要領で、コンピュータ（２）は、コン
ピュータ（１）の入力候補Ａとコンピュータ（４）の入
力候補Ｃを収集した後、Ａを自候補として再選択し、コ
ンピュータ（３）は、コンピュータ（２）の入力候補Ａ
とコンピュータ（４）の入力候補Ｃを収集した後、Ｃを
自候補として再選択し、コンピュータ（４）は、コンピ
ュータ（１）の入力候補Ａとコンピュータ（２）の入力
候補Ａを収集した後、Ａを自候補として再選択したとす
る。

【００６０】第４に、コンピュータ（１）は、コンピュ
ータ（２）の入力候補Ａとコンピュータ（４）の入力候
補Ａを収集したとする。つまり、コンピュータ（１）
は、再度、自候補および他候補を（ｎ−ｆ）個収集した
ことになる。この時、コンピュータ（１）は、コンピュ
ータ（３）の入力候補の収集を待たずに、入力候補の判
定を試みる。そして、ここでは、（ｎ−ｆ）個のＡが存
在するため、第５に、コンピュータ（１）は、入力をＡ
に決定する。

【００６１】一方、コンピュータ（２）は、コンピュー
タ（１）の入力候補Ａとコンピュータ（３）の入力候補
Ｃを収集したとする。しかしながら、（ｎ−ｆ）個の同
一の候補は依然として存在しないことから、コンピュー
タ（２）は、入力候補の再選択を実行し、その中の過半
数を占めるＡを自候補として選択する。同様に、コンピ
ュータ（３）は、コンピュータ（１）の入力候補Ａとコ
ンピュータ（２）の入力候補Ａを収集した後、コンピュ
ータ（４）は、コンピュータ（２）の入力候補Ａとコン
ピュータ（３）の入力候補Ａを収集した後、それぞれＡ
を自候補として再選択したとする。

【００６２】第６に、コンピュータ（２）は、コンピュ
ータ（１）の入力候補Ａとコンピュータ（３）の入力候
補Ａを収集したとする。ここでのコンピュータ（１）の
入力候補Ａは、既に候補ではなく確定済みの入力である
ため、第７に、コンピュータ（２）は、入力をＡに決定
する。

【００６３】一方、コンピュータ（３）は、コンピュー
タ（２）の入力候補Ａとコンピュータ（４）の入力候補
Ａを収集し、コンピュータ（４）は、コンピュータ
（２）の入力候補Ａとコンピュータ（３）の入力候補Ａ
を収集したとする。そして、ここでは、双方とも（ｎ−
ｆ）個のＡが存在するため、コンピュータ（３），
（４）は、入力をＡに決定する。

【００６４】つまり、この分散システムは、従来のよう
に、各コンピュータがハートビートのやり取りによって
他のコンピュータとの間で正常稼働を確認し合うような
ことを一切行わないことにより、スプリットブレインを
原理的に発生させず、タイムアウトによる故障発生時の
処理の中断も発生させないようにし、かつ、少なくとも
（ｎ−ｆ）台以上のコンピュータによる多重化を保証す
る。

【００６５】次に、整列マルチキャスト部２の動作原理
について具体的に説明する。

【００６６】まず、初期状態として、入力順序番号記憶
部２１は初期入力順序番号（たとえば１）を記憶する。
入力パケットジャーナル記憶部２２は空の状態であり、
ステップ番号記憶部２４は初期ステップ番号（たとえば
１）を記憶する。また、候補パケット記憶部２５も空の
状態であり、最大確定入力順序番号記憶部２７は初期入
力順序番号を記憶し、さらに、遅延記憶部２８のすべて
のフラグはリセットされている。

【００６７】そして、この整列マルチキャスト部２が実
行する整列マルチキャストによって各コンピュータへ配
送される入力パケットを決定するアルゴリズムの概要は
次のようになる。

【００６８】（アルゴリズム１）該当ステップ番号が初
期ステップ番号である場合に、入力受付キュー部１に入
力パケットがあれば、該当ステップ番号を次に進め、自
候補をその入力パケットにし、他候補を空にし、候補種
類のプロトコルデータを他のすべてのコンピュータに送
信する。

【００６９】（アルゴリズム２）該当入力順序番号に一
致する入力順序番号を持つ候補種類のプロトコルデータ
を受信した場合で、そのプロトコルデータが該当ステッ
プ番号より大きいステップ番号を持つ場合、該当ステッ
プ番号をそのステップ番号にし、自候補および送信者に
対応する他候補をプロトコルデータ中の入力パケットに
し、それら以外の他候補を空にし、候補種類のプロトコ
ルデータを他のすべてのコンピュータに送信する。

【００７０】（アルゴリズム３）該当入力順序番号に一
致する入力順序番号を持つ候補種類のプロトコルデータ
を受信した場合で、そのプロトコルデータが該当ステッ
プ番号と等しいステップ番号を持つ場合、送信者に対応
する他候補をプロトコルデータ中の入力パケットにす
る。

【００７１】（アルゴリズム４）候補パケット記憶部２
５における空でない「入力候補」が（ｎ−ｆ）個以上あ
るとき、入力パケット確定判定部２６は次の動作をす
る。

【００７２】もし、（ｎ−ｆ）個以上の同一内容の「入
力候補」があれば、それを該当入力順序番号における入
力パケットとして確定し、入力パケットジャーナル記憶
部２２に記憶し、入力受付キュー部１にそれがあれば削
除し、アプリケーションプログラム３に配送し、該当入
力順序番号を次に進め、該当ステップ番号を初期ステッ
プ番号にし、候補パケット記憶部２５を空にし、遅延記
憶部２８のすべてのフラグをリセットする。

【００７３】それ以外で、もし、候補パケット記憶部２
５の中で過半数以上の同一内容の「入力候補」があれ
ば、該当ステップ番号を次に進め、候補パケット記憶部
２５における自候補をその入力パケットにし、他候補を
空にし、候補種類のプロトコルデータを他のすべてのコ
ンピュータに送信する。

【００７４】さらに、それ以外であれば、候補パケット
記憶部２５の中からランダムに入力パケットを選択し、
該当ステップ番号を次に進め、候補パケット記憶部２５
における自候補をその入力パケットにし、他候補を空に
し、候補種類のプロトコルデータを他のすべてのコンピ
ュータに送信する。

【００７５】（アルゴリズム５）該当入力順序番号より
小さい入力順序番号を持つ候補種類のプロトコルデータ
を受信した場合で、その入力順序番号に対応する入力デ
ータが入力パケットジャーナル記憶部２２にある場合、
確定種類のプロトコルデータを送信者のコンピュータに
返信する。

【００７６】（アルゴリズム６）該当入力順序番号に一
致する入力順序番号を持つ確定種類のプロトコルデータ
を受信した場合、それを該当入力順序番号における入力
パケットとして確定し、入力パケットジャーナル記憶部
２６に記憶し、入力受付キュー部１にそれがあれば削除
し、アプリケーションプログラム３に配送し、該当入力
順序番号を次に進め、該当ステップ番号を初期ステップ
番号にし、候補パケット記憶部を空にし、遅延記憶部２
８のすべてのフラグをリセットする。

【００７７】（アルゴリズム７）該当入力順序番号より
小さい入力順序番号を持つ候補種類のプロトコルデータ
を受信した場合で、その入力順序番号に対応する入力デ
ータが入力パケットジャーナル記憶部２２にない場合、
遅延種類のプロトコルデータを送信者のコンピュータに
返信する。

【００７８】（アルゴリズム８）該当入力順序番号に一
致する入力順序番号を持つ遅延種類のプロトコルデータ
を受信した場合に、遅延記憶部２８における送信者に対
応するフラグをセットする。

【００７９】（アルゴリズム９）遅延記憶部２８におい
てフラグがたっている数と、それ以外で候補パケット記
憶部２５における空でない入力候補数の和が（ｎ−ｆ）
以上であるときで、候補パケット記憶部２５における空
でない入力候補数が（ｎ−ｆ）個未満であるときに、ス
キップ判定部２９は、以下のスキップ動作を行う。

【００８０】スキップ動作は、該当入力順序番号を該当
最大確定入力順序番号にし、該当ステップ番号を初期ス
テップ番号にし、候補パケット記憶部２５を空にし、遅
延記憶部２８のすべてのフラグをリセットし、プログラ
ム状態管理部４にスキップを通知する。

【００８１】なお、以上の（アルゴリズム１）〜（アル
ゴリズム９）の順序は、必ずしもこの順序で実行される
というものではない。つまり、これらは、その条件が成
立すれば独立して実行されるものである。

【００８２】また、プログラム状態管理部４は、スキッ
プが通知されると、該当入力順序番号の直前の状態を他
のコンピュータのプログラム状態管理部４からコピーす
る。このために、プログラム状態管理部４は、各入力順
序番号の直前の状態を最近のものから一定の量だけ保持
している。

【００８３】ここで、上述したアルゴリズムの動作の概
要を説明しながら、このアルゴリズムの有効性を証明す
る。

【００８４】（アルゴリズム１）〜（アルゴリズム４）
は、整列マルチキャストの１回の配送を行う基本的な部
分である。従来では、故障していない全コンピュータで
一致するまで繰り返していたのに対して、この分散シス
テムでは、（ｎ−ｆ）台で一致するまで繰り返す。

【００８５】また、（アルゴリズム５）〜（アルゴリズ
ム６）は、短い多重化実行の遅延を解消するため、すで
に確定している入力パケットを回送するものである。

【００８６】そして、（アルゴリズム７）〜（アルゴリ
ズム９）は、長い多重化実行の遅延を一足飛びに解消す
るため、スキップ動作を行うものである。

【００８７】まず、（アルゴリズム１）〜（アルゴリズ
ム６）が整列マルチキャストの要件を満たすことを説明
する。これには、各入力順序番号で同一の入力パケット
が確定されることを示せばよい。

【００８８】入力パケットを確定するのは、（アルゴリ
ズム４）か（アルゴリズム６）であるが、（アルゴリズ
ム６）の場合は、確定した入力パケットを回送したもの
なので、最初に（アルゴリズム４）によって入力パケッ
トを確定したコンピュータが必ず存在する。確定した時
の入力パケットをＰ、ステップ番号をＳとする。

【００８９】まず、ステップＳ＋１では、すべてのコン
ピュータで「入力候補」はＰ以外にはあり得ないことを
示す。

【００９０】自分の「入力候補」を決定するのは、（ア
ルゴリズム１）、（アルゴリズム２）または（アルゴリ
ズム４）であるが、ステップ番号Ｓは初期ステップ番号
ではあり得ないので、ステップＳ＋１での「入力候補」
は、（アルゴリズム２）か（アルゴリズム４）で決定さ
れる。（アルゴリズム２）は「入力候補」を回送したも
のなので、結局、（アルゴリズム４）で決定するステッ
プＳ＋１での「入力候補」がＰ以外にはあり得ないこと
を示せばよい。

【００９１】ステップＳ＋１での「入力候補」を（アル
ゴリズム４）で決定するには、ステップＳでの「入力候
補」が（ｎ−ｆ）個必要である。この集合をＸとする。
一方、ステップＳでは、（アルゴリズム４）によって入
力パケットを確定したコンピュータがあるのだから、少
なくとも（ｎ−ｆ）個の「入力候補」がＰである。この
集合をＹとする。すると、 Ｘの要素数≧ｎ−ｆ Ｙの要素数≧ｎ−ｆ Ｘ∪Ｙの要素数≦ｎ Ｘの要素数−Ｘ∩Ｙの要素数＝Ｘ∪Ｙの要素数−Ｙの要
素数≦ｎ−（ｎ−ｆ）＝ｆ となり、ＸのうちＰでないのは、多くともｆ個しかな
い。後は、ｆがＸの中で半数未満であることがいえれ
ば、Ｘの中でＰが過半数を占めることになり、（アルゴ
リズム４）によってＰに決定することがわかる。ここ
で、 Ｘの要素数−２ｆ≧（ｎ−ｆ）−２ｆ＝ｎ−３ｆ となり、前述の通り、ｎ−３ｆ＞０であるから、これが
証明される。

【００９２】結局、ステップＳ＋１では、すべてのコン
ピュータで「入力候補」はＰ以外にはあり得ないのだか
ら、この入力順序番号で確定するとすれば、必ずＰで確
定することになる。これで、整列マルチキャストの要件
を満たすことが証明された。

【００９３】次に、（アルゴリズム５）〜（アルゴリズ
ム９）で行う遅延の解消について説明する。

【００９４】この遅延は、（ｎ−ｆ）台よりも多い台数
で多重化を実行している場合に発生する。遅延している
コンピュータは、その時点では多重化として不要である
が、進んでいるコンピュータが故障停止した場合など
に、多重化を継続するために必要になる。つまり、その
場合には、遅延しているコンピュータは、最終入力順序
番号まで追いつかなければならない。

【００９５】（アルゴリズム５）〜（アルゴリズム６）
で行う短い多重化実行の遅延の解消は、単純に、進んで
いるコンピュータで確定した入力パケットを回送する。
入力パケットの到着順序は同じになるので、整列マルチ
キャストの要件は満たされている。

【００９６】一方、（アルゴリズム７）〜（アルゴリズ
ム９）で行う長い多重化実行の遅延の解消は、いわゆる
「おいてけぼり」の概念を用いる。「おいてけぼり」
は、進んでいるコンピュータが確定した入力パケットを
忘れてしまうほど長く遅延したときに発生する。そし
て、この「おいてけぼり」が判定されると、スキップ動
作が行われる。スキップ動作では、入力順序番号をスキ
ップするので、入力パケットの系列が中抜けになり、整
列マルチキャストの要件を満たさなくなる。

【００９７】そこで、この中抜けになった入力パケット
の系列を補うため、プログラム状態管理部４により一致
化コピーを行う。これによって、多重化は矛盾なく続行
することができる。

【００９８】次に、信頼性のないデータグラムとの関係
に触れる。

【００９９】出力に関しては、信頼性のないデータグラ
ムなので、出力フィルタ部５の動作は任意でよい。たと
えば、無選別で出力すると、出力パケットが多重化を実
行するコンピュータの数だけ出力されることになるが、
信頼性のないデータグラムでは、パケットの重複を許す
ので、この範囲内である。

【０１００】また、この分散システムでは、多重化実行
の遅延が発生するため、特に出力パケットに関して順序
の交換が発生する可能性がある。これは、進んでいるコ
ンピュータが出力した後、遅延しているコンピュータが
意味的にはそれ以前の出力を実行するためである。

【０１０１】しかしながら、性能面などにおいて、出力
フィルタ部５の設定は重要であり、たとえば、（アルゴ
リズム４）で入力パケットが確定したときは、出力フィ
ルタを開、（アルゴリズム６）で入力パケットが確定し
たときは、出力フィルタを閉と設定すれば、順序の交換
を低減することができる。また、（アルゴリズム４）で
入力パケットが確定し、その入力パケットが入力受付キ
ュー１から取り除かれた場合にのみ、出力フィルタを
開、それ以外では閉とすれば、重複を低減することがで
きる。

【０１０２】すなわち、この分散システムは、すくなく
ともｎ−ｆ台のコンピュータが動作していれば、他のｆ
台の動作に関係なく入力をそれらに配送することによ
り、整列マルチキャストを故障検出を使わないで実現
し、特に、故障発生時でも、配送の中断が発生しない。

【０１０３】また、最大でｆ台のコンピュータで、プロ
グラムの多重化の実行が遅延する可能性があることを考
慮し、この遅延された実行がスプリットブレインを起こ
さないように追い付く仕組みを実現する。

【０１０４】次に、図５乃至図１０を参照して、整列マ
ルチキャスト部２の動作手順について説明する。

【０１０５】図５および図６は、整列マルチキャストの
１回の配送を行う基本的な部分の動作手順を示すフロー
チャートである。

【０１０６】整列マルチキャスト部２は、まず、候補一
覧作成処理を実行する（図５のステップＡ１）。この候
補一覧作成は、該当ステップ番号が初期値のときは（図
６のステップＢ１のＹＥＳ）、受付キューに入力パケッ
トが存在するかどうかを調べて（図６のステップＢ
２）、存在すれば（図６のステップＢ２のＹＥＳ）、該
当ステップ番号を次に進め（図６のステップＢ３）、受
付キューの入力パケットを自候補とし、かつ、この自候
補を他のすべてのコンピュータに送信する（図６のステ
ップＢ４）。

【０１０７】一方、該当ステップ番号が初期値でないか
（図６のステップＢ１のＮＯ）、または受付キューに入
力パケットがないとき（図６のステップＢ２のＮＯ）、
整列マルチキャスト部２は、同一の入力順序番号を持つ
プロトコルデータを受信しているかどうか判定し（図６
のステップＢ５）、受信していれば（図６のステップＢ
５のＹＥＳ）、今度は、受信データ内のステップ番号は
該当ステップ番号よりも大きいかどうかを判定する（図
６のステップＢ６）。そして、該当ステップ番号よりも
大きければ（図６のステップＢ６のＹＥＳ）、整列マル
チキャスト部２は、該当ステップを受信データ内のステ
ップ番号に更新した後（図６のステップＢ７）、受信デ
ータ内の入力パケットを自候補とし、かつ、この自候補
を他のすべてのコンピュータに送信する（図６のステッ
プＢ８）。このとき、整列マルチキャスト部２は、この
入力パケットを他候補として記憶しておく。また、受信
データ内のステップ番号と該当ステップ番号とが等しけ
れば（図６のステップＢ６のＮＯ，ステップＢ９のＹＥ
Ｓ）、受信データ内の入力パケットを他候補として記憶
する（図６のステップＢ１０）。

【０１０８】ここで、整列マルチキャスト部２は、記憶
した候補数が（ｎ−ｆ）個以上になったかどうかを調べ
（図６のステップＢ１１）、なっていなければ（図６の
ステップＢ１１のＮＯ）、ステップＢ１からの処理を繰
り返し、なっていれば（図６のステップＢ１１のＹＥ
Ｓ）、この処理を終了する。

【０１０９】候補一覧作成処理が終了すると、整列マル
チキャスト部２は、（ｎ−ｆ）個以上の同一の候補が存
在するかどうかを調べ（図５のステップＡ２）、存在す
れば（図５のステップＡ２のＹＥＳ）、その候補を入力
パケットとして確定する（図５のステップＡ３）。つま
り、この入力パケットを受付キューから削除するととも
に、アプリケーションプログラム３に投入する。そし
て、整列マルチキャスト部２は、次工程へ移行すべく、
入力順序番号を次に進め、該当ステップ番号を初期化
し、記憶したすべての候補を破棄し、遅延フラグをリセ
ットする（図５のステップＡ４）。

【０１１０】一方、（ｎ−ｆ）個以上の同一の候補が存
在しなかった場合（図５のステップＡ２）、整列マルチ
キャスト部２は、今度は、過半数以上の同一の候補が存
在するかどうかを調べ（図５のステップＡ５のＹＥ
Ｓ）、存在すれば（図５のステップＡ５のＹＥＳ）、そ
の候補を自候補とし、かつ、この自候補を他のすべての
コンピュータに送信した上で（図５のステップＡ６）、
ステップＡ１からの処理を繰り返す。この時、整列マル
チキャスト部２は、記憶していた他候補をすべて破棄す
る。また、過半数以上の同一の候補が存在しなければ
（図５のステップＡ５のＮＯ）、整列マルチキャスト部
２は、ランダムに自候補を選択し、かつ、この自候補を
他のすべてのコンピュータに送信した上で（図５のステ
ップＡ７）、ステップＡ１からの処理を繰り返す。この
時も、整列マルチキャスト部２は、記憶していた他候補
をすべて破棄する。

【０１１１】以上の手順で、各コンピュータは、故障検
知を行わず、（ｎ−ｆ）台以上の一致を確認しながら処
理を進めていく。

【０１１２】また、図７乃至図１０は、多重化実行の遅
延を解消するための動作手順を示すフローチャートであ
る。

【０１１３】整列マルチキャスト部２は、該当入力順序
番号より小さい入力順序番号を持つ候補種類のプロトコ
ルデータを受信した場合、その入力順序番号に対応する
入力パケットがジャーナルに存在するかどうかを調べる
（図７のステップＣ１）。そして、整列マルチキャスト
部２は、ジャーナルに存在すれば（図７のステップＣ１
のＹＥＳ）、その入力パケットをセットした確定種類の
プロトコルデータを送信者に返送し（図７のステップＣ
２）、一方、存在しなければ（図７のステップＣ１のＮ
Ｏ）、遅延種類のプロトコルデータを送信者に返送する
（図７のステップＣ３）。

【０１１４】また、整列マルチキャスト部２は、該当入
力順序番号に一致する入力番号を持つ確定種類のプロト
コルデータを受信した場合、その受信データ内の入力パ
ケットを入力パケットとして確定する（図８のステップ
Ｄ１）。つまり、この入力パケットを受付キューから削
除するとともに、アプリケーションプログラム３に投入
する。そして、整列マルチキャスト部２は、次工程へ移
行すべく、入力順序番号を次に進め、該当ステップ番号
を初期化し、記憶したすべての候補を破棄し、遅延フラ
グをリセットする（図８のステップＤ２）。

【０１１５】また、整列マルチキャスト部２は、該当入
力順序番号に一致する入力順序番号を持つ遅延種類のプ
ロトコルデータを受信した場合、送信者に対応する遅延
フラグをセットする（図９のステップＥ１）。

【０１１６】また、整列マルチキャスト部２は、セット
された遅延フラグ数と記憶された候補数との和が（ｎ−
ｆ）個以上に達したかどうかを監視し（図１０のステッ
プＦ１）、（ｎ−ｆ）個以上に達していれば（図１０の
ステップＦ１のＹＥＳ）、その記憶された候補数が（ｎ
−ｆ）個未満かどうかを調べる（図１０のステップＦ
２）。そして、（ｎ−ｆ）個未満であれば（図１０のス
テップＦ２のＹＥＳ）、整列マルチキャスト部２は、ス
キップ動作を行なう（図１０のステップＦ３）。つま
り、該当入力順序番号を該当最大確定入力順序番号に
し、該当ステップ番号を初期ステップ番号にし、候補パ
ケット記憶部２５を空にし、遅延記憶部２８のすべての
フラグをリセットした上で、プログラム状態管理部４に
スキップを通知する。

【０１１７】以上の手順で、各コンピュータは、スプリ
ットブレインを起こさないよう、遅延された実行が追い
付く仕組みを実現する。

【０１１８】（第２実施形態）次に、この発明の第２実
施形態について説明する。

【０１１９】第１実施形態で説明したような整列マルチ
キャストを行う分散システムでは、すべてのコンピュー
タ１００が同じ時刻を用いてアプリケーションプログラ
ム３を実行することが必要である。つまり、アプリケー
ションプログラム３の実行時に用いる時刻をすべてのコ
ンピュータ１００間で調整する機能が必要である。そこ
で、第２実施形態では、整列マルチキャストを行う分散
システムにおいて、このアプリケーションプログラム３
の実行時に用いる時刻をすべてのコンピュータ１００間
で調整する仕組みを説明する。

【０１２０】図１１は、アプリケーションプログラム３
の実行時に用いる時刻をすべてのコンピュータ１００間
で調整する仕組みを説明するための概念図である。

【０１２１】図１１に示すように、分散システム１００
０を構成するｎ台のコンピュータ１００は、それぞれ実
時計１０１、つまりシステム時計を有しており、この実
時計１０１により、システム時刻をカウントしている。
そして、従来では、この実時計１０１をｎ台のコンピュ
ータ１００間で如何に調整するかについて、種々の工夫
がなされてきた。すなわち、従来では、アプリケーショ
ンプログラム３の実行時に用いる時刻は、依然として、
各々の実時計１０１でカウントされるシステム時刻であ
った。これに対して、この実施形態の分散システム１０
００では、これらの実時計１０１とは別に、システム全
体で仮想時計１０２を管理し、この仮想時計１０２がカ
ウントする仮想時刻１０２を用いてアプリケーションプ
ログラム３を実行する。

【０１２２】図１２は、この仮想時刻１０２がカウント
する仮想時刻を管理する原理を説明するためのコンピュ
ータ１００の構成図である。

【０１２３】図１２に示すように、このコンピュータ１
００は、いわゆるシステム時刻を計数するシステム時計
６（図１１の実時計１０１に対応）の他に、アプリケー
ションプログラム３の実行時に用いる仮想時刻を計数す
る仮想時刻カウンタ７（図１１の仮想時計１０２に対
応）と、この仮想時刻カウンタ７を管理する仮想時刻マ
ネージャ８とを備える。

【０１２４】仮想時刻マネージャ８は、たとえば１秒ご
とに、この仮想時刻カウンタ７をインクリメントするタ
イミングを与えるための入力パケットを高い優先度を付
して入力受付キュー部１に投入する。この入力パケット
は、その優先度から直後の入力順序で整列マルチキャス
ト部２に取り込まれ、自コンピュータの入力候補である
自候補となる。整列マルチキャスト部２の動作の結果、
入力パケット確定判定部２６が、この入力パケットを確
定すると、このパケットを仮想時刻マネージャ８に投入
する。

【０１２５】このとき、他のコンピュータ１００におい
ても、入力パケット確定判定部２６は、この入力パケッ
トを確定し、仮想時刻マネージャ８に投入する。

【０１２６】そして、この入力パケットの投入を受けた
仮想時刻マネージャ８は、仮想時刻カウンタ７を所定の
値（通常は１秒間）だけインクリメントする。

【０１２７】また、仮想時刻マネージャ８は、この入力
パケットを入力受付キュー１から削除し、この時点から
１秒後に入力受付キュー１に再投入するよう準備する。

【０１２８】このとき、他のコンピュータ１００におい
ても、仮想時刻マネージャ８は、入力受付キュー１にこ
のパケットがもし存在すれば、それを削除し、いずれに
しても、この時点から１秒後に入力受付キュー１に再投
入するよう準備する。

【０１２９】つまり、仮想時刻マネージャ８は、他の仮
想時刻マネージャ８が投入した入力パケットが確定した
場合でも、区別することなく、あたかも自分自身で入力
パケットを投入し、それが確定したかのように動作し、
その時点から１秒後まで入力パケットを投入しない。

【０１３０】これにより、すべてのコンピュータ１００
が同じタイミングで仮想時刻を計数していくことが実現
される。

【０１３１】また、この仮想時刻マネージャ８は、コン
ピュータ１００の起動時および例えば１時間ごとに、シ
ステム時刻と仮想時刻とを比較するタイミングを与える
ための入力パケットを高い優先度を付して入力受付キュ
ー部１に投入する。この時、仮想時刻マネージャ８は、
この入力パケット内にシステム時計６が計数するシステ
ム時刻を格納する。この入力パケットは、プロトコルデ
ータ送受信部２３によって他のコンピュータに送信され
るため、結果的に、自コンピュータのシステム時刻が他
のコンピュータに通知されることになる。同様に、他の
コンピュータの仮想時刻マネージャ８がこの入力パケッ
トを発生させた場合には、この入力パケットによって、
他のコンピュータのシステム時刻の通知を受けることに
なる。

【０１３２】また、この入力パケットは、その優先度か
ら直後の入力順序で整列マルチキャスト部２に取り込ま
れ、自コンピュータの入力候補である自候補となる。整
列マルチキャスト部２の動作の結果、入力パケット確定
判定部２６が、この入力パケットを確定すると、このパ
ケットを仮想時刻マネージャ８に投入する。このパケッ
トの投入を受けると、仮想時刻マネージャ８は、この入
力パケット内に格納された自コンピュータまたは他のコ
ンピュータのシステム時刻と仮想時刻カウンタ７により
計数された仮想時刻とを比較する。仮想時刻カウンタ７
が未設定状態の場合、仮想時刻カウンタ７をシステム時
刻に設定する。また、仮想時刻カウンタ７が未設定状態
でなく、システム時刻の方が進んでいる場合には、仮想
時刻マネージャ８は、仮想時刻を通常時よりも速く進め
るための処理を行う。一つの例としては、先に説明した
仮想時刻カウンタ７をインクリメントするタイミングを
与えるための入力パケットが投入された際の仮想時刻カ
ウンタ７のインクリメント幅を通常時よりも大きく設定
するなどが挙げられる。

【０１３３】つまり、ｎ台のコンピュータの中で最も進
んだシステム時刻に合わせるように各コンピュータの仮
想時刻を調整するわけであり、たとえｎ台のコンピュー
タのシステム時刻がばらばらであっても、各コンピュー
タがアプリケーションプログラム３の実行時に用いる仮
想時刻を一致させることが実現される。

【０１３４】図１３は、仮想時刻カウンタ７をインクリ
メントする動作手順を示すフローチャートである。

【０１３５】仮想時刻マネージャ８は、前回の仮想時刻
カウンタ７のインクリメントから所定の時間が経過し
（ステップＧ１のＹＥＳ）、かつ、仮想時刻カウンタ７
をインクリメントするタイミングを与えるための入力パ
ケットを入力受付キュー部１に未投入のとき（ステップ
Ｇ２のＹＥＳ）、当該入力パケットを入力受付キュー部
１に投入する（ステップＧ３）。また、整列マルチキャ
スト実行により、この入力パケットが確定されると（ス
テップＧ４，ステップＧ５のＹＥＳ）、仮想時刻マネー
ジャ８は、仮想時刻カウンタ７を所定の値だけインクリ
メントし（ステップＧ６）、この入力パケットが入力受
付キュー部１に存在していれば（ステップＧ７のＹＥ
Ｓ）、その入力パケットを入力受付キュー部１から削除
する（ステップＧ８）。

【０１３６】また、図１４は、仮想時刻カウンタ７を調
整する動作手順を示すフローチャートである。

【０１３７】仮想時刻マネージャ８は、前回の仮想時刻
カウンタ７の自発的な調整から所定の時間が経過し（ス
テップＨ１のＹＥＳ）、かつ、システム時刻と仮想時刻
とを比較するタイミングを与えるための入力パケットを
入力受付キュー部１に未投入のとき（ステップＨ２のＹ
ＥＳ）、当該入力パケットを入力受付キュー部１に投入
する（ステップＨ３）。また、整列マルチキャスト実行
により、この入力パケットが確定されると（ステップＨ
４，ステップＨ５のＹＥＳ）、仮想時刻マネージャ８
は、入力パケット内のシステム時刻と仮想時刻カウンタ
７の仮想時刻とを比較する（ステップＨ６）。そして、
仮想時刻マネージャ８は、システム時刻の方が進んでい
れば（ステップＨ７のＹＥＳ）、仮想時刻カウンタ７の
インクリメント幅を通常時よりも大きく設定し（ステッ
プＨ８）、一方、仮想時刻の方が進んでいれば（ステッ
プＨ７のＮＯ）、仮想時刻カウンタ７のインクリメント
幅を所定の値に再設定する（ステップＨ９）。

【０１３８】このように、この実施形態の分散システム
では、各コンピュータ１００の実時計１０１とは別に、
システム全体で仮想時計１０２を管理することにより、
整列マルチキャストを行う分散システムにおいて、この
アプリケーションプログラム３の実行時に用いる時刻を
すべてのコンピュータ１００間で調整する仕組みを実現
する。

【０１３９】なお、ここでは、システム時刻と仮想時刻
とを比較し、システム時刻の方が進んでいたときに、仮
想時刻のインクリメント幅を通常時よりも大きくする例
を説明した。このような場合、通常時の仮想時刻のイン
クリメント幅は、実時刻よりも少しずつ遅れていくよう
に設定することが好ましい。これにより、仮想時計１０
２がすべての実時計１０１よりも進む方向に無限にずれ
ていくことを防止するとともに、実時間１０１と仮想時
計１０２との誤差を事前に予想される範囲内に収めるこ
とが可能となる。逆に、システム時刻の方が遅れていた
ときに、仮想時刻のインクリメント幅を通常時よりも小
さくする場合には、通常時の仮想時刻のインクリメント
幅を実時刻よりも少しずつ進んでいくように設定すれば
よい。

【０１４０】ところで、この仮想時計１０２の管理は、
前述した整列マルチキャストの機構を使ってすべてのコ
ンピュータ１００が各々行う必要は必ずしもない。例え
ば図１５に示すように、いずれか１つのコンピュータ１
００上で管理し（Ａ）、このコンピュータ１００に障害
が発生した場合に、その他のいずれか１つのコンピュー
タ１００が引き継ぐようにしても構わない（Ｂ）。つま
り、各コンピュータ１００が各々の実時計１０１を用い
てアプリケーションプログラム３を実行するのではな
く、システム全体で仮想時計１０２を設定し、その１つ
の仮想時計１０２をすべてのコンピュータ１００が用い
てアプリケーションプログラム３を実行するという本発
明の手法は、この仮想時計１０２をどのような方法で管
理する場合であっても有用である。

【０１４１】つまり、本発明は、上記実施形態に限定さ
れるものではなく、実施段階ではその要旨を逸脱しない
範囲で種々に変形することが可能である。更に、上記実
施形態には種々の段階の発明が含まれており、開示され
る複数の構成要件における適宜な組み合わせにより種々
の発明が抽出され得る。例えば、実施形態に示される全
構成要件から幾つかの構成要件が削除されても、発明が
解決しようとする課題の欄で述べた課題が解決でき、発
明の効果の欄で述べられている効果が得られる場合に
は、この構成要件が削除された構成が発明として抽出さ
れ得る。

【０１４２】

【発明の効果】以上、詳述したように、この発明によれ
ば、ｎ台のコンピュータで多重化を構成し、ｆ台までの
故障停止が許容される場合に、少なくとも（ｎ−ｆ）台
のコンピュータが動作していれば、他のｆ台の動作に関
わらず、入力がそれらに配送されるようになる。つま
り、故障検出をまったく行わないことによって、スプリ
ットブレインを原理的に発生させず、タイムアウトによ
る故障発生時の処理の中断も発生させることがない。

【０１４３】また、最大でｆ台のコンピュータで、プロ
グラムの多重化の実行が遅延する可能性があることを考
慮し、この遅延された実行がスプリットブレインを起こ
さないように追い付く仕組みも実現する。

【図面の簡単な説明】

【図１】この発明の第１実施形態に係る分散システムの
構成を示す図。

【図２】同第１実施形態の分散システムを構成するコン
ピュータの機能ブロック図。

【図３】同第１実施形態の分散システムを構成するコン
ピュータ間で送受信されるプロトコルデータのレイアウ
トを示す図。

【図４】同第１実施形態の分散システムが実行する整列
マルチキャストの主要部の概要について説明するための
図。

【図５】同第１実施形態の分散システムが実行する整列
マルチキャストの１回の配送を行う基本的な部分の動作
手順を示す第１のフローチャート。

【図６】同第１実施形態の分散システムが実行する整列
マルチキャストの１回の配送を行う基本的な部分の動作
手順を示す第２のフローチャート。

【図７】同第１実施形態の分散システムが実行する、多
重化実行の遅延を解消するための動作手順を示す第１の
フローチャート。

【図８】同第１実施形態の分散システムが実行する、多
重化実行の遅延を解消するための動作手順を示す第２の
フローチャート。

【図９】同第１実施形態の分散システムが実行する、多
重化実行の遅延を解消するための動作手順を示す第３の
フローチャート。

【図１０】同第１実施形態の分散システムが実行する、
多重化実行の遅延を解消するための動作手順を示す第４
のフローチャート。

【図１１】同第２実施形態においてアプリケーションプ
ログラムの実行時に用いる時刻をすべてのコンピュータ
間で調整する仕組みを説明するための概念図。

【図１２】同第２実施形態において仮想時刻がカウント
する仮想時刻を管理する原理を説明するためのコンピュ
ータの構成図。

【図１３】同第２実施形態において仮想時刻カウンタを
インクリメントする動作手順を示すフローチャート。

【図１４】同第２実施形態において仮想時刻カウンタを
調整する動作手順を示すフローチャート。

【図１５】同第２実施形態における仮想時計の管理方法
の一変形例を示す図。

【符号の説明】

１…入力受付キュー ２…整列マルチキャスト部 ３…アプリケーションプログラム ４…プログラム状態管理部 ５…出力フィルタ部 ６…システム時計 ７…仮想時刻カウンタ ８…仮想時刻マネージャ ２１…入力順序番号記憶部 ２２…入力パケットジャーナル記憶部 ２３…プロトコルデータ送受信部 ２４…ステップ番号記憶部 ２５…候補パケット記憶部 ２６…入力パケット確定判定部 ２７…最大確定入力順序番号記憶部 ２８…遅延記憶部 ２９…スキップ判定部 １００…コンピュータ １０１…実時計 １０２…仮想時計 １０００…分散システム ２０００…クライアント装置 Ａ…外部ネットワーク Ｂ…内部ネットワーク

Claims (16)

【特許請求の範囲】
1. 【請求項１】 ネットワークで接続されたｎ台のコンピ
   ュータを同期的に動作させる分散システムであって、少
   なくとも（ｎ−ｆ）台以上での多重化を保証する分散シ
   ステムにおいて、 前記各コンピュータは、 前記ｎ台のコンピュータそれぞれが次に処理する候補と
   して選択した入力データを前記ネットワークを介して収
   集する入力候補収集手段と、 前記入力候補収集手段により収集された入力データが
   （ｎ−ｆ）個以上存在する場合に、その中に同一内容の
   入力データが（ｎ−ｆ）個以上あるか否かを判定し、
   （ｎ−ｆ）個以上あったときに、その入力データを次に
   処理する対象として確定する第１の入力候補選定制御手
   段と、 前記収集された入力データの中に同一内容の入力データ
   が（ｎ−ｆ）個以上ないと前記第１の入力候補選定制御
   手段で判定されたときに、前記収集された入力データ数
   の過半数を占める同一内容の入力データが存在するか否
   かを判定し、存在したときに、その入力データを自候補
   とするとともにそれ以外の他の候補の入力データをすべ
   て破棄した上で前記入力候補収集手段に入力データの収
   集を再実行させる第２の入力候補選定制御手段と、 前記収集された入力データ数の過半数を占める同一内容
   の入力データが存在しないと前記第２の入力候補選定手
   段で判定されたときに、前記収集された入力データの中
   からいずれかの入力データを任意に選択して自候補とす
   るとともに、それ以外の他の候補の入力データをすべて
   破棄した上で前記入力候補収集手段に入力データの収集
   を再実行させる第３の入力候補選定制御手段とを具備す
   ることを特徴とする分散システム。
2. 【請求項２】 前記ｆは、３ｆ＜ｎを満たす最大の整数
   であることを特徴とする請求項１記載の分散システム。
3. 【請求項３】 前記各コンピュータは、 前記第１の入力候補確定制御手段により確定された入力
   データを保持するジャーナル手段と、 自コンピュータで既に確定済みである工程の入力データ
   を他のコンピュータが収集しているときに、前記ジャー
   ナル手段に保持された入力データを確定済みの入力デー
   タとして送信する第１の入力候補調整制御手段と、 前記入力候補収集手段による入力データの収集時に、他
   のコンピュータから確定済みの入力データが送信された
   ときに、その入力データを次に処理する対象として確定
   する第２の入力候補調整制御手段とをさらに具備するこ
   とを特徴とする請求項１または２記載の分散システム。
4. 【請求項４】 前記ジャーナル手段は、前記入力データ
   を最新のものから予め定められた工程数だけ保持し、 前記第１の入力候補調整制御手段は、他のコンピュータ
   に送信すべき確定済みの入力データが前記ジャーナル手
   段に保持されていないときに、その旨を通知する手段を
   具備し、 前記各コンピュータは、 自コンピュータで既に確定済みである各工程での直前の
   状態を予め定められた工程分まで保持する状態保持手段
   と、 前記状態保持手段に保持された各工程での直前の状態を
   他のコンピュータとの間で送受信する状態送受信手段
   と、 前記入力候補収集手段による入力データの収集時に、そ
   の収集された入力データ数と他のコンピュータから確定
   済みの入力データが前記ジャーナル手段にも既に保持さ
   れていない旨を通知された数との和が（ｎ−ｆ）以上で
   あって、前記収集された入力データ数が（ｎ−ｆ）未満
   であったときに、他のすべてのコンピュータの中で確定
   済みの工程が最も進んだ他のコンピュータにおける最新
   の確定済みの工程での直前の状態を前記状態送受信手段
   により取得して自コンピュータに複製するスキップ手段
   とをさらに具備することを特徴とする請求項３記載の分
   散システム。
5. 【請求項５】 前記各コンピュータは、 データ処理に用いる仮想時刻を計数するカウンタと、 前記カウンタの値をインクリメントするタイミングを与
   えるための第１の入力データを周期的に発生させる第１
   の入力データ発生手段と、 自コンピュータのシステム時刻が格納され、このシステ
   ム時刻と前記カウンタにより計数される仮想時刻とを比
   較するタイミングを与えるための第２の入力データを発
   生させる第２の入力データ発生手段と、 前記第２の入力データから得られたシステム時刻と前記
   カウンタにより計数された仮想時刻とを比較し、当該シ
   ステム時刻の方が進んでいたときに、前記第１の入力デ
   ータ処理時における前記カウンタの値のインクリメント
   幅を大きく設定する仮想時刻調整手段と、 をさらに具備することを特徴とする請求項１記載の分散
   システム。
6. 【請求項６】 ネットワークで接続されたｎ台のコンピ
   ュータを同期的に動作させる分散システムにおいて、 データ処理に用いる仮想時刻を計数するカウンタと、 前記各コンピュータのシステム時刻と前記カウンタによ
   り計数された仮想時刻とを比較し、システム時刻の方が
   進んでいたときに、前記カウンタの値のインクリメント
   幅を大きく設定する仮想時刻調整手段と、 を具備することを特徴とする分散システム。
7. 【請求項７】 前記カウンタおよび仮想時刻調整手段
   は、前記ｎ台のコンピュータそれぞれに設けられること
   を特徴とする請求項６記載の分散システム。
8. 【請求項８】 前記カウンタおよび仮想時刻調整手段
   は、前記ｎ台のコンピュータの中のいずれか１台に設け
   られることを特徴とする請求項６記載の分散システム。
9. 【請求項９】 前記カウンタおよび仮想時刻調整手段が
   設けられたコンピュータに障害が発生した場合に、前記
   カウンタおよび仮想時刻調整手段を他のいずれかのコン
   ピュータに引き継がせる引継手段を具備することを特徴
   とする請求項８記載の分散システム。
10. 【請求項１０】 前記カウンタの値の通常時のインクリ
    メント幅は、当該カウンタにより計数される仮想時刻が
    実時刻よりも少しずつ遅れていくように設定されること
    を特徴とする請求項６、７、８または９記載の分散シス
    テム。
11. 【請求項１１】 ネットワークで接続されたｎ台のコン
    ピュータを同期的に動作させる分散システムであって、
    少なくとも（ｎ−ｆ）台以上での多重化を保証する分散
    システムの多重化制御方法であって、 前記ｎ台のコン
    ピュータそれぞれが次に処理する候補として選択した入
    力データを前記ネットワークを介して収集する入力候補
    収集ステップと、 前記入力候補収集ステップにより収集された入力データ
    が（ｎ−ｆ）個以上存在する場合に、その中に同一内容
    の入力データが（ｎ−ｆ）個以上あるか否かを判定し、
    （ｎ−ｆ）個以上あったときに、その入力データを次に
    処理する対象として確定する第１の入力候補選定制御ス
    テップと、 前記収集された入力データの中に同一内容の入力データ
    が（ｎ−ｆ）個以上ないと前記第１の入力候補選定制御
    手段で判定されたときに、前記収集された入力データ数
    の過半数を占める同一内容の入力データが存在するか否
    かを判定し、存在したときに、その入力データを自候補
    とするとともにそれ以外の他の候補の入力データをすべ
    て破棄した上で前記入力候補収集ステップに入力データ
    の収集を再実行させる第２の入力候補選定制御ステップ
    と、 前記収集された入力データ数の過半数を占める同一内容
    の入力データが存在しないと前記第２の入力候補選定手
    段で判定されたときに、前記収集された入力データの中
    からいずれかの入力データを任意に選択して自候補とす
    るとともに、それ以外の他の候補の入力データをすべて
    破棄した上で前記入力候補収集手段に入力データの収集
    を再実行させる第３の入力候補選定制御ステップとを具
    備することを特徴とする分散システムの多重化制御方
    法。
12. 【請求項１２】 前記ｆは、３ｆ＜ｎを満たす最大の整
    数であることを特徴とする請求項１１記載の分散システ
    ムの多重化制御方法。
13. 【請求項１３】 前記第１の入力候補確定制御ステップ
    により確定された入力データを保持するジャーナルステ
    ップと、 自コンピュータで既に確定済みである工程の入力データ
    を他のコンピュータが収集しているときに、前記ジャー
    ナルステップにより保持された入力データを確定済みの
    入力データとして送信する第１の入力候補調整制御ステ
    ップと、 前記入力候補収集ステップによる入力データの収集時
    に、他のコンピュータから確定済みの入力データが送信
    されたときに、その入力データを次に処理する対象とし
    て確定する第２の入力候補調整制御ステップとをさらに
    具備することを特徴とする請求項１１または１２記載の
    分散システムの多重化制御方法。
14. 【請求項１４】 前記ジャーナルステップは、前記入力
    データを最新のものから予め定められた工程数だけ保持
    し、 前記第１の入力候補調整制御ステップは、他のコンピュ
    ータに送信すべき確定済みの入力データが前記ジャーナ
    ル手段に保持されていないときに、その旨を通知するス
    テップを具備し、 自コンピュータで既に確定済みである各工程での直前の
    状態を予め定められた工程分まで保持する状態保持ステ
    ップと、 前記状態保持ステップにより保持された各工程での直前
    の状態を他のコンピュータとの間で送受信する状態送受
    信ステップと、 前記入力候補収集ステップによる入力データの収集時
    に、その収集された入力データ数と他のコンピュータか
    ら確定済みの入力データが前記ジャーナルステップによ
    っても既に保持されていない旨を通知された数との和が
    （ｎ−ｆ）以上であって、前記収集された入力データ数
    が（ｎ−ｆ）未満であったときに、他のすべてのコンピ
    ュータの中で確定済みの工程が最も進んだ他のコンピュ
    ータにおける最新の確定済みの工程での直前の状態を前
    記状態送受信ステップにより取得して自コンピュータに
    複製するスキップステップとをさらに具備することを特
    徴とする請求項１２記載の分散システムの多重化制御方
    法。
15. 【請求項１５】 データ処理に用いる仮想時刻を計数す
    るカウンタの値をインクリメントするタイミングを与え
    るための第１の入力データを周期的に発生させる第１の
    入力データ発生ステップと、 自コンピュータのシステム時刻が格納され、このシステ
    ム時刻と前記カウンタにより計数される仮想時刻とを比
    較するタイミングを与えるための第２の入力データを発
    生させる第２の入力データ発生ステップと、 前記第２の入力データから得られたシステム時刻と前記
    カウンタにより計数された仮想時刻とを比較し、当該シ
    ステム時刻の方が進んでいたときに、前記第１の入力デ
    ータ処理時における前記カウンタの値のインクリメント
    幅を大きく設定する仮想時刻調整ステップと、 をさらに具備することを特徴とする請求項１１記載の分
    散システムの多重化制御方法。
16. 【請求項１６】 ネットワークで接続されたｎ台のコン
    ピュータを同期的に動作させる分散システムの時刻管理
    方法であって、 データ処理に用いる仮想時刻を計数するカウンタステッ
    プと、 前記各コンピュータのシステム時刻と前記カウンタステ
    ップにより計数された仮想時刻とを比較し、システム時
    刻の方が進んでいたときに、前記カウンタステップによ
    るインクリメント幅を大きく設定する仮想時刻調整ステ
    ップと、 を具備することを特徴とする分散システムの時刻管理方
    法。