JP2008287512A - 計算機及び分散データ処理システム及びデータ処理方法及びプログラム - Google Patents

Abstract

【課題】常用系計算機の障害発生時に待機系計算機が確実に常用系の処理を引き継ぎ、先行する常用系計算機で障害が発生した後続の常用系計算機が先行する待機系計算機の処理結果を矛盾なく取得する。
【解決手段】常用系計算機１１等は、メッセージ受信時に、一貫性維持機能付き共有メモリ装置の情報を参照し、メッセージ送信元の計算機の処理が完了済か否かを判断し、完了済の場合に自計算機の処理を行い、共有メモリ装置に処理の完了を書き込み、対となる待機系計算機にメッセージ破棄を指示する。待機系計算機２１等は、対となる常用系計算機に対するメッセージを受信し、常用系計算機に障害がない場合はメッセージを破棄し、障害検知時に、共有メモリ装置の情報を参照して、常用系計算機において処理が完了しているか否かを判断し、処理未完の場合に常用系の処理を行う。また、常用系の処理が完了したことを共有メモリ装置に書き込む。
【選択図】図１

Description

本発明は、ネットワーク等で相互接続された計算機システムの耐故障性を高める技術に関するものである。

一般に、計算機システムの耐故障性を高めるためには構成要素のプロセスや計算機を多重化し１台を常用系計算機、その他を待機系計算機とし、障害発生時には常用系計算機の代わりに待機系計算機が処理を引き継ぐ手法が知られている（例えば特許文献１）。

また、複数の計算機を用いてパイプライン処理を行う情報処理装置（以下、パイプライン処理装置）において、それぞれの計算機を多重化し信頼性を高めることも容易に考えられる。
このような情報処理装置においては、まず外部機器からのメッセージを受信し、メッセージに対する処理を行い、処理結果を保存し、次の計算機へのメッセージ送信、または外部機器へのメッセージ送信（入力に対する応答）を連続的に行うことで目的とする処理を実施する。
このとき、各計算機へのメッセージ送信は、常用系計算機及び待機系計算機に行い、異常発生時にはすでに受信済のメッセージを元に待機系計算機において処理を引き継ぎ、情報処理装置全体としての処理を継続する。
特開２００３−２８０９３９号公報

図８を参照して、上記のようなパイプライン処理装置の例を考える。
図８において、常用系計算機１１と待機系計算機２１、常用系計算機１２と待機系計算機２２、常用系計算機１３と待機系計算機２３、常用系計算機１ｎと待機系計算機２ｎが、それぞれ対となっている。
各計算機はネットワーク１００により相互に接続されていると共に、受信メッセージを保存するためのメッセージキュー（以下、キューともいう）、各計算機において処理パラメータや中間データなどを共有するための分散共有メモリ装置（以下、共有メモリ装置又は共有メモリともいう）を有している。
各計算機は外部機器２００または他の計算機からメッセージを受信すると、それに応じた処理を行い、結果を外部機器２００に送信するか、または他の計算機にメッセージを送信し、さらに別の処理を実行させる。
これを繰り返すことでパイプライン処理装置として意味のある処理を実行する。

図９及び図１０に、常用系計算機、待機系計算機での処理のフローチャートを示す。

図９において、常用系計算機は、メッセージを受信すると、受信したメッセージをキューに蓄え（Ｓ９０１）、自身の動作モードを確認し、常用系計算機として動作していることを認識し（Ｓ９０２）、待機系計算機にメッセージ破棄を指示する（Ｓ９０３）。
そして、メッセージをキューから取り出して所定の処理を行い（Ｓ９０４）、処理結果を共有メモリに書き込み（Ｓ９０５）、メッセージを他の計算機又は外部機器２００に送信する。

一方、待機系計算機は、図１０に示すように、常用系計算機が受信するメッセージと同じメッセージを受信し、受信したメッセージをキューに蓄え（Ｓ１００１）、自身の動作モードを確認し、待機系計算機として動作していることを認識し（Ｓ１００２）、メッセージを処理せずに待機する（Ｓ１００３）。
そして、常用系計算機に異常が発生しなければ（Ｓ１００４でＮＯ）、常用系計算機からのメッセージ破棄指示（Ｓ９０３）を受信した際に、キューに蓄積しているメッセージを破棄する（Ｓ１００５）。
一方、常用系計算機に異常が発生した場合には（Ｓ１００４でＹＥＳ）、常用系として動作を開始し（Ｓ１００６）、メッセージをキューから取り出して所定の処理を行い（Ｓ１００７）、処理結果を共有メモリに書き込み（Ｓ１００８）、メッセージを他の計算機又は外部機器２００に送信する。

また、３つのメッセージ（ＭＳＧ１、ＭＳＧ２、ＭＳＧ３）を受信した場合に図９及び図１０の動作フローに沿って常用系計算機と待機系計算機が動作する例を図１１に示す。

次に、異常が発生するケースについて、ＭＳＧ１の処理中に常用系計算機で異常が発生した場合、図１２のような流れで常用系計算機から待機系計算機に切り替わるが、このときＭＳＧ１は失われてしまい、外部機器２００からのメッセージに対する応答が返せなくなるという課題が存在する。

この課題を回避するため、図９のフローチャートにおいて待機系計算機へのメッセージ破棄指示を常用系計算機での処理終了後に変更した場合のフローチャートを図１３に示す。つまり、図１３の例では、常用系計算機は、処理を行い（Ｓ１３０３）、処理結果を共有メモリに書き込み（Ｓ１３０４）、メッセージを送信した（Ｓ１３０５）後に、待機系にメッセージ破棄を指示する。なお、図１４の待機系の処理は、図１０と同様である。
図１３の処理手順の場合、ＭＳＧ１がロストすることは無いが、その代わり図１５のように、他の計算機または外部機器２００に対して同一のメッセージを２回送信してしまうケースが発生する課題がある。

本発明は、これら２パターンの持つ課題を解決することを主な目的としており、複数の計算機から構成される分散データ処理システムにおいて、常用系計算機に障害が発生した場合にも待機系計算機が確実に常用系計算機の処理を引き継ぎ、また、先行する常用系計算機で障害が発生した後続の常用系計算機が障害が発生した常用系計算機の待機系計算機の処理結果を矛盾なく取得して、計算機間の処理を継続させることを主な目的とする。

本発明に係る計算機は、
複数の計算機が各々に割り当てられているデータ処理を行う分散データ処理システムに用いられる計算機であって、
自計算機に割り当てられている自計算機データ処理の開始を指示するデータ処理開始指示を取得するデータ処理開始指示取得部と、
前記データ処理開始指示取得部によりデータ処理開始指示が取得された際に、自計算機データ処理の前の処理となる先行データ処理が他の計算機で完了しているか否かを判断するデータ処理完了判断部と、
前記データ処理完了判断部により先行データ処理が完了していると判断された場合に自計算機データ処理を行い、前記データ処理完了判断部により先行データ処理が完了していないと判断された場合に自計算機データ処理を保留するデータ処理部と、
前記データ処理部により自計算機データ処理が完了した際に、自計算機データ処理が完了したことを他の計算機に通知するデータ処理完了通知部とを有することを特徴とする。

本発明によれば、常用系計算機は、先行データ処理が完了しているか否かを判断して自計算機データ処理を行い、自計算機データ処理が完了した際に他の計算機に自計算機データ処理の完了を通知し、待機系計算機は、対応常用系計算機の障害発生時に対応常用系データ処理が完了している否かを判断して対応常用系計算機のデータ処理を行い、対応常用系計算機のデータ処理が完了した際に他の計算機に対応常用系計算機のデータ処理の完了を通知するため、常用系計算機に障害が発生した場合にも待機系計算機が確実に常用系計算機の処理を引き継ぐことができ、また、先行する常用系計算機で障害が発生した後続の常用系計算機が障害が発生した常用系計算機の待機系計算機の処理結果を矛盾なく取得することができ、計算機間の処理を継続させることができる。

実施の形態１．
図１は、この発明の実施の形態１におけるパイプライン処理装置１（分散データ処理システム）を示すものである。
図１において、常用系計算機１１〜１ｎは、各々に割り当てられているデータ処理を行う。また、待機系計算機２１〜２ｎは、対となる常用系計算機１１〜１ｎの障害時に常用系計算機１１〜１ｎに代わって常用系計算機に割り当てられているデータ処理を行う。
図１では、常用系計算機１１と待機系計算機２１、常用系計算機１２と待機系計算機２２、常用系計算機１３と待機系計算機２３、常用系計算機１ｎと待機系計算機２ｎが、それぞれ対となっている。
本実施の形態では、従来の共有メモリ装置の代わりに、ＡＣＩＤ特性（原子性（Ａｔｏｍｉｃｉｔｙ）、一貫性（Ｃｏｎｓｉｓｔｅｎｃｙ）、独立性（Ｉｓｏｌａｔｉｏｎ）、永続性（Ｄｕｒａｂｉｌｉｔｙ））を持つ分散共有メモリ装置（一貫性維持機能付き共有メモリ装置）を用いて計算機間の情報の共有を行い、各計算機はネットワーク１００により相互接続されていると共に、受信メッセージを保管するためのメッセージキューを持つ。

各常用系計算機１１〜１ｎは、自計算機に割り当てられている処理（自計算機データ処理）の開始を指示するメッセージ（データ処理開始指示）を受信し、メッセージを受信した際に、一貫性維持機能付き共有メモリ装置（分散共有メモリ装置）の情報を参照して、自計算機データ処理の前の処理となる先行データ処理が他の計算機で完了しているか否かを判断する。
そして、各常用系計算機１１〜１ｎは、先行データ処理が完了していると判断した場合に自計算機データ処理を行い、先行データ処理が完了していないと判断した場合に自計算機データ処理を保留し、一貫性維持機能付き共有メモリ装置に情報が書き込まれた場合、情報を書き込んだ計算機が、保留したメッセージを送信した計算機の場合は、先行データ処理が完了したものとし、自計算機データ処理を行い、他方、情報を書き込んだ計算機が、保留したメッセージを送信した計算機以外の場合は、保留しているメッセージを破棄する。
また、各常用系計算機１１〜１ｎは、自計算機データ処理が完了した際に、一貫性維持機能付き共有メモリ装置に自計算機データ処理が完了したことを書き込むことで自計算機データ処理が完了したことを他の計算機に通知し、自計算機のデータ処理が完了したことを通知した後に、対となる対応待機系計算機に対して、対応待機系計算機が受信したメッセージ（データ処理開始指示）を破棄するよう指示する。

また、各待機系計算機２１〜２ｎは、対となる対応常用系計算機に対するメッセージを受信し、対応常用系計算機における障害を検知しない場合は、対応常用系計算機からのメッセージ破棄指示に基づき、対応常用系計算機に対するメッセージを破棄する。
一方、対応常用系計算機における障害を検知した場合に、各待機系計算機２１〜２ｎは、一貫性維持機能付き共有メモリ装置の情報を参照して、対応常用系計算機において対応常用系計算機に割り当てられている処理（対応常用系データ処理）が完了しているか否かを判断し、対応常用系計算機において対応常用系データ処理が完了していないと判断した場合に対応常用系データ処理を行う。
また、対応常用系データ処理が完了した際に、対応常用系データ処理が完了したことを一貫性維持機能付き共有メモリ装置に書き込んで、他の計算機に対応常用系データ処理が完了したことを通知する。

次に、本実施の形態に係る常用系計算機及び待機系計算機の構成例を図２及び図３に示す。
図２は、本実施の形態に係る常用系計算機１０の構成例を示し、図３は、本実施の形態に係る待機系計算機２０の構成例を示す。
本実施の形態では、一つの計算機が常用系としても待機系としても動作可能であるため、常用系及び待機系のいずれにも対応させるために、各計算機は、図２及び図３を統合した構成を有することになるが、常用系として動作する場合、待機系として動作する場合のそれぞれにおいて必要となる構成要素、処理内容が異なるため、説明の便宜のために、別の図として示している。
また、常用系計算機１０の構成は、常用系計算機１１〜１ｎに共通であり、待機系計算機２０の構成は、待機系計算機２１〜２ｎに共通である。

図２において、通信部１０１は、他の計算機又は外部機器２００との間でメッセージを送受信し、また、待機系計算機２０に対してメッセージ破棄指示を送信する。
また、他の計算機との間で一貫性維持機能付き共有メモリ装置１０３の共有メモリ情報の送受信を行う。通信部１０１は、メッセージ（データ処理開始指示）を取得する機能を有しており、データ処理開始指示取得部の例である。
メッセージキュー１０２は、通信部１０１により受信されたメッセージを蓄積する。なお、以降、メッセージキュー１０２は単にキュー１０２ともいう。
一貫性維持機能付き共有メモリ装置１０３は、前述したように、計算機間の情報の共有のための分散共有メモリ装置であり、ＡＣＩＤ特性を持つ。一貫性維持機能付き共有メモリ装置１０３は分散共有メモリ装置の例である。

制御部１０４は、動作モード確認部１０５、動作モード切替部１０６、データ処理完了判断部１０７、データ処理部１０８、データ処理完了通知部１０９、メッセージ生成部１１０、破棄指示部１１１から構成される。
動作モード確認部１０５は、他の計算機又は外部機器２００からメッセージを受信した場合に、自計算機の動作モードが常用系であるのか待機系であるのかを確認する。
動作モード切替部１０６は、計算機の動作モードを常用系と待機系の間で切り替える。
データ処理完了判断部１０７は、他の計算機又は外部機器２００からメッセージを受信した場合に、自計算機に割り当てられている処理（自計算機データ処理）の前の処理となる先行データ処理が他の計算機で完了しているか否かを判断する。具体的には、データ処理完了判断部１０７は、一貫性維持機能付き共有メモリ装置１０３の情報を参照して、メッセージ送信元の計算機に割り当てられているデータ処理が当該計算機で完了しているか否かを判断する。
データ処理部１０８は、データ処理完了判断部１０７により先行データ処理が完了していると判断された場合に自計算機データ処理を行い、データ処理完了判断部１０７により先行データ処理が完了していないと判断された場合に自計算機データ処理を保留し、一貫性維持機能付き共有メモリ装置に情報が書き込まれた場合、情報を書き込んだ計算機が、保留したメッセージを送信した計算機の場合は、先行データ処理が完了したものとし、自計算機データ処理を行い、他方、情報を書き込んだ計算機が、保留したメッセージを送信した計算機以外の場合は、保留しているメッセージを破棄する。
データ処理完了通知部１０９は、データ処理部１０８により自計算機データ処理が完了した際に、一貫性維持機能付き共有メモリ装置１０３に自計算機データ処理が完了したことを書き込んで、自計算機データ処理が完了したことを他の計算機に通知する。
メッセージ生成部１１０は、データ処理部１０８により自計算機データ処理が完了した際に、他の計算機又は外部機器２００宛のメッセージを生成する。
破棄指示部１１１は、データ処理完了通知部１０９により自計算機のデータ処理が完了したことが通知された後に、対となる対応待機系計算機に対して、対応待機系計算機が取得したメッセージを破棄するよう指示するメッセージ破棄指示を生成する。

図３において、通信部２０１は、他の計算機又は外部機器２００との間でメッセージを送受信し、また、常用系計算機１０からのメッセージ破棄指示を受信する。
また、他の計算機との間で一貫性維持機能付き共有メモリ装置２０３の共有メモリ情報の送受信を行う。
メッセージキュー２０２は、通信部２０１により受信されたメッセージを蓄積する。なお、以降、メッセージキュー２０２は単にキュー２０２ともいう。
一貫性維持機能付き共有メモリ装置２０３は、前述したように、計算機間の情報の共有のための分散共有メモリ装置であり、ＡＣＩＤ特性を持つ。一貫性維持機能付き共有メモリ装置２０３は分散共有メモリ装置の例である。

制御部２０４は、動作モード確認部２０５、動作モード切替部２０６、データ処理完了判断部２０７、データ処理部２０８、データ処理完了通知部２０９、メッセージ生成部２１０、障害検知部２１１から構成される。
動作モード確認部２０５は、他の計算機又は外部機器２００からメッセージを受信した場合に、自計算機の動作モードが常用系であるのか待機系であるのかを確認する。
動作モード切替部２０６は、計算機の動作モードを常用系と待機系の間で切り替える。
データ処理完了判断部２０７は、障害検知部２１１により対応常用系計算機における障害が検知された際に、一貫性維持機能付き共有メモリ装置２０３の情報を参照して、対応常用系計算機において対応常用系計算機に割り当てられている処理（対応常用系データ処理）が完了しているか否かを判断する。
データ処理部２０８は、データ処理完了判断部２０７により対応常用系計算機において対応常用系データ処理が完了していないと判断された場合に対応常用系データ処理を行う。
データ処理完了通知部２０９は、データ処理部２０８により対応常用系データ処理が完了した際に、一貫性維持機能付き共有メモリ装置２０３に対応常用系データ処理が完了したことを書き込んで、対応常用系データ処理が完了したことを他の計算機に通知する。
メッセージ生成部２１０は、データ処理部２０８により対応常用系データ処理が完了した際に、他の計算機又は外部機器２００宛のメッセージを生成する。
障害検知部２１１は、対となる対応常用系計算機における障害を検知する。

このパイプライン処理装置１における常用系計算機及び待機系計算機の処理のフローチャートを図４及び図５に示す。また、処理の流れは図６に示す。

図４において、常用系計算機１０の通信部１０１が他の計算機からメッセージを受信し、メッセージをキュー１０２に蓄える（Ｓ４０１）（データ処理開始指示取得ステップ）。
次に、動作モード確認部１０５が自計算機の動作モードを確認し、常用系計算機として動作していることを認識する（Ｓ４０２）。
次に、データ処理完了判断部１０７が、一貫性維持機能付き共有メモリ装置１０３にアクセスし、受信したメッセージの送信元の計算機における送信元処理（先行データ処理）が完了しているかを確認する（Ｓ４０３）（データ処理完了判断ステップ）。

この確認はメッセージに一意なメッセージＩＤと送信元の計算機ＩＤを付与しておき、このメッセージＩＤと計算機ＩＤを元にして得られる一貫性維持機能付き共有メモリ装置の特定アドレスに、送信元処理が完了しているかを示すフラグを保存しておく、などの方法があるが、その他の方法を用いても良い。

送信元処理が完了していた場合（Ｓ４０３でＹＥＳ）は、データ処理部１０８が、受信したメッセージを元に処理（自計算機データ処理）を行う（Ｓ４０４）（データ処理ステップ）。
データ処理部１０８による処理が完了したら、メッセージ生成部１１０が外部機器２００又は他の計算機宛のメッセージを生成し、通信部１０１がメッセージを送信する（Ｓ４０５）。
また、データ処理完了通知部１０９が、データ処理部１０８による処理結果を一貫性維持機能付き共有メモリ装置１０３に保存する（Ｓ４０６）とともにデータ処理部１０８による処理が完了したことを一貫性維持機能付き共有メモリ装置１０３に記録する（Ｓ４０７）（データ処理完了通知ステップ）。
最後に、破棄指示部１１１がメッセージ破棄指示を生成し、通信部１０１がメッセージ破棄指示を待機系計算機２０に送信する（Ｓ４０８）。
他方、データ処理完了判断部１０７が送信元処理が完了しているか確認した結果、送信元処理が完了していなかった場合（Ｓ４０３でＮＯ）は、データ処理部１０８は受信したメッセージの取り出しを保留する（Ｓ４０９）。すなわち、データ処理部１０８は、処理（自計算機データ処理）を保留する。
そして、データ処理完了判断部１０７は、データ処理部１０８により処理（自計算機データ処理）が保留された後に、一貫性維持機能付き共有メモリ装置１０３にアクセスし、メッセージ送信元が一貫性維持機能付き共有メモリ装置１０３に処理完了を記録したか、換言すれば、送信元処理が先行の常用系計算機（他の常用系計算機）及び先行の常用系計算機と対になる待機系計算機のいずれかで完了しているか否かを判断する。
データ処理完了判断部１０７が、メッセージ送信元（先行の常用系計算機）が送信元処理の完了を一貫性維持機能付き共有メモリ装置１０３に記録していると判断した場合、すなわち、メッセージ送信元（先行の常用系計算機）で送信元処理が完了していると判断した場合（Ｓ４１０でＹＥＳ）は、データ処理部１０８は、メッセージをキューから取り出し、処理（自計算機データ処理）を行い（Ｓ４０４）、Ｓ４０５以降の動作を行う。
他方、データ処理完了判断部１０７が、メッセージ送信元（先行の常用系計算機）が送信元処理の完了を一貫性維持機能付き共有メモリ装置１０３に記録していないと判断した場合、すなわち、先行の常用系計算機と対になる待機系計算機で送信元処理が完了していると判断した場合（Ｓ４１０でＮＯ）は、図６に示すように、先行の常用系計算機がメッセージを送信した後であって一貫性維持機能付き共有メモリ装置１０３への処理完了を記録する前に当該先行の常用系計算機に異常が発生し、先行の常用系計算機と対になる先行の待機系計算機が処理を引き継いで、メッセージを送信し、一貫性維持機能付き共有メモリ装置１０３に処理完了を記録した状態であり、データ処理部１０８は、処理（自計算機データ処理）を行わずにメッセージキューにある先行の常用系計算機からのメッセージを破棄し（Ｓ４１１）、処理を終了する。
なお、この場合は、図６に示すように、異常のあった先行の常用系計算機を引き継いだ先行の待機系計算機から、メッセージを受信するので、この先行の待機系計算機からのメッセージに対してＳ４０１以降の手順を実施する。

待機系計算機２０においては、対応する常用系計算機１０が動作している間は、常用系計算機１０からのメッセージ破棄指示を待ってメッセージを破棄することを繰り返す。常用系計算機にて異常が発生したことを検知した場合には常用系計算機１０に置き換わって処理を開始する。切り替え後の最初のメッセージについては、メッセージの処理開始時に、上記常用系計算機のメッセージ受信時と同様に、異常発生の前に常用系計算機において処理が完了していたかを確認し、処理が完了していなかった場合のみメッセージの処理を行う。

具体的には、図５に示すように、待機系計算機２０の通信部２０１は、対応する常用系計算機１０が受信するメッセージと同じメッセージを受信し、メッセージをキュー２０２に蓄える（Ｓ５０１）。
次に、動作モード確認部２０５が自計算機の動作モードを確認し、待機系計算機として動作していることを認識し（Ｓ５０２）、メッセージを処理せずに待機する（Ｓ５０３）。
そして、常用系計算機１０に異常が発生しなければ（Ｓ５０４でＮＯ）、常用系計算機１０からのメッセージ破棄指示（Ｓ４０９）を受信した際に、キュー２０２に蓄積しているメッセージを破棄する（Ｓ５０５）。
一方、常用系計算機１０に異常が発生した場合には（Ｓ５０４でＹＥＳ）、障害検知部２１１が常用系計算機１０の異常を検知し（障害検知ステップ）、動作モード切替部２０６が動作モードを切り替えて常用系として動作を開始する（Ｓ５０６）。
次に、データ処理完了判断部２０７が、一貫性維持機能付き共有メモリ装置２０３にアクセスし、対応する常用系計算機１０における処理（対応常用系データ処理）が完了しているかを確認する（Ｓ５０７）（データ処理完了判断ステップ）。

この常用系計算機１０における処理が完了しているか否かの判断は、常用系計算機１０における送信元処理の完了確認と同様の方法で良い。

データ処理完了判断部２０７が常用系計算機１０における処理が完了しているか確認した結果、常用系計算機１０における処理が完了していた場合（Ｓ５０７でＹＥＳ）は、待機系計算機２０は、以後、常用系計算機として動作する。

他方、常用系計算機１０における処理が完了していなかった場合（Ｓ５０７でＮＯ）は、データ処理部２０８が、メッセージをキューから取り出し、常用系計算機１０に割り当てられている処理（対応常用系データ処理）を行う（Ｓ５０８）（データ処理ステップ）。
データ処理部２０８による処理が完了したら、メッセージ生成部２１０が外部機器２００又は他の計算機宛のメッセージを生成し、通信部２０１がメッセージを送信する（Ｓ５０９）。
また、データ処理完了通知部２０９が、データ処理部２０８による処理結果を一貫性維持機能付き共有メモリ装置２０３に保存する（Ｓ５１０）とともにデータ処理部２０８による処理が完了したことを一貫性維持機能付き共有メモリ装置２０３に記録する（Ｓ５１１）（データ処理完了通知ステップ）。

なお、常用系計算機にて異常が発生したことを検知する方法としては、常用系計算機と待機系計算機の間でハートビートを行う方法や、常用系計算機においてプロセスの状態を監視するなどの方法があるが、その他の方法を用いても良い。

上記の一連の処理において、処理完了の記録と処理結果の保存を一貫性維持機能付き共有メモリ装置にしていることによって、異常時に、メッセージが送信されているが、処理結果が保存されていない、処理結果が途中までしか保存されていない、または処理結果は保存されているが処理完了が記録されていない、などの状態が発生せずに処理を継続することが可能となる。
これにより従来の方法で存在した異常発生時にメッセージがロストするという問題無しにパイプライン処理装置の耐故障性を実現できる。

以上、本実施の形態では、ネットワークによって接続された常用系計算機及び待機系計算機から成り一連の処理を実行するパイプライン処理装置において、一貫性維持機能付共有メモリ装置、正常時に処理の同期を取る手段、異常発生時に待機系計算機が処理を再開する手段を備えたことを主な特徴とするパイプライン処理装置について説明した。

実施の形態２．
なお、上記実施の形態１では、常用系計算機１つに対して１つの待機系計算機が対になっているが、２つ以上のｍ台の待機系計算機のグループを対にした構成によっても同様の動作を行わせることができる。
このとき常用系計算機の処理を引き継ぐ順番はあらかじめ決定しておいても良いし、動的に決定するようにしても良い。
これによりｍ−１台の計算機が同時に故障しても処理を継続することが可能となり、耐故障性をさらに高めることができる。

以上、本実施の形態では、１台の常用系計算機に対して複数台の待機系計算機がセットになることを主な特徴とするパイプライン処理装置について説明した。

実施の形態３．
上記実施の形態１では、常用系計算機１つに対して１つの待機系計算機が対になっているが、複数の常用系計算機に対してどの常用系計算機の代わりにもなる１つの待機系計算機を対応させる構成としても同様の動作を行わせることができる。
これにより、正常実行時に使用されない計算機リソースを減らすことができる。

以上、本実施の形態では、複数台の常用系計算機から構成される計算機グループに対して、計算機グループの全てあるいは一部の常用系計算機のバックアップを行うことができる１台の待機系計算機を共通に持つことを主な特徴とするパイプライン処理装置について説明した。

実施の形態４．
上記実施の形態３では、複数の常用系計算機に対して１つの待機系計算機を対応させているが、複数の常用系計算機に対してどの常用系計算機の代わりにもなる複数台の待機系計算機を対応させる構成としても同様の動作を行わせることができる。
このとき、待機系計算機の台数は、常用系計算機の台数と同じでも、多くても、少なくても良い。
これにより、必要な耐故障性に応じて柔軟に待機系計算機の台数を変えられる。また、実施の形態１、２、３では、１つの常用系計算機及び同計算機に対応する待機系計算機が全て故障してしまった場合には、他の常用系計算機に対応する待機系計算機が存在したとしてもパイプライン処理装置としては処理を継続することができなくなってしまうところを、本形態であれば全ての待機系計算機が故障するまでパイプライン処理装置としての処理を継続することが可能であり、計算機リソースを有効利用することが可能である。

以上、本実施の形態では、複数台の常用系計算機から構成される計算機グループに対して、複数台の上記待機系計算機を共通に持つことを主な特徴とするパイプライン処理装置について説明した。

実施の形態５．
上記実施の形態１、２、３、４では、計算機を相互に接続するネットワークが１つだけであったが、ネットワーク接続を多重化した構成としても同様の動作を行わせることができる。
これにより計算機の故障だけでなく、ネットワークの障害が発生した場合でもパイプライン処理装置としての処理を継続することが可能となり、耐故障性を高めることができる。

以上、本実施の形態では、ネットワークによる接続が多重化されたことを主な特徴とするパイプライン処理装置について説明した。

実施の形態６．
上記実施の形態１、２、３、４、５では、全ての計算機から１つの一貫性維持機能付き共有メモリ装置を共有していたが、これを幾つかのメッセージの送受信を行う計算機グループ毎に１つの一貫性維持機能付き共有メモリ装置を共有するように細分化した構成としても同様の動作を行わせることができる。
これにより一貫性維持機能付き共有メモリ装置で要する排他制御などのオーバーヘッドを軽減し、パイプライン処理装置の処理能力を向上させることができる。

以上、本実施の形態では、一貫性維持機能付共有メモリ装置を全ての計算機で共有する代わりに、メッセージの送受信を行う計算機グループ毎に１つの一貫性維持機能付き共有メモリ装置を共有することを主な特徴とするパイプライン処理装置について説明した。

実施の形態７．
上記実施の形態１、２、３、４、５、６では、計算機が処理を開始するトリガーとしてネットワークを介したメッセージを用いていたが、これを一貫性維持機能付き共有メモリ上でのデータ交換を併用する、または一貫性維持機能付き共有メモリ上でのデータ交換だけとしても同様の動作を行わせることができる。
これによりメッセージ送受信のためにネットワークを使用しなくなるため部品数が減り、耐故障性を高めることができる。

以上、本実施の形態では、計算機間の通信を、ネットワーク上のメッセージ送信の代わりに、一貫性維持機能付共有メモリ装置上にメッセージを書き込んでおき受信側でポーリングする方式とすることを主な特徴とするパイプライン処理装置について説明した。

なお、上記説明において、ネットワーク接続の形態は有線接続、無線接続を問わないこと、及び外部機器２００が任意の数であっても同様の動作を行うことができること、
パイプライン処理装置において複数の処理が並行動作できること、はいうまでもない。

最後に実施の形態１〜７に示した常用系計算機１０及び待機系計算機２０のハードウェア構成例について説明する。
図７は、実施の形態１〜７に示す常用系計算機１０及び待機系計算機２０のハードウェア資源の一例を示す図である。なお、図７の構成は、あくまでも常用系計算機１０及び待機系計算機２０のハードウェア構成の一例を示すものであり、常用系計算機１０及び待機系計算機２０のハードウェア構成は図７に記載の構成に限らず、他の構成であってもよい。

図７において、常用系計算機１０及び待機系計算機２０は、プログラムを実行するＣＰＵ９１１（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサともいう）を備えている。ＣＰＵ９１１は、バス９１２を介して、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９１３、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９１４、通信ボード９１５、表示装置９０１、キーボード９０２、マウス９０３、磁気ディスク装置９２０と接続され、これらのハードウェアデバイスを制御する。更に、ＣＰＵ９１１は、ＦＤＤ９０４（Ｆｌｅｘｉｂｌｅ Ｄｉｓｋ Ｄｒｉｖｅ）、コンパクトディスク装置９０５（ＣＤＤ）、プリンタ装置９０６、スキャナ装置９０７と接続していてもよい。また、磁気ディスク装置９２０の代わりに、光ディスク装置、メモリカード読み書き装置などの記憶装置でもよい。
ＲＡＭ９１４は、揮発性メモリの一例である。ＲＯＭ９１３、ＦＤＤ９０４、ＣＤＤ９０５、磁気ディスク装置９２０の記憶媒体は、不揮発性メモリの一例である。これらは、記憶装置あるいは記憶部の一例である。
通信ボード９１５、キーボード９０２、スキャナ装置９０７、ＦＤＤ９０４などは、入力部、入力装置の一例である。
また、通信ボード９１５、表示装置９０１、プリンタ装置９０６などは、出力部、出力装置の一例である。

通信ボード９１５は、図１に示すように、ネットワークに接続されている。例えば、通信ボード９１５は、ＬＡＮ（ローカルエリアネットワーク）、インターネット、ＷＡＮ（ワイドエリアネットワーク）などに接続されていても構わない。
磁気ディスク装置９２０には、オペレーティングシステム９２１（ＯＳ）、ウィンドウシステム９２２、プログラム群９２３、ファイル群９２４が記憶されている。プログラム群９２３のプログラムは、ＣＰＵ９１１、オペレーティングシステム９２１、ウィンドウシステム９２２により実行される。

上記プログラム群９２３には、実施の形態１〜７の説明において「〜部」として説明している機能を実行するプログラムが記憶されている。プログラムは、ＣＰＵ９１１により読み出され実行される。
ファイル群９２４には、実施の形態１〜７の説明において、「〜の判断」、「〜の計算」、「〜の比較」、「〜の確認」、「〜の更新」、「〜の設定」、「〜の登録」等として説明している処理の結果を示す情報やデータや信号値や変数値やパラメータが、「〜ファイル」や「〜データベース」の各項目として記憶されている。「〜ファイル」や「〜データベース」は、ディスクやメモリなどの記録媒体に記憶される。ディスクやメモリになどの記憶媒体に記憶された情報やデータや信号値や変数値やパラメータは、読み書き回路を介してＣＰＵ９１１によりメインメモリやキャッシュメモリに読み出され、抽出・検索・参照・比較・演算・計算・処理・編集・出力・印刷・表示などのＣＰＵの動作に用いられる。抽出・検索・参照・比較・演算・計算・処理・編集・出力・印刷・表示のＣＰＵの動作の間、情報やデータや信号値や変数値やパラメータは、メインメモリ、レジスタ、キャッシュメモリ、バッファメモリ等に一時的に記憶される。
また、実施の形態１〜７で説明しているフローチャートの矢印の部分は主としてデータや信号の入出力を示し、データや信号値は、ＲＡＭ９１４のメモリ、ＦＤＤ９０４のフレキシブルディスク、ＣＤＤ９０５のコンパクトディスク、磁気ディスク装置９２０の磁気ディスク、その他光ディスク、ミニディスク、ＤＶＤ等の記録媒体に記録される。また、データや信号は、バス９１２や信号線やケーブルその他の伝送媒体によりオンライン伝送される。

また、実施の形態１〜７の説明において「〜部」として説明しているものは、「〜回路」、「〜装置」、「〜機器」、であってもよく、また、「〜ステップ」、「〜手順」、「〜処理」であってもよい。すなわち、「〜部」として説明しているものは、ＲＯＭ９１３に記憶されたファームウェアで実現されていても構わない。或いは、ソフトウェアのみ、或いは、素子・デバイス・基板・配線などのハードウェアのみ、或いは、ソフトウェアとハードウェアとの組み合わせ、さらには、ファームウェアとの組み合わせで実施されても構わない。ファームウェアとソフトウェアは、プログラムとして、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ等の記録媒体に記憶される。プログラムはＣＰＵ９１１により読み出され、ＣＰＵ９１１により実行される。すなわち、プログラムは、実施の形態１〜７の「〜部」としてコンピュータを機能させるものである。あるいは、実施の形態１〜７の「〜部」の手順や方法をコンピュータに実行させるものである。

このように、実施の形態１〜７に示す常用系計算機１０及び待機系計算機２０は、処理装置たるＣＰＵ、記憶装置たるメモリ、磁気ディスク等、入力装置たるキーボード、マウス、通信ボード等、出力装置たる表示装置、通信ボード等を備えるコンピュータであり、上記したように「〜部」として示された機能をこれら処理装置、記憶装置、入力装置、出力装置を用いて実現するものである。

実施の形態１に係るパイプライン処理装置の構成例を示す図。 実施の形態１に係る常用系計算機の構成例を示す図。 実施の形態１に係る待機系計算機の構成例を示す図。 実施の形態１に係る常用系計算機の動作例を示すフローチャート図。 実施の形態１に係る待機系計算機の動作例を示すフローチャート図。 実施の形態１に係る常用系計算機及び待機系計算機の動作例を示す図。 実施の形態１に係る常用系計算機及び待機系計算機のハードウェア構成例を示す図。 従来のパイプライン処理装置の構成例を示す図。 従来の常用系計算機の動作例を示すフローチャート図。 従来の待機系計算機の動作例を示すフローチャート図。 従来の常用系計算機及び待機系計算機の動作例を示す図。 従来の常用系計算機及び待機系計算機の動作例を示す図。 従来の常用系計算機の動作例を示すフローチャート図。 従来の待機系計算機の動作例を示すフローチャート図。 従来の常用系計算機及び待機系計算機の動作例を示す図。

符号の説明

１０ 常用系計算機、２０ 待機系計算機、１００ ネットワーク、１０１ 通信部、１０２ メッセージキュー、１０３ 一貫性維持機能付き共有メモリ装置、１０４ 制御部、１０５ 動作モード確認部、１０６ 動作モード切替部、１０７ データ処理完了判断部、１０８ データ処理部、１０９ データ処理完了通知部、１１０ メッセージ生成部、１１１ 破棄指示部、２００ 外部機器、２０１ 通信部、２０２ メッセージキュー、２０３ 一貫性維持機能付き共有メモリ装置、２０４ 制御部、２０５ 動作モード確認部、２０６ 動作モード切替部、２０７ データ処理完了判断部、２０８ データ処理部、２０９ データ処理完了通知部、２１０ メッセージ生成部、２１１ 障害検知部。

Claims (19)

1. 複数の計算機が各々に割り当てられているデータ処理を行う分散データ処理システムに用いられる計算機であって、
   自計算機に割り当てられている自計算機データ処理の開始を指示するデータ処理開始指示を取得するデータ処理開始指示取得部と、
   前記データ処理開始指示取得部によりデータ処理開始指示が取得された際に、自計算機データ処理の前の処理となる先行データ処理が他の計算機で完了しているか否かを判断するデータ処理完了判断部と、
   前記データ処理完了判断部により先行データ処理が完了していると判断された場合に自計算機データ処理を行い、前記データ処理完了判断部により先行データ処理が完了していないと判断された場合に自計算機データ処理を保留するデータ処理部と、
   前記データ処理部により自計算機データ処理が完了した際に、自計算機データ処理が完了したことを他の計算機に通知するデータ処理完了通知部とを有することを特徴とする計算機。
2. 前記計算機は、更に、
   前記複数の計算機間で情報を共有するための分散共有メモリ装置を有し、
   前記データ処理完了判断部は、
   前記分散共有メモリ装置の情報を参照して、先行データ処理が他の計算機で完了しているか否かを判断し、
   前記データ処理完了通知部は、
   前記分散共有メモリ装置に自計算機データ処理が完了したことを書き込むことで、他の計算機に自計算機データ処理が完了したことを通知することを特徴とする請求項１に記載の計算機。
3. 前記データ処理開始指示取得部は、
   前記分散共有メモリ装置から、前記分散共有メモリ装置に書き込まれたデータ処理開始指示を取得することを特徴とする請求項２に記載の計算機。
4. 前記計算機は、
   通常時にデータ処理を行う常用系計算機と、常用系計算機の障害時に常用系計算機に代わって常用系計算機に割り当てられているデータ処理を行う待機系計算機とが対となり、対となる常用系計算機及び待機系計算機が共通のデータ処理開始指示を取得する分散データ処理システムにおける常用系計算機であり、
   前記計算機は、更に、
   前記データ処理完了通知部により自計算機のデータ処理が完了したことが通知された後に、対となる対応待機系計算機に対して、前記対応待機系計算機が取得したデータ処理開始指示を破棄するよう指示する破棄指示部を有することを特徴とする請求項１〜３のいずれかに記載の計算機。
5. 前記データ処理完了判断部は、
   前記データ処理部により自計算機データ処理が保留された後に、先行データ処理が他の常用系計算機及び前記他の常用系計算機と対になる待機系計算機のいずれかで完了しているか否かを判断し、
   前記データ処理部は、
   前記データ処理完了判断部により先行データ処理が前記他の常用系計算機で完了していると判断された場合に自計算機データ処理を行い、前記データ処理完了判断部により先行データ処理が前記他の常用系計算機と対になる待機系計算機で完了していると判断された場合に自計算機データ処理を行わずに前記データ処理開始指示取得部により取得されたデータ処理開始指示を破棄することを特徴とする請求項４に記載の計算機。
6. 各々に割り当てられているデータ処理を行う複数の常用系計算機と、対となる常用系計算機の障害時に常用系計算機に代わって常用系計算機に割り当てられているデータ処理を行う複数の待機系計算機とが含まれる分散データ処理システムにおいて待機系計算機として動作する計算機であって、
   対となる対応常用系計算機における障害を検知する障害検知部と、
   前記障害検知部により前記対応常用系計算機における障害が検知された際に、前記対応常用系計算機において前記対応常用系計算機に割り当てられている対応常用系データ処理が完了しているか否かを判断するデータ処理完了判断部と、
   前記データ処理完了判断部により前記対応常用系計算機において対応常用系データ処理が完了していないと判断された場合に対応常用系データ処理を行うデータ処理部と、
   前記データ処理部により対応常用系データ処理が完了した際に、対応常用系データ処理が完了したことを他の計算機に通知するデータ処理完了通知部とを有することを特徴とする計算機。
7. 前記計算機は、更に、
   前記複数の常用系計算機及び待機系計算機間で情報を共有するための分散共有メモリ装置を有し、
   前記データ処理完了判断部は、
   前記分散共有メモリ装置の情報を参照して、前記対応常用系計算機において対応常用系データ処理が完了しているか否かを判断し、
   前記データ処理完了通知部は、
   前記分散共有メモリ装置に対応常用系データ処理が完了したことを書き込むことで、他の計算機に対応常用系データ処理が完了したことを通知することを特徴とする請求項６に記載の計算機。
8. 各々に割り当てられているデータ処理を行う複数の常用系計算機と、対となる常用系計算機の障害時に常用系計算機に代わって常用系計算機に割り当てられているデータ処理を行う一つ以上の待機系計算機とが含まれる分散データ処理システムであって、
   各常用系計算機は、
   自計算機に割り当てられている自計算機データ処理の開始を指示するデータ処理開始指示を取得し、
   データ処理開始指示を取得した際に、自計算機データ処理の前の処理となる先行データ処理が他の計算機で完了しているか否かを判断し、
   先行データ処理が完了していると判断した場合に自計算機データ処理を行い、先行データ処理が完了していないと判断した場合に自計算機データ処理を保留し、
   自計算機データ処理が完了した際に、自計算機データ処理が完了したことを他の計算機に通知し、
   自計算機のデータ処理が完了したことを通知した後に、対となる対応待機系計算機に対して、前記対応待機系計算機が取得したデータ処理開始指示を破棄するよう指示し、
   各待機系計算機は、
   対となる対応常用系計算機に対するデータ処理開始指示を取得し、
   前記対応常用系計算機における障害を検知しない場合は、前記対応常用系計算機からの破棄指示に基づき、前記対応常用系計算機に対するデータ処理開始指示を破棄し、
   前記対応常用系計算機における障害を検知した場合に、前記対応常用系計算機において前記対応常用系計算機に割り当てられている対応常用系データ処理が完了しているか否かを判断し、
   前記対応常用系計算機において対応常用系データ処理が完了していないと判断した場合に対応常用系データ処理を行い、
   対応常用系データ処理が完了した際に、対応常用系データ処理が完了したことを他の計算機に通知することを特徴とする分散データ処理システム。
9. 各計算機は、
   複数の計算機間で情報を共有するための分散共有メモリ装置を有し、
   各常用系計算機は、
   前記分散共有メモリ装置の情報を参照して、先行データ処理が他の計算機で完了しているか否かを判断し、
   前記分散共有メモリ装置に自計算機データ処理が完了したことを書き込むことで、他の計算機に自計算機データ処理が完了したことを通知し、
   各待機系計算機は、
   前記分散共有メモリ装置の情報を参照して、前記対応常用系計算機において対応常用系データ処理が完了しているか否かを判断し、
   前記分散共有メモリ装置に対応常用系データ処理が完了したことを書き込むことで、他の計算機に対応常用系データ処理が完了したことを通知することを特徴とする請求項８に記載の分散データ処理システム。
10. 前記分散データ処理システムは、
    一つの常用系計算機に対して二以上の待機系計算機が対となることを特徴とする請求項８又は９に記載の分散データ処理システム。
11. 前記分散データ処理システムは、
    二以上の常用系計算機に対して一つの待機系計算機が対となることを特徴とする請求項８又は９に記載の分散データ処理システム。
12. 前記分散データ処理システムは、
    二以上の常用系計算機に対して二以上の待機系計算機が対となることを特徴とする請求項８又は９に記載の分散データ処理システム。
13. 前記分散データ処理システムは、
    各計算機を接続するネットワークが多重化されていることを特徴とする請求項８〜１２のいずれかに記載の分散データ処理システム。
14. 前記分散データ処理システムは、
    二以上の常用系計算機及び前記二以上の常用系計算機と対になる待機系計算機を計算機グループとし、
    計算機グループごとに、計算機グループに含まれる複数の計算機間で情報を共有するための分散共有メモリ装置が配置されていることを特徴とする請求項９に記載の分散データ処理システム。
15. 各計算機は、
    前記分散共有メモリ装置から、前記分散共有メモリ装置に書き込まれたデータ処理開始指示を取得することを特徴とする請求項９に記載の分散データ処理システム。
16. 複数の計算機が各々に割り当てられているデータ処理を行う分散データ処理システムに用いられる計算機のデータ処理方法であって、
    前記計算機が、自計算機に割り当てられている自計算機データ処理の開始を指示するデータ処理開始指示を取得するデータ処理開始指示取得ステップと、
    前記データ処理開始指示取得ステップによりデータ処理開始指示が取得された際に、前記計算機が、自計算機データ処理の前の処理となる先行データ処理が他の計算機で完了しているか否かを判断するデータ処理完了判断ステップと、
    前記データ処理完了判断ステップにより先行データ処理が完了していると判断された場合に、前記計算機が、自計算機データ処理を行い、前記データ処理完了判断ステップにより先行データ処理が完了していないと判断された場合に、前記計算機が、自計算機データ処理を保留するデータ処理ステップと、
    前記データ処理ステップにより自計算機データ処理が完了した際に、前記計算機が、自計算機データ処理が完了したことを他の計算機に通知するデータ処理完了通知ステップとを有することを特徴とするデータ処理方法。
17. 各々に割り当てられているデータ処理を行う複数の常用系計算機と、対となる常用系計算機の障害時に常用系計算機に代わって常用系計算機に割り当てられているデータ処理を行う複数の待機系計算機とが含まれる分散データ処理システムにおいて待機系計算機として動作する計算機のデータ処理方法であって、
    前記計算機が、対となる対応常用系計算機における障害を検知する障害検知ステップと、
    前記障害検知ステップにより前記対応常用系計算機における障害が検知された際に、前記計算機が、前記対応常用系計算機において前記対応常用系計算機に割り当てられている対応常用系データ処理が完了しているか否かを判断するデータ処理完了判断ステップと、
    前記データ処理完了判断ステップにより前記対応常用系計算機において対応常用系データ処理が完了していないと判断された場合に、前記計算機が、対応常用系データ処理を行うデータ処理ステップと、
    前記データ処理ステップにより対応常用系データ処理が完了した際に、前記計算機が、対応常用系データ処理が完了したことを他の計算機に通知するデータ処理完了通知ステップとを有することを特徴とするデータ処理方法。
18. 複数の計算機が各々に割り当てられているデータ処理を行う分散データ処理システムに用いられる計算機に、
    自計算機に割り当てられている自計算機データ処理の開始を指示するデータ処理開始指示を取得するデータ処理開始指示取得手順と、
    前記データ処理開始指示取得手順によりデータ処理開始指示が取得された際に、自計算機データ処理の前の処理となる先行データ処理が他の計算機で完了しているか否かを判断するデータ処理完了判断手順と、
    前記データ処理完了判断手順により先行データ処理が完了していると判断された場合に自計算機データ処理を行い、前記データ処理完了判断手順により先行データ処理が完了していないと判断された場合に自計算機データ処理を保留するデータ処理手順と、
    前記データ処理手順により自計算機データ処理が完了した際に、自計算機データ処理が完了したことを他の計算機に通知するデータ処理完了通知手順とを実行させることを特徴とするプログラム。
19. 各々に割り当てられているデータ処理を行う複数の常用系計算機と、対となる常用系計算機の障害時に常用系計算機に代わって常用系計算機に割り当てられているデータ処理を行う複数の待機系計算機とが含まれる分散データ処理システムにおいて待機系計算機として動作する計算機に、
    対となる対応常用系計算機における障害を検知する障害検知手順と、
    前記障害検知手順により前記対応常用系計算機における障害が検知された際に、前記対応常用系計算機において前記対応常用系計算機に割り当てられている対応常用系データ処理が完了しているか否かを判断するデータ処理完了判断手順と、
    前記データ処理完了判断手順により前記対応常用系計算機において対応常用系データ処理が完了していないと判断された場合に対応常用系データ処理を行うデータ処理手順と、
    前記データ処理手順により対応常用系データ処理が完了した際に、対応常用系データ処理が完了したことを他の計算機に通知するデータ処理完了通知手順とを実行させることを特徴とするプログラム。

Images