JP2009217504A - 計算機システム、計算機制御方法及び計算機制御プログラム - Google Patents

Abstract

【課題】ノードのハードウェア障害やネットワーク障害等によってデータが破壊された場合でも、出力するデータの信頼性及び健全性を保障する。
【解決手段】本システムは、同じ処理を同時に実行する複数のＣＰＵノード１１〜１４と、ＣＰＵノード１１〜１４からの演算結果を照合する複数の照合ノード２１〜２８とを備える。複数のＣＰＵノード１１〜１４と複数の照合ノード２１〜２８とは多重化ネットワーク１に接続され、複数の照合ノード２１〜２８は外部ネットワーク２に接続される。さらに本システムでは、各ＣＰＵノード１１〜１４及び各照合ノード２１〜２８は、自ノードの稼動状態を生存状態情報として定期的に多重化ネットワーク１を介して送信すると共に、他ノードの生存状態情報を多重化ネットワーク１を介して受信する。
【選択図】図１

Description

本発明は、例えばフォールトトレラントシステム（Fault tolerant system）における高信頼性制御を実行する計算機システム、計算機制御方法及び計算機制御プログラムに関するものである。

従来から、その構成部品の一部が故障しても正常に処理を続行するシステム計算機であるフォールトトレラントシステムが知られている。例えば、本出願人は分散配置に適したフォ−ルトトレラントシステムの構成を提案している（特許文献１参照）。

このフォ−ルトトレラントシステムは、複数のプロセッシングノードと、出力選択ノ−ドと、これらを接続するネットワ−クより構成される。出力選択ノ−ドは、各プロセッシングノードにおけるデータ処理の結果のうち最も信頼度の高いデータを選択して出力信号として与える。

各プロセッシングノードは、自己診断機能によって検出した障害の発生状況を表す障害発生情報をデータと共に出力選択ノ−ドに送っている。出力選択ノードの判定機能は、各プロセッシングノードからのデータ相互間の一致／不一致と、各プロセッシングノードからの障害発生情報に基づき、最も信頼度の高いデータを判定し、これを選択機能に出力させる。

このような各プロセッシングノードのサブシステムを多重化したフォールトトレラントシステムでは、サブシステムを多重化することで１つのサブシステムで障害があってもサービスが中断されない。

また、クライアント・サーバモデルで動作するシステムにおいて、サーバ計算機に障害が発生した場合でも、クライアントプロセスの処理が停止することなく正常に動作を続けるフォ−ルトトレラントシステムも提案されている（特許文献２参照）。

このフォ−ルトトレラントシステムでは、クライアント計算機からの処理要求を複数のサーバ計算機へ送信し、サーバ計算機は処理結果をクライアント計算機に返送している。クライアント計算機の処理結果比較手段は、得られた処理結果を多数決回路により検査して正しい処理結果を出力する。

このシステムにおいては、複数のサーバ計算機が同じ処理を行い、出力結果をクライアント計算機が比較することで、出力結果の高信頼化を実現させ、１つのサーバに障害が発生した場合でも、出力結果が得られる。
特開平８−３１４７４４号公報 特開平７−３０６７９４号公報

しかしながら、上述した特許文献１に記載の技術のように、各プロセッシングノードによる比較による判断で最も信頼性があるデータと判断されてしまえば、出力結果が間違っていたとしても、正しい結果として出力してしまう。

また、上述した特許文献２に記載の技術のように、クライアント・サーバモデルで動作するシステムでは、ネットワーク障害が発生した場合は、出力結果を得られない。
従って、上述した特許文献１、２に記載の技術では、一連のノード処理だけでは高信頼性データを得ることができず、ネットワーク障害にも対応できないというような課題が発生する。

そこで、本発明は、ノードのハードウェア障害やネットワーク障害等によってデータが破壊された場合でも、出力するデータの信頼性及び健全性を保障する計算機システム、計算機制御方法及び計算機制御プログラムを提供することを目的とするものである。

上記目的を達成するために、本発明の計算機システムは、実質的に同じ処理を同時に実行する複数の演算ノードと、演算ノードからの演算結果を照合する複数の照合ノードと、複数の演算ノードと複数の照合ノードとが接続された多重化ネットワークと、複数の照合ノードが接続された外部ネットワークとを備えている。

さらに、本発明の計算機システムでは、各演算ノード及び前記各照合ノードは、自ノードの稼動状態を生存状態情報として定期的に多重化ネットワークを介して送信すると共に、他ノードの生存状態情報を多重化ネットワークを介して受信する情報収集部を有することを特徴とする。

また、本発明の計算機システムでは、各照合ノードは、自ノードの生存状態情報及び他ノードから出力される生存状態情報に基づいて自ノード及び他ノードの稼動状態を判断する生存判断部を有することを特徴とする。

また、本発明の計算機制御方法は、実質的に同じ処理を同時に実行する複数の演算ノードと、演算ノードからの演算結果を照合する複数の照合ノードとが多重化ネットワークを介して通信を行い、複数の照合ノードが外部ネットワークに照合結果を出力する。

ここで、本発明の計算機制御方法は、各演算ノード及び各照合ノードにおいて、自ノードの稼動状態を生存状態情報として定期的に多重化ネットワークを介して送信すると共に、他ノードの生存状態情報を前記多重化ネットワークを介して受信する情報収集ステップを含むことを特徴とする。

また、本発明の計算機制御方法は、各照合ノードにおいて、自ノードの生存状態情報及び他ノードから出力される生存状態情報に基づいて自ノード及び他ノードの稼動状態を判断する生存判断ステップを含むことを特徴とする。

また、本発明の計算機制御プログラムは、実質的に同じ処理を同時に実行する複数の演算ノードと、演算ノードからの演算結果を照合する複数の照合ノードとが多重化ネットワークを介して通信を行い、複数の照合ノードが外部ネットワークに照合結果を出力するために、コンピュータを、複数の演算ノード及び複数の照合ノードとして機能させるものである。

ここで、本発明の計算機制御プログラムは、各演算ノード及び各照合ノードにおいて、自ノードの稼動状態を生存状態情報として定期的に多重化ネットワークを介して送信すると共に、他ノードの生存状態情報を多重化ネットワークを介して受信する情報収集機能をコンピュータで実現することを特徴とする。

また、本発明の計算機制御プログラムは、各照合ノードにおいて、自ノードの生存状態情報及び他ノードから出力される生存状態情報に基づいて自ノード及び他ノードの稼動状態を判断する生存判断機能を、コンピュータで実現することを特徴とする。
また、本発明の計算機システムは、複数の照合ノードのうちの任意の照合ノードと他の照合ノードの対を照合ノードペアとし、照合ノードペアを複数組生成し、複数組の照合ノードペアのうちの１つを主系照合ノードペアとし、他の照合ノードペアを従系照合ノードペアとすることを特徴とする。

本発明によれば、フォールトトレラントシステムにおいて、システム全体で出力するデータの信頼性を向上させることができる。また、ハードウェア及びネットワーク障害等が原因で誤ったデータを出力することを未然に防ぐとともに、システム全体の動作の健全性を保障することができるという効果を奏する。

以下、本発明の一実施の形態を、図１〜１２を参照して説明する。
図１は、本実施の形態例のシステム構成例を示している。
図１において、本実施の形態例の計算機システム１０は、演算処理を行なうＣＰＵ（Central Processing Unit）ノード１１〜１４と、演算処理の結果を照合する照合ノード２１〜２８を備えている。

２ｎ（ｎは２以上の自然数）台からなる複数のＣＰＵノード１１〜１４は、それぞれ多重化ネットワーク１に接続し、２ｍ（ｍは２以上の自然数）台からなる複数の照合ノード２１〜２８は、それぞれ多重化ネットワーク１と外部ネットワーク２に接続している。

各ＣＰＵノード１１〜１４及び各照合ノード２１〜２８は、それぞれ“ＣＰＵ１”〜“ＣＰＵ２ｎ”、“照合１”〜“照合２ｍ”のシステム全体でユニークとなるノード番号が割り振られている。ただし、同じノード番号は存在しないものとする。

なお、多重化ネットワーク１は、二重化以上の多重化ネットワークであり、外部ネットワーク２は、二重化以上の多重化ネットワークでも可能とする。また、この２つのネットワークはネットワークに限定しない。すなわち、バス状でもスター状でもよい。

図１は、多重化ネットワーク１をＬＡＮ（Local Area Network）１系３、ＬＡＮ２系４で構成された二重化ネットワークとし、外部ネットワーク２を単一のネットワークとする構成例である。なお、図１に示すＬＡＮの代わりに、イーサネット（登録商標）（Ethernet（登録商標））で構成することもできる。

各照合ノード２１〜２８は２台のノードで１つのペアを組むように構成されており、図１においては、ｍ組の照合ノードペア３１〜３４がとして構成されている。照合ノードペア３１〜３４のうち、１組のペアが主系ペア３１となった場合、他の（ｍ−１）組の照合ノードペアは従系ペア３２〜３４となる。このように、照合ノードペア間において、主従関係を持つように構成される。

主系ペア３１には、“主系”のペア番号４０が割り振られており、各従系ペア３２〜３４はそれぞれ“従系１”〜“従系（ｍ−１）”のペア番号４１〜４３が割り振られている。すなわち、図１では、主系ペア４０、従系ペア４１〜４３となる。システム全体において同じペア番号は存在しないものとする。

ここで、ＣＰＵノード１１〜１４には、図示しないドメインネームサーバにより、それぞれ多重化ネットワーク１に対して、ＬＡＮ１系３においてＩＰ（Internet Protocol）アドレスＡ１、Ｂ１、Ｃ１、Ｄ１が割り当てられ、ＬＡＮ２系４においてＩＰアドレスＡ２、Ｂ２、Ｃ２、Ｄ２が割り当てられている。

また、各照合ノード２１〜２８には、図示しないドメインネームサーバにより、それぞれ多重化ネットワーク１に対して、ＬＡＮ１系３においてＩＰアドレスａ１、ｂ１、ｃ１、ｄ１、ｅ１、ｆ１、ｇ１、ｈ１が割り当てられ、ＬＡＮ２系４においてはＩＰアドレス ａ２、ｂ２、ｃ２、ｄ２、ｅ２、ｆ２、ｇ２、ｈ２が割り当てられている。

図２は、ＣＰＵノード及び照合ノードのハードウェア構成例を示す図である。図２は、図１に示した各ＣＰＵノード１１〜１４及び各照合ノード２１〜２８のハードウェア構成例を示している。

図２において、各ノードは、読み込み又は書き込み可能な記憶媒体５１、ＣＰＵ５４、入力装置５２、出力装置５３及び通信Ｉ／Ｆ（interface）５５を実装している。記憶媒体５１、ＣＰＵ５４、入力装置５２、出力装置５３及び通信Ｉ／Ｆ５５は、内部バス５６で接続されている。記憶媒体５１には、計算機制御プログラムが格納されている。

図３は、ＣＰＵノード及び照合ノードにおける機能を実行する手段を表すブロック図であり、図３ＡはＣＰＵノード、図３Ｂは照合ノードである。
図３は、ＣＰＵノード及び照合ノードのコンピュータに計算機制御プログラムを実行させたときに、機能を実行する手段を示している。

図３Ａにおいて、各ＣＰＵノード１１〜１４は、生存状態情報通知手段１０１を有する。生存状態情報通知手段１０１は、多重化ネットワーク１において定期的にＬＡＮ１系３及びＬＡＮ２系４に対して、自ノードの（稼動／停止）状態と他のＣＰＵノードの（稼動／停止）状態を後述する生存状態情報４００としてブロードキャストで通知する機能を実現するプログラムである。

また、各ＣＰＵノード１１〜１４は、ＣＰＵノード状態監視手段１０２を有している。ＣＰＵノード状態監視手段１０２は、他のＣＰＵノードから定期的に通知された生存状態情報４００を記憶媒体５１上の後述するノード状態管理テーブル５００に書き込み、他のＣＰＵノードの状態を監視する機能を実現するプログラムである。

また、各ＣＰＵノード１１〜１４は、他のＣＰＵノードの状態を監視することにより状態の変化を検知するＣＰＵノード状態検知手段１０３を有する。
なお、各ＣＰＵノード１１〜１４は、演算処理を行なう演算手段１０５と、演算処理の結果を出力する演算結果データ出力手段１０６とを有している。

同様にして、図３Ｂにおいて、各照合ノード２１〜２８は、生存状態情報通知／要求手段２０１を有する。生存状態情報通知／要求手段２０１は、多重化ネットワーク１において定期的にＬＡＮ１系３及びＬＡＮ２系４に対して、自ノードの（稼動／停止）状態と他の照合ノードの（稼動／停止）状態を生存状態情報４００としてブロードキャストで通知する機能を実現するプログラムである。生存状態情報通知／要求手段２０１は、他の照合ノードの生存状態情報を要求することもできる。

また、各照合ノード２１〜２８は、他の照合ノードから定期的に通知された生存状態情報４００を記憶媒体５１上のノード状態管理テーブル５００に書き込み、他の照合ノードの状態を監視する照合ノード状態監視手段２０２を有する。

また、各照合ノード２１〜２８は、各ＣＰＵノード１１〜１４から出力される演算結果データを収集するデータ収集手段２０３と、各照合ノードペア３１〜３４の多数決による最も信頼性のある選出データを出力するデータ選出手段２０４とを有する。

また、各照合ノード２１〜２８は、各照合ノードペア３１〜３４間のデータを比較して照合するペア間データ比較照合手段２０５と、照合結果データを出力する照合結果データ出力手段２０６とを有する。

また、各照合ノード２１〜２８は、各照合ノードペア３１〜３４間のペア状態を監視するペア状態監視手段２０７と、主系ペア４０と従系ペア４１〜４３との主従関係を管理する構成管理手段２０８とを有する。
また、各照合ノード２１〜２８は、自ノードの機能を縮退させる縮退手段２０９と、他ノードの機能を縮退させる要求をする縮退要求手段２１０とを有する。

図４は、ＣＰＵノード１１及び照合ノード２２において、それぞれＬＡＮ１系３に対してブロードキャストで通知する生存状態情報４００を示す図であり、図４ＡはＣＰＵノード１１、図４Ｂは照合ノード２１である。
図４Ａにおいて、自ノード番号４０１は、この生存状態情報４００を送信しているＣＰＵノード１１のノード番号ＣＰＵ１を表す。

他ノード番号４０２は、この生存状態情報４００を送信しているＣＰＵノード１１が状態を確認している他ノードのノード番号ＣＰＵ２〜ＣＰＵ２ｎを表す。
ＩＰアドレス４０３は、自ノード及び他ノードのＩＰアドレスを表す。例えばＣＰＵノード１１において、自ＣＰＵノードのＩＰアドレスＡ１と他ＣＰＵノード１２〜１４のそれぞれのＩＰアドレスＢ１、Ｃ１、Ｄ１を表している。

状態４０４は、自ノード及び他ノードの現在の状態（稼動／停止など）を表す。例えばＣＰＵノード１１において、ノード番号ＣＰＵ３のＣＰＵノード１３が停止、かつそれ以外のＣＰＵノード１１，１２，１４が稼動中の場合を表している。ＣＰＵノード１３の状態４０４は”停止”状態であり、それ以外のＣＰＵノードの状態４０４は”稼動”状態である。

この生存状態情報４００を生成して通知するため、各ＣＰＵノード１１〜１４は、図３Ａに示したＣＰＵノード状態検知手段１０３と生存状態情報通知手段１０１とを有している。ＣＰＵノード状態検知手段１０３は、ＣＰＵノード状態監視手段１０２の状態を監視とは別に他のＣＰＵノードの状態変化を即座に検知する。

次に、他のＣＰＵノードの状態が稼動から停止に変化した場合には、生存状態情報通知手段１０１は、状態が変化したＣＰＵノードを停止と判断し、各照合ノードに対して生存状態情報４００をブロードキャストで通知する。生存状態情報通知手段１０１は、ＣＰＵノード状態監視手段１０２及びＣＰＵノード状態検知手段１０３によって、ＣＰＵノードを停止と判断する。

各照合ノード２１〜２８は、生存状態情報通知手段１０１によって、ＣＰＵノードより通知された生存状態情報４００を自ノードの記憶媒体５１に書き込み、すべてのＣＰＵノード１１〜１４の状態を認知する。

図５は、照合ノード２２が、ＬＡＮ１系３において、図４の生存状態情報４００を受信した際に、自ノードの記憶媒体５１に書き込まれたノード状態管理テーブル５００である。
図５に示すノード管理テーブル３００おいて、ノード番号５０１は、その生存状態情報４００を送信したＣＰＵノード又は照合ノード（自ノードを含む）のノード番号ＣＰＵ１〜ＣＰＵ２ｎ、照合１〜照合２ｍを表している。

また、ＩＰアドレス５０２は、多重化ネットワーク１に接続されている照合ノード２２が、生存状態情報４００を受信したノード（自ノードを含む）のＩＰアドレスを表している。図５においては、例えば、ＬＡＮ１系３のネットワークに接続されている照合ノード２２が、生存状態情報４００を受信したノードのＩＰアドレスＡ１、Ｂ１、Ｃ１、・・・Ｄ１、ａ１、ｂ１、ｃ１、・・・ｈ１を表している。

状態５０３は、現在認識できている他ノードの稼動／停止などの状態（自ノードを含む）を表している。例えば、図５において、ノード番号ＣＰＵ３のＣＰＵノードが停止の場合、前記ＣＰＵノードの状態５０３は”停止”状態であり、それ以外のノードの状態５０３は”稼動”状態である。

このノード状態管理テーブル５００を生成するため、各ＣＰＵノード１１〜１４は、図３Ａに示した演算手段１０５と演算結果データ出力手段１０６とを有している。演算手段１０５は、他のＣＰＵノードと同期をとり、同じ処理を同時に行う。演算結果データ出力手段１０６は、演算した結果（以下演算結果データ）を同時に多重化ネットワーク１に対して出力する。

また、各照合ノード２１〜２８は、図３Ｂに示したデータ収集手段２０３とデータ選出手段２０４とを有している。データ収集手段２０３は、すべてのＣＰＵノード１１〜１４から前記演算結果データを収集する。データ選出手段２０４は、収集した演算結果データに対して、最も信頼性のある演算結果データを選出する。

また、各照合ノード２１〜２８は、図３Ｂに示したペア間データ比較照合手段２０５と照合結果データ出力手段２０６とを有している。ペア間データ比較照合手段２０５は、データ選出手段２０４で選出したデータ（以下選出データ）をペアとなる照合ノードと互いに比較照合を行う。また、照合結果データ出力手段２０６は、ペア間データ比較照合手段２０５で比較照合した結果（以下照合結果データ）を外部ネットワーク２へ出力する。

また、各照合ノード２１〜２８は、図３Ｂに示したペア状態監視手段２０７と構成管理手段２０８とを有している。ペア状態監視手段２０７は、自ノードが主系／従系のどちらのペアに属しているか、また、自ノードが従系ペアの場合に何番目の従系ペアかを認識する。

例えば、図１において、照合ノードペア３２内の照合ノード２３は、自ノードが従系１ペア４１に属していることと、ペアとなる照合ノード２４のノード番号“照合４”より自ノード番号“照合３”が小さいことを認識している。また、現在従系となっている照合ノードペア３２〜３４の従系１ペア４１〜従系（ｍ−１）ペア４３内においてペア番号“従系１”が最も小さいことを認識している。
また、構成管理手段２０８は、主系ペア４０と従系１ペア４１〜従系（ｍ−１）ペア４３とを要求時に切り替える。

図６は、照合ノード２１〜２８において、演算結果データを収集してから照合結果データを出力するまでのデータ比較照合処理・出力処理（ステップＳ６００）のアルゴリズムを示すフローチャートである。図６は、照合ノード２１〜２８が有する機能を、コンピュータで実現するための計算機制御プログラムの手順を示したフローチャートである。

図６において、照合ノード２１〜２８は、各ＣＰＵノード１１〜１４からの演算結果データを収集する（ステップＳ６０１）。照合ノード２１〜２８は、図５に示したノード状態管理テーブル５００よりすべてのＣＰＵノード１１〜１４の状態を認識できており、収集する演算結果データがそろい次第、次の選出処理（ステップＳ６０２）に移行する。

例えば、図５においてノード番号５０１の“ＣＰＵ３”の状態５０３が“停止”状態となっているので、ノード番号５０１の“ＣＰＵ３”以外のＣＰＵノードより演算結果データを収集し終えた時点で、次の選出処理（ステップＳ６０２）に移行する。

次に、照合ノード２１〜２８は、ステップＳ６０１で収集した演算結果データをそれぞれ比較し、最も信頼性があるデータを選出する（ステップＳ６０２）。このデータ選出方法としては例えば多数決が挙げられる。

そして、照合ノード２１〜２８は、ステップＳ６０２で選出したデータをペアとなる照合ノードの選出データと比較して照合することにより、選出データの内容が一致しているか否かを判断する（ステップＳ６０３）。

判断ステップＳ６０３で選出データの内容一致した場合、照合ノード２１〜２８は、自ノードが主系ペアに含まれ、かつペアとなるノード番号が照合ノードより小さいか否かを判断する（ステップＳ６０５）。

判断ステップＳ６０５で自ノードが主系ペアに含まれ、かつペアとなるノード番号が照合ノードより小さいとき、照合ノード２１〜２８は、照合結果データを多重化ネットワーク１及び外部ネットワーク２に対して出力する（ステップＳ６０４）。

この場合、図３Ｂに示したペア状態監視手段２０７より、照合ノード２１〜２８は自ノードが主系又は従系のどちらのペアに属しているかを認識し、主系ペアの場合のみ照合結果データを多重化ネットワーク１及び外部ネットワーク２に対し出力する。また、この照合結果データを出力する照合ノード２１〜２８は、ペア内において、ノード番号の小さい方の照合ノードである。

判断ステップＳ６０３で選出データの内容が不一致の場合、照合ノード２１〜２８は、そのデータは出力対象外とし、選出データを削除した後、構成制御要求処理（ステップＳ７００）へ移行する。

また、判断ステップＳ６０５において、自ノードが従系ペアに属しているか、又は、ペアとなる照合ノードよりノード番号が大きい場合には（ステップＳ６０５のＮＯ）、照合ノード２１〜２８は、その照合結果データを出力対象外であるとして保持する（ステップＳ６０６）。

図７は、図６に示した構成制御要求処理（ステップＳ７００）についてのアルゴリズムを示すフローチャートである。図７のフローチャートは、コンピュータに、照合ノード２１〜２８が有する上述機能を実現させるための計算機制御プログラムの手順を示すものである。

図７において、照合ノード２１〜２８は、自ノードのノード番号とペアとなる照合ノードとのノード番号を比較して、ノード番号がペアとなる照合ノードより小さいか否かを判断する（ステップＳ７０１）。判断ステップＳ７０１において、自ノードのノード番号が大きい場合、ステップＳ７０３に移行する。

判断ステップＳ７０１において、自ノードのノード番号が小さい場合は、照合ノード２１〜２８は、他の照合ノードに対して構成制御要求を送信する（ステップＳ７０２）。
この場合、図３Ｂに示した構成管理手段２０８より、照合ノード２１〜２８は主系ペア４０と従系ペア４１〜４３との主従関係が管理されている。照合ノード２１〜２８はこの主系ペア４０と従系ペア４１〜４３のいずれかとの主従関係を入れ替える要求をする。

ステップＳ７０２の構成制御要求を送信後、照合ノード２１〜２８は、自ノードの機能を縮退する（ステップＳ７０３）。このステップＳ７０３では、図３Ｂに示した縮退手段２０９が自ノードの機能を縮退させるようにしている。

図８は、図７に示した構成制御要求処理（ステップＳ７００）を受信した照合ノード２１〜２８の構成制御受信処理（ステップＳ８００）についてのアルゴリズムを示すフローチャートである。図８のフローチャートは、コンピュータに、照合ノード２１〜２８が有する上述の機能を実現するための計算機制御プログラムの手順を示すものである。

図８において、照合ノード２１〜２８は、構成制御要求を受信する（ステップＳ８０１）。
ステップＳ８０１で構成制御要求を受信した後、照合ノード２１〜２８は、自ノードが従系ペアに含まれ、かつ、ペア番号がもっとも小さいか否かを判断する（ステップＳ８０２）。

判断ステップＳ８０２において、自ノードが従系ペアに属しており、かつ従系ペア内においてペア番号がもっとも小さいペアに属している場合、照合ノード２１〜２８は、自ノードのペア状態を主系に変更する（ステップＳ８０３）。

また、判断ステップＳ８０２において、自ノードが主系ペアに属している、又は、従系ペア内においてペア番号が最小ではないペアに属している場合、照合ノード２１〜２８は、構成制御受信処理（ステップＳ８００）を終了する。

ステップＳ８０３で自ノードのペア状態を主系に変更した後、照合ノード２１〜２８は、ノード番号がペアとなる照合ノードより小さいか否かを判断する（ステップＳ８０４）。
判断ステップＳ８０４において、自ノードのノード番号がペアとなる照合ノードのノード番号より小さい場合、照合ノード２１〜２８は、ステップＳ８０５に移行する。

判断ステップＳ８０４において、自ノードのノード番号がペアとなる照合ノードのノード番号より大きい場合、照合ノード２１〜２８は、構成制御受信処理（ステップＳ８００）を終了する。
そして、照合結果データを保持していた場合、照合ノード２１〜２８は、多重化ネットワーク１及び外部ネットワーク２へ保持している照合結果データを出力する（ステップＳ８０５）。

図６に示した照合結果データ出力処理（ステップＳ６０５）により、照合結果データは多重化ネットワーク１と外部ネットワーク２に出力されるので、他の照合ノードはペア状態を主系に変更した後（ステップＳ８０３）の照合結果データを受信することができる。

なお、他の照合ノードが受信する照合結果データには同じ通番が割り振られており、同じ通番の場合は内容も同じとなる。そこで、受信した照合結果データと保持している照合結果データとの通番の大小を比較することで、照合ノードは照合結果データがどの更新時点で出力されたかを認識することができる。以下に、更新済みの照合結果データを削除する処理を説明する。

図９は、照合ノード２１〜２８において、保持している照合結果データを削除する照合結果データ削除処理（ステップＳ９００）についてのアルゴリズムを示すフローチャートである。図９のフローチャートは、コンピュータに、照合ノード２１〜２８が有する上述機能を実現するための計算機制御プログラムの手順を示すものである。

図９において、照合ノード２１〜２８は、主系ペアから出力された照合結果データを受信する（ステップＳ９０１）。ステップＳ９０１で照合ノード２１〜２８が照合結果データを受信するネットワークは多重化ネットワーク１及び外部ネットワーク２である。

照合ノード２１〜２８は、受信した照合結果データと保持している照合結果データとの通番が同じか否かを判断する（ステップＳ９０２）。判断ステップＳ９０２において、受信した照合結果データと保持している照合結果データとの通番の比較の結果、両者が同じ場合、照合ノード２１〜２８は、保持していた照合結果データを削除する（ステップＳ９０３）。

また、ステップＳ９０２で通番が異なる場合は、照合ノード２１〜２８は、受信した照合結果データよりも保持している照合結果データの通番が大きいか否かを判断する（ステップＳ９０４）。判断ステップＳ９０４において、保持している照合結果データの通番が大きい場合、照合結果データ削除処理（ステップＳ９００）を終了する。

ここで、受信した照合結果データと保持している照合結果データとの通番の比較の結果、保持している照合結果データの通番が大きい場合に、照合ノード２１〜２８は、受信した照合結果データはまだ外部ネットワーク２に出力されていないと判断する。

また、照合ノード２１〜２８は、保持している照合結果データの通番が小さい場合は、受信した照合結果データはすでに外部ネットワーク２に出力済みと判断する。なお、出力される照合結果データは、この判断のため照合ノード２１〜２８に戻されている。

この場合、図３Ｂに示した照合ノード状態監視手段２０２は、他の照合ノードが自ノード以外のノード状態をどのように認識しているかを検知する。これは自ノードの記憶媒体５１上に記憶される照合ノード管理テーブル１０００により管理されている。例えば、照合ノード２１は、他の照合ノード２４が監視している各照合ノード２１〜２８の状態を認識している。

図１０は、照合ノード２１において記憶されるＬＡＮ１系２に対する照合ノード管理テーブル１０００を表す図である。
図１０において、ノード番号１００１は、自ノードを含む他の照合ノード番号照合１〜照合２ｍを表している。このノード番号１００１に対して、それぞれ他の照合ノード２２〜２８の状態を管理するテーブル１００２が設けられている。

このテーブル１００２では、他ノード番号１００３は、照合ノード２１が状態を把握している他の照合ノード番号照合１〜照合２ｍを表している。
また、ＩＰアドレス１００４は、照合ノード２１が状態を把握している他の照合ノードのＩＰアドレスａ１〜ｈ１を表している。

状態１００５は、照合ノード２１が把握している他の照合ノードの状態（稼動又は停止）を表す。例えば、図１０において、照合２ｍの前記テーブル１００２は自ノードを含めすべての照合ノードの状態１００５が“稼動”状態となっており、照合２ｍが認識している他の照合ノードの状態が稼動中であることがわかる。

この場合、図３Ｂに示した照合ノード状態監視手段２０２は、他の照合ノードの状態を監視しており、ある照合ノードにおいて異常を検知した場合、縮退要求手段２１０は、状態変化した照合ノード対して縮退要求を送信する。

照合ノード状態監視手段２０２による異常検知としては、例えば、ハードウェア障害による突然停止状態、定期的に送られてくる生存状態情報４００の途切れ又は障害イベント受信等がある。また、縮退手段２１１は、自ノードが異常と判断した場合に自ら縮退する。

図１１は、照合ノード２１〜２８において、縮退要求を送信する縮退要求処理（ステップＳ１１００）についてのアルゴリズムを示すフローチャートである。図１１のフローチャートは、コンピュータに、照合ノード２１〜２８の有する上述機能を実現させるための計算機制御プログラムの手順を示すものである。

図１１において、照合ノード２１〜２８は、他の照合ノードの異常を検知する（ステップＳ１１０１）。ステップＳ１１０１の異常検知としては、例えば、定期的に送信されてくる生存状態情報４００が途切れ、状態が稼動から停止に変化した場合などがある。

照合ノード２１〜２８は、ステップＳ１１０１で異常検知した他の照合ノードの状態が、異常を検知しなかった他の照合ノードの状態と同じか否かを判断する（ステップＳ１１０２）。すなわち、照合ノード２１〜２８は、ステップＳ１１０１の処理で異常を検知した照合ノードと、自ノード内で管理している、異常を検知しなかった他の照合ノードの情報と比較する。

図１０に示した照合ノード管理テーブル１０００において、照合ノード２１〜２８は、他の照合ノードが異常と検知した照合ノードの状態をそれぞれどのように認識しているかを比較し、最も信頼性がある状態を採用する。この採用方法としては例えば多数決が挙げられる。

ここで、各照合ノード２１〜２８において、生存状態情報通知／要求手段２０１は、照合ノード管理テーブル１０００の情報が最新ではないとき、各照合ノードに対して生存状態情報４００を要求する。

判断ステップＳ１１０２において、他の照合ノードが検知している状態と同じとき、照合ノード２１〜２８は、異常を検知した照合ノードに対して縮退要求を送信する（ステップＳ１１０３）。これは、他の照合ノードも同じように異常を検知しているため、異常を検知した照合ノードが障害をもっていると判断できるからである。

判断ステップＳ１１０２において、他の照合ノードが検知している状態と同じでないとき、照合ノード２１〜２８は、自ノードが主系ペアに属しているか否かを判断する（ステップＳ１１０４）。

判断ステップＳ１１０４において、自ノードが主系ペアに属しているときは、照合ノード２１〜２８は、構成制御要求処理（ステップＳ７００）を行う。
判断ステップＳ１１０４において、自ノードが主系ペアに属していないときは、照合ノード２１〜２８は、自ノードの縮退処理をする（ステップＳ１１０５）。これは、自ノードのみが異常を検知していた場合、自ノードが障害をもっていると判断するからである。

図１２は、照合ノード２１〜２８において、縮退要求を受けた場合の縮退受付処理（ステップＳ１２００）についてのアルゴリズムを示すフローチャートである。図１２のフローチャートは、コンピュータに、照合ノード２１〜２８の有する上述機能を実現させるための計算機制御プログラムの手順を示すものである。

図１２において、照合ノード２１〜２８は、他の照合ノードより縮退要求を受信する（ステップＳ１２０１）。
照合ノード２１〜２８は、自ノードが主系ペアに属しているか否かを判断する（ステップＳ１２０２）。

判断ステップＳ１２０２において、自ノードのペアの状態を認知し、自ノードが主系ペアに属しているときは、照合ノード２１〜２８は、構成制御要求処理（ステップＳ７００）を行う。
判断ステップＳ１２０２において、自ノードが主系ペアに属していないときは、照合ノード２１〜２８は、自ノードの縮退処理をする（ステップＳ１２０３）。

本発明は、サブシステムを多重化し、出力するデータを各システム間で比較照合することにより高信頼性を要求するフォールトトレラントシステムに利用可能である。
また、サブシステム間で状態監視して異常検知時に主従関係を変更して構成制御することにより健全性を保障することを要求するフォールトトレラントシステムに利用可能である。

なお、上述した本実施の形態例に限らず、特許請求の範囲に記載された本発明の要旨を逸脱しない限り、適宜変更しうることは言うまでもない。

本発明の一実施の形態によるシステム構成例を示す説明図である。 各ノードのハードウェア構成図である。 ＣＰＵノード及び照合ノードにおける機能を実行する手段を表すブロック図であり、図３ＡはＣＰＵノード、図３Ｂは照合ノードである。 各ノードが送信する生存状態情報を示す図であり、図４ＡはＣＰＵノード１１、図４Ｂは照合ノード２１である。 ノード状態管理テーブルを表す図である。 データ比較照合処理・出力処理のアルゴリズムを示すフローチャートである。 構成制御要求処理のアルゴリズムを示すフローチャートである。 構成制御受信処理のアルゴリズムを示すフローチャートである。 照合結果データ削除処理のアルゴリズムを示すフローチャートである。 照合ノード管理テーブルを表す図である。 縮退要求処理のアルゴリズムを示すフローチャートである。 縮退要求受付処理のアルゴリズムを示すフローチャートである。

符号の説明

１…多重化ネットワーク、２…外部ネットワーク、３…ＬＡＮ１系、４…ＬＡＮ２系、１０…計算機システム、１１〜１４…ＣＰＵ１〜ＣＰＵ２ｎ、２１〜２８…照合１〜照合２ｍ、３１〜３４…照合ノードペア、４０…主系ペア、４１〜４３…従系ペア、５１…記憶媒体、５２…入力装置、５３…出力装置、５４…ＣＰＵ、５５…通信Ｉ／Ｆ、５６…内部バス、１０１…生存状態情報通知手段、１０２…ＣＰＵノード状態監視手段、１０３…ＣＰＵノード状態検知手段、１０５…演算手段、１０６…演算結果データ出力手段、２０１…生存状態情報通知／要求手段、２０２…照合ノード状態監視手段、２０３…データ収集手段、２０４…データ選出手段、２０５…ペア間データ比較照合手段、２０６…照合結果データ出力手段、２０７…ペア状態監視手段、２０８…構成管理手段、２０９…縮退手段、２１０…縮退要求手段、４００…生存状態情報、５００…ノード状態管理テーブル、１０００…照合ノード管理テーブル

Claims (17)

1. 実質的に同じ処理を同時に実行する複数の演算ノードと、
   前記演算ノードからの演算結果を照合する複数の照合ノードと、
   前記複数の演算ノードと前記複数の照合ノードとが接続された多重化ネットワークと、
   前記複数の照合ノードが接続された外部ネットワークと、を備え、
   前記各演算ノード及び前記各照合ノードは、自ノードの稼動状態を生存状態情報として定期的に前記多重化ネットワークを介して送信すると共に、他ノードの生存状態情報を前記多重化ネットワークを介して受信する情報収集部を有する
   ことを特徴とする計算機システム。
2. 前記複数の照合ノードのうち一対を主系とし他の対を従系と定め、主従関係の照合ノードは互いを監視する監視部を有する
   ことを特徴とする請求項１に記載の計算機システム。
3. 前記各照合ノードは、前記生存状態情報を記憶する管理テーブルを有する
   ことを特徴とする請求項１に記載の計算機システム。
4. 実質的に同じ処理を同時に実行する複数の演算ノードと、
   前記演算ノードからの演算結果を照合する複数の照合ノードと、
   前記複数の演算ノードと前記複数の照合ノードとが接続された多重化ネットワークと、
   前記照合ノードが接続された外部ネットワークと、を備え、
   前記各照合ノードは、自ノードの生存状態情報及び他ノードから出力される生存状態情報に基づいて自ノード及び他ノードの稼動状態を判断する生存判断部を有する
   ことを特徴とする計算機システム。
5. 前記複数の照合ノードのうち一対を主系とし他の対を従系と定め、主従関係の照合ノードは前記主従関係の照合ノードのいずれかの稼動状態を判断する主従判断部を有する
   ことを特徴とする請求項４に記載の計算機システム。
6. 前記主従判断部により主系の照合ノードが稼動していないと判断されたとき、稼動状態の従系の照合ノードを主系の照合ノードとする主従関係更新部を有する
   ことを特徴とする請求項５に記載の計算機システム。
7. 前記主従判断部により主系の照合ノードが稼動していないと判断されたとき、前記主系の照合ノードは自ノードの機能を縮退する縮退部を有する
   ことを特徴とする請求項６に記載の計算機システム。
8. 実質的に同じ処理を同時に実行する複数の演算ノードと、前記演算ノードからの演算結果を照合する複数の照合ノードとが多重化ネットワークを介して通信を行い、前記複数の照合ノードが外部ネットワークに照合結果を出力する計算機制御方法であって、
   前記各演算ノード及び前記各照合ノードにおいて、自ノードの稼動状態を生存状態情報として定期的に前記多重化ネットワークを介して送信すると共に、他ノードの生存状態情報を前記多重化ネットワークを介して受信する情報収集ステップを含む
   ことを特徴とする計算機制御方法。
9. 前記複数の照合ノードのうち一対を主系とし他の対を従系と定め、主従関係の照合ノードは互いを監視する監視ステップを含む
   ことを特徴とする請求項８に記載の計算機制御方法。
10. 前記各照合ノードは、前記生存状態情報を記憶する管理テーブルを用いる
    ことを特徴とする請求項８に記載の計算機制御方法。
11. 実質的に同じ処理を同時に実行する複数の演算ノードと、前記演算ノードからの演算結果を照合する複数の照合ノードとが多重化ネットワークを介して通信を行い、前記複数の照合ノードが外部ネットワークに照合結果を出力する計算機制御方法であって、
    前記各照合ノードにおいて、自ノードの生存状態情報及び他ノードから出力される生存状態情報に基づいて自ノード及び他ノードの稼動状態を判断する生存判断ステップを含む
    ことを特徴とする計算機制御方法。
12. 前記複数の照合ノードのうち一対を主系とし他の対を従系と定め、主従関係の照合ノードは前記主従関係の照合ノードのいずれかの稼動状態を判断する主従判断ステップを含む
    ことを特徴とする請求項１１に記載の計算機制御方法。
13. 前記主従判断ステップにより主系の照合ノードが稼動していないと判断されたとき、稼動状態の従系の照合ノードを主系の照合ノードとする主従関係更新ステップを含む
    ことを特徴とする請求項１２に記載の計算機制御方法。
14. 前記主従判断ステップにより主系の照合ノードが稼動していないと判断されたとき、前記主系の照合ノードは自ノードの機能を縮退する縮退ステップを含む
    ことを特徴とする請求項１３に記載の計算機制御方法。
15. 実質的に同じ処理を同時に実行する複数の演算ノードと、前記演算ノードからの演算結果を照合する複数の照合ノードとが多重化ネットワークを介して通信を行い、前記複数の照合ノードが外部ネットワークに照合結果を出力するために、コンピュータを、前記複数の演算ノード及び前記複数の照合ノードとして機能させるための計算機制御プログラムであって、
    前記各演算ノード及び前記各照合ノードにおいて、自ノードの稼動状態を生存状態情報として定期的に前記多重化ネットワークを介して送信すると共に、他ノードの生存状態情報を、前記多重化ネットワークを介して受信する情報収集機能を、
    実現するための計算機制御プログラム。
16. 実質的に同じ処理を同時に実行する複数の演算ノードと、前記演算ノードからの演算結果を照合する複数の照合ノードとが多重化ネットワークを介して通信を行い、前記複数の照合ノードが外部ネットワークに照合結果を出力するために、コンピュータを、前記複数の照合ノードとして機能させるための計算機制御プログラムであって、
    前記各照合ノードにおいて、自ノードの生存状態情報及び他ノードから出力される生存状態情報に基づいて自ノード及び他ノードの稼動状態を判断する生存判断機能を、
    コンピュータで実現するための計算機制御プログラム。
17. 実質的に同じ処理を同時に実行する複数の演算ノードと、
    前記演算ノードからの演算結果を照合する複数の照合ノードと、
    前記複数の演算ノードと前記複数の照合ノードとが接続された多重化ネットワークと、
    前記複数の照合ノードが接続された外部ネットワークと、を備え、
    前記複数の照合ノードのうちの任意の照合ノードと他の照合ノードの対を照合ノードペアとし、前記照合ノードペアを複数組生成し、前記複数組の照合ノードペアのうちの１つを主系照合ノードペアとし、他の照合ノードペアを従系照合ノードペアとする
    ことを特徴とする計算機システム。

Images