JP2021120827A5 - - Google Patents

Description

本発明は、多重系システムの制御システム、制御方法に関する。

従来、多重系システムを構成する装置間、および経路の生存状態を監視し、異常検出時に縮退や系切り替えを行う技術がある。例えば、特許文献１では、複数の経路からの生存通知を基に障害部位を判定し、部位に応じて停止対象を決定している。

ＷＯ２０１８／０３７５３５号公報

特許文献１では、施設間を複数の経路で生存監視し、各施設が管理する生存情報を寄せ集め、ネットワーク障害と施設障害を区別して障害検出し、障害箇所に応じて適切な施設を停止させている。しかしながら、当該技術はクラウド環境を前提としており、短時間で経路と装置の障害を誤認識なく検出する方法については言及されていない。

本発明の一側面は、短時間で経路と装置の障害を誤認識なく検出することが可能な制御システム、制御方法を提供することを目的とする。

本発明の一態様にかかる制御システムは、多重系システムの制御システムであって、前記多重系システムは、ペアを構成する１対の処理装置を有した第１の系と、前記第１の系とは異なる処理装置であってペアを構成する１対の処理装置を有した第２の系とを有し、前記第１の系の１対の処理装置を直結する第１のペア間ＬＡＮ、および前記第２の系の１対の処理装置を直結する第２のペア間ＬＡＮと、前記第１の系の１対の処理装置のうちの一方の処理装置と前記第２の系の１対の処理装置のうちの一方の処理装置とを直結する第１の系間ＬＡＮ、および前記第１の系の１対の処理装置のうちの他方の処理装置と前記第２の系の１対の処理装置のうちの他方の処理装置とを直結する第２の系間ＬＡＮと、前記多重系システムに対して内部側に設けられた計算ノードからの処理結果を受信して所定の処理を行うために接続された内部ＬＡＮであって、前記第１の系および前記第２の系の１対の処理装置のそれぞれを接続する前記内部ＬＡＮと、前記計算ノードからの処理結果を、前記多重系システムに対して外部側に設けられた所定の端末に送信するために接続された外部ＬＡＮであって、前記第１の系および前記第２の系の１対の処理装置のそれぞれを接続する前記外部ＬＡＮと、を備え、前記第１の系および前記第２の系の各処理装置は、各処理装置を生存確認するための装置タイムアウトと、当該装置タイムアウトよりも長く設定された各ＬＡＮを生存確認するための経路タイムアウトとに基づいて、前記各処理装置または前記各ＬＡＮの障害を監視する生存監視部、を備えることを特徴とする制御システムとして構成される。

本発明の一態様によれば、短時間で経路と装置の障害を誤認識なく検出することができる。

代表的な多重系システムの構成図である。 図１における装置のハードウェア構成図である。 図１における装置のソフトウェア構成図である。 生存情報テーブルの一例を示す図である。 各ＬＡＮ経由で送受信する生存情報を示す図である。 生存監視部の処理のフロー図である。 生存情報受信部の処理のフロー図である。 障害部位と障害時にとるアクションの関係を示す表の一例を示す図である。 リンクダウンによる電源断判定処理のフロー図である。 生存監視における生存情報テーブルの他の一例を示す図である。 生存監視部の処理の他のフロー図である。

以下、図面を参照して本発明の実施形態を説明する。以下の記載および図面は、本発明を説明するための例示であって、説明の明確化のため、適宜、省略および簡略化がなされている。本発明は、他の種々の形態でも実施する事が可能である。特に限定しない限り、各構成要素は単数でも複数でも構わない。

図面において示す各構成要素の位置、大きさ、形状、範囲などは、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲などを表していない場合がある。このため、本発明は、必ずしも、図面に開示された位置、大きさ、形状、範囲などに限定されない。

以下の説明では、「テーブル」、「リスト」等の表現にて各種情報を説明することがあるが、各種情報は、これら以外のデータ構造で表現されていてもよい。データ構造に依存しないことを示すために「ＸＸテーブル」、「ＸＸリスト」等を「ＸＸ情報」と呼ぶことがある。識別情報について説明する際に、「識別情報」、「識別子」、「名」、「ＩＤ」、「番号」等の表現を用いた場合、これらについてはお互いに置換が可能である。

同一あるいは同様な機能を有する構成要素が複数ある場合には、同一の符号に異なる添字を付して説明する場合がある。ただし、これらの複数の構成要素を区別する必要がない場合には、添字を省略して説明する場合がある。

また、以下の説明では、プログラムを実行して行う処理を説明する場合があるが、プログラムは、プロセッサ（例えばＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit））によって実行されることで、定められた処理を、適宜に記憶資源（例えばメモリ）および／またはインターフェースデバイス（例えば通信ポート）等を用いながら行うため、処理の主体がプロセッサとされてもよい。同様に、プログラムを実行して行う処理の主体が、プロセッサを有するコントローラ、装置、システム、計算機、ノードであってもよい。プログラムを実行して行う処理の主体は、演算部であれば良く、特定の処理を行う専用回路（例えばＦＰＧＡ（Field-Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit））を含んでいてもよい。

プログラムは、プログラムソースから計算機のような装置にインストールされてもよい。プログラムソースは、例えば、プログラム配布サーバまたは計算機が読み取り可能な記憶メディアであってもよい。プログラムソースがプログラム配布サーバの場合、プログラム配布サーバはプロセッサと配布対象のプログラムを記憶する記憶資源を含み、プログラム配布サーバのプロセッサが配布対象のプログラムを他の計算機に配布してもよい。また、以下の説明において、２以上のプログラムが１つのプログラムとして実現されてもよいし、１つのプログラムが２以上のプログラムとして実現されてもよい。

図１は、本実施例における多重系システムの制御システム１０００の例を示す図である。図１に示すように、制御システム１０００は、２系統に多重化されたシステムである主系システム１００と従系システム１１０とを有している。以下では、４台の処理装置により制御システム１０００が構成される場合を例示しているが、これに限定されず、より多くの台数の処理装置を有したシステムとして構成されてもよい。

主系システム１００は、１対のペアを構成する処理装置１０１と処理装置１０２とを有し、両者を接続するペア間ＬＡＮ（Local Area Network）１０３により接続され、これらの装置に電源を供給する電源系統１０７を有している。また、処理装置１０１および処理装置１０２のそれぞれは、制御システム１０００に対して内部側のネットワークである内部ＬＡＮ１０４に接続される。処理装置１０１および処理装置１０２のそれぞれは、内部ＬＡＮ１０４に接続される多重化された計算ノードＮから処理結果を受信し、受信したそれぞれの処理結果に対して多数決処理を行う。処理装置１０１および処理装置１０２のそれぞれは、多数決処理の結果を、ペアを組む装置間で互いに交換し、交換した多数決処理の結果と、自装置で行った多数決処理の結果とを照合する。そして、両者の間に不整合がなければ、マジョリティとなった計算ノードＮからの処理結果を、制御システム１０００に対して外部側に接続されたネットワークである外部ＬＡＮ１０５を介して、外部装置である端末Ｔに送信する。

ペア間ＬＡＮ１０３は、多数決処理の結果の交換、およびペアを構成する処理装置の強制停止に用いられる。系間ＬＡＮ１０６は、他系の生存監視、強制停止、および電源断の検出に用いられる。強制停止は、一般的には、ＢＭＣ（Baseboard Management Controller）を用いる方法や、特開２００７－５８７０８号公報に記載されているようなＬＸＰ（系切換え制御）を用いる方法がある。強制停止には、ＮＭＩ（Non-Maskable Interrupt）の入力によるメモリダンプ採取や、ハードウェアリセット入力があり、特に前者は障害原因解析に必要な情報を残すことができるため有用である。

ペア間ＬＡＮ１０３、系間ＬＡＮ１０６は直結ＬＡＮのため、通信負荷をかけても他のネットワークに影響を与えず、また、障害点が少ないため、比較的信頼性が高い構成となっている。以下に説明するように、ペア間で多数決処理の結果を照合するという特性上、障害時の縮退や系切り替えはペア単位で行う。例えば、処理装置１０２が自装置の障害を検出すれば、当該処理装置１０２と、そのペア装置である処理装置１０１とを停止させる。このとき、停止させた装置は主系１００の装置であるため、従系１１０を新たな主系に遷移させる。同様の理由で、電源系統についても二重化され、主系システム１００では、電源系統１０７を有している。以下では、各システムに１つの電源系統が設けられている前提で説明しているが、各装置に電源系統を設けてもよい。

系間ＬＡＮ１０６は、他系のうち片方の処理装置（例えば、主系システム１００の処理装置１０１と、従系システム１１０の処理装置１１１）との間でしか接続されていないが、縮退は必ずペアで行うというルール上、自装置が正常であればペアとなる処理装置も正常といえる。したがって、系内の各処理装置のそれぞれが、系間ＬＡＮ１０６あるいは系間ＬＡＮ１１６を用いて強制停止を行えば、ペアとなる他系の処理装置のそれぞれを停止させることができる。なお、図１では、内部ＬＡＮ１０４、外部ＬＡＮ１０５は、それぞれ一本ずつのネットワークとして構成されているが、多重化した構成としてもよい。

図２は、各処理装置のハードウェア構成の例を示す図である。図２に示すように、各処理装置は、ＰＣ（Personal Computer）やサーバといった、ハードウェアとしては一般的な情報処理装置から構成され、ＣＰＵ２０１と、メモリ２０２と、記憶装置２０３と、通信装置２０４と、タイマ装置２０５とを有し、これらがバス２０６を介して接続されている。

ＣＰＵ２０１は、ハードウェアとしては一般的なプロセッサであり、主として、メモリ２０２からプログラムを読み出して実行することにより、本システムにおける各種機能を実現する。

メモリ２０２は、ハードウェアとしては一般的な記憶媒体であり、主として、ＣＰＵ２０１で実行されるプログラムや、プログラムの実行に必要な各種データを記憶する。

記憶装置２０３は、ハードウェアとしては一般的なディスクであり、主として、上記プログラムが実行して出力されるデータや、上記プログラムの入力となるデータをはじめ、本システムで用いられる各種データを記憶する。

通信装置２０４は、ハードウェアとしては一般的な通信機器であり、主として、ペア間ＬＡＮ１０３、内部ＬＡＮ１０４、外部ＬＡＮ１０５、系間ＬＡＮ１０６を介した処理装置との間で各種データを送受信する。

タイマ装置２０５は、ハードウェアとしては一般的なタイマであり、主として、処理装置の生存時刻やタイムアウトをカウントする。

図３は、各処理装置の機能的な構成例を示す図である。図３に示すように、各処理装置は、機能的には、生存監視部３０１と、生存情報受信部３０２と、障害検出部３０３と、多重系制御部３０４とを有して構成されている。

生存監視部３０１は、自装置や監視対象となる処理装置およびＬＡＮの生存を監視する処理部である。生存監視部３０１が行う具体的な処理については、図６を用いて後述する。

生存情報受信部３０２は、監視対象となる処理装置およびＬＡＮから生存情報を受信する処理部である。生存情報受信部３０２が行う具体的な処理については、図７を用いて後述する。

障害検出部３０３は、自装置のハードウェア障害、ソフトウェア障害を検出する処理部である。具体的には後述するが、処理装置の動作が継続不可能な障害が検出された場合、自系ペアを停止させる。

多重系制御部３０４は、障害部位に応じたアクションを実行する処理部である。自装置に障害が発生して停止させる際、当該自装置とペアとなる処理装置を停止させたり、障害が発生した処理装置が従系に属する処理装置である場合に、当該従系を主系に切り替える。多重系制御部３０４が行う具体的な処理については、図８を用いて後述する。

各処理装置が有する上記各部の機能は、例えば、ＣＰＵ２０１が、メモリ２０２を構成するＲＯＭ（Read Only Memory）からプログラムを読み出し、メモリ２０２を構成するＲＡＭ（Random access memory）に対して読み書きして処理を実行することにより実現される。上記プログラムは、ＵＳＢ(Universal Serial Bus)メモリ等の記憶媒体から読み出されたり、ネットワークを介した他のコンピュータからダウンロードする等して提供されてもよい。

図４は、各処理装置の記憶装置に記憶される生存情報テーブル４０１の例を示す図である。生存情報テーブル４０１は、監視対象となる各処理装置およびＬＡＮが生存していると判定するための条件を定めたテーブルである。図４では、一例として、処理装置１０１に記憶される生存情報テーブル４０１を示しているが、本システムを構成するすべての処理装置およびＬＡＮについて、同様に記憶される。

図４に示すように、生存情報テーブル４０１は、監視対象と、監視対象が生存していると判定するための時間的なカウント値である生存時刻と、監視対象を監視する周期を定めた監視周期と、監視対象に障害が発生したと判定するための閾値であるタイムアウトカウンタとが対応付けて記憶されている。図４では、例えば、自装置である処理装置１０１の生存時刻である現在のカウンタ値が「１０」であることを示している。当該カウンタ値は、生存監視部３０１によりカウントされる。

また、処理装置１０１とペアとなる処理装置１０２については、当該処理装置１０２と、処理装置１０２と処理装置１０１との間のペア間ＬＡＮ１０３、内部ＬＡＮ１０４、外部ＬＡＮ１０５のそれぞれについて、生存時刻である現在のカウンタ値が、それぞれ「８」、「８」、「５」、「５」であることを示している。さらに、これらの装置やＬＡＮを監視する周期は、それぞれ、「２」、「２」、「５」、「１０」であることを示している。

後述するように、生存監視部３０１は、生存時刻を示すカウント値を１ずつカウントアップし、カウントアップした新たな生存時刻を含む生存情報を、自装置が生存している証として、所定の監視周期ごとに監視対象に送信する。例えば、自装置１０１は監視対象の装置１０２のペア間ＬＡＮ１０３に対し、自装置１０１の生存時刻が「１０」、「１２」、「１４」、・・・となるとき、当該生存時刻を含む生存情報を送信する。同様に内部ＬＡＮ１０４に対しては、生存時刻が「１０」、「１５」、「２０」、・・・となるとき、生存情報を送信する。

さらに、これらの装置やＬＡＮを監視するタイムアウトカウンタは、初期値が、それぞれ、「１４」、「２０」、「４０」、「８０」であり、現在値が、それぞれ、「１２」、「１８」、「３５」、「７５」であることを示している。後述するように、生存情報受信部３０２は、監視対象の処理装置またはＬＡＮについて新しい生存時刻の生存情報を受信したとき、対応するタイムアウトカウンタを初期値にリセットする。一方、生存監視部３０１は、監視対象のタイムアウトカウンタが「０」でないと判定された場合に、そのタイムアウトカウンタを「１」ずつカウントダウンする。つまり、生存監視部３０１は、最新の値に更新された新たな生存時刻を含む生存情報が受信されない場合には、時間が経過するほどタイムアウトカウンタの値を減じる。そして、その値が「０」に達すると、監視対象に障害が発生したとみなし、多重系制御部３０４により障害部位に応じたアクションが行われる。

なお、生存時刻は、タイマ装置２０５がモノトニックな時計であれば、実時間でも仮想的な時刻(例えば、一定周期で増えるカウンタ)であってもよい。また、後述するように、生存監視部３０１は、自装置の「生存時刻」を監視周期で随時更新し、更新した「生存時刻」を図５に示す生存情報に格納し、格納した生存情報を、各ＬＡＮを介して他の処理装置に送信する。

図５は、各処理装置の記憶装置に記憶される生存情報５０１の例を示す図である。図５に示すように、生存情報５０１には、当該生存情報の送信元となる処理装置と、生存時刻である現在のカウンタ値とが対応付けて記憶されている。図５では、一例として、処理装置１０１が送信する生存情報５０１を示しているが、本システムを構成するすべての処理装置についても同様に送信される。

図５では、例えば、送信元である処理装置１０１と、当該処理装置１０１の生存情報テーブル４０１に記憶されている現時点の生存時刻「１０」が記憶され、他の処理装置に送信される。

なお、図４に示した生存情報テーブル４０１において、監視対象となる外部ＬＡＮについては、生存を監視するための通信によるネットワーク負荷の影響を抑えるため、監視周期を長めに設定することができる。また、生存情報テーブル４０１の各タイムアウトカウンタの値については、ペアとなる処理装置のタイムアウトカウンタの値よりも、ペアとなる処理装置と接続する各ＬＡＮのタイムアウトカウンタの値を大きく設定し、他系の処理装置のタイムアウトカウンタの値よりも、他系の処理装置と接続する各ＬＡＮのタイムアウトカウンタの値を大きく設定することで、ＬＡＮ障害を装置障害と誤認識することを回避する。これにより、ＬＡＮ障害か装置障害かに応じて適切なアクションをとることを可能とする。また、ペアとなる処理のタイムアウトカウンタの値よりも、他系の処理装置のタイムアウトカウンタの値を大きく設定し、ペア単位での障害検出と縮退および系の切り替え処理を優先する。後述するように、他系に属する処理装置の生存を監視するためのタイムアウトは、他系ペアを構成する各処理装置の強制停止を伴う。強制停止されると各種ログの保存など、障害解析に必要な情報を失う場合があり、このような状況を極力回避するため、ペア単位での縮退を優先する。このような制御により、少なくとも縮退ペアのうち正常な片方の装置については問題なくログの保存が可能である。

図６は、各処理装置の生存監視部３０１が行う生存監視処理の処理手順を示すフローチャートである。図６に示すように、生存監視部３０１は、自装置のタイマ装置２０５がカウントアップ（例えば、＋１）した生存時刻を読み取り（Ｓ６０１）、Ｓ６０２～Ｓ６０８の各ステップを、監視対象となるそれぞれについて実行する。

生存監視部３０１は、Ｓ６０１でカウントアップした自装置の生存時刻が監視対象の監視周期の倍数となったか否かを判定する（Ｓ６０３）。例えば、図４に示した生存情報テーブル４０１において、処理装置１０１の生存時刻が「１０」にカウントアップされた場合、監視対象となる処理装置１０２の監視周期「２」の倍数（５倍）になっていると判定する。

生存監視部３０１は、Ｓ６０１でカウントアップした自装置の生存時刻が監視対象の監視周期の倍数となったと判定した場合（Ｓ６０３；Ｙｅｓ）、監視対象に、カウントアップした自装置の生存情報（図５）を送信する（Ｓ６０４）。一方、生存監視部３０１は、Ｓ６０１でカウントアップした自装置の生存時刻が監視対象の監視周期の倍数となっていないと判定した場合（Ｓ６０３；Ｎｏ）、何もせずにＳ６０５に進む。

さらに、生存監視部３０１は、生存情報テーブル４０１に記憶された監視対象のタイムアウトカウンタの現在値が０であるか否かを判定する（Ｓ６０５）。生存監視部３０１は、生存情報テーブル４０１に記憶された監視対象のタイムアウトカウンタの現在値が０であると判定した場合（Ｓ６０５；Ｙｅｓ）、監視対象のタイムアウトを検出したと判断し、当該監視対象のタイムアウト処理（図８）を実行する（Ｓ６０６）。タイムアウト処理が実行されると、系の切り替えが行われる。

一方、生存監視部３０１は、生存情報テーブル４０１に記憶された監視対象のタイムアウトカウンタの現在値が０でないと判定した場合（Ｓ６０５；Ｎｏ）、監視対象のタイムアウトカウンタの値を、現在値からカウントダウン（例えば、－１）する（Ｓ６０７）。

生存監視部３０１は、各監視対象についてＳ６０２～Ｓ６０８の処理を実行すると、単位時刻となる次の生存時刻までの間、スリープ（ウェイト）する（Ｓ６０９）。Ｓ６０９の処理が終了すると、Ｓ６０１に戻り、以降の処理を繰り返し行う。

図７は、各処理装置の生存情報受信部３０２が行う生存情報受信処理の処理手順を示すフローチャートである。図７に示すように、生存情報受信部３０２は、受信した生存情報をもとに、監視対象となる処理装置およびＬＡＮに対応する生存情報テーブル４０１に記憶されたレコードを取得する（Ｓ７０１）。

生存情報受信部３０２は、取得したレコードに含まれる監視対象について、受信した生存情報に含まれる処理装置の生存時刻が生存情報テーブル４０１に記憶されている生存時刻より新しいか否かを判定し（Ｓ７０２）、受信した生存情報に含まれる処理装置の生存時刻が生存情報テーブル４０１に記憶されている生存時刻より新しいと判定した場合（Ｓ７０２；Ｙｅｓ）、監視対象に対応する処理装置のタイムアウトカウンタの現在値を初期値にセットするとともに、生存情報テーブル４０１に記憶されている当該監視対象の生存時刻を、受信した生存情報に含まれる生存時刻に更新する（Ｓ７０３）。一方、生存情報受信部３０２は、受信した生存情報に含まれる処理装置の生存時刻が生存情報テーブル４０１に記憶されている生存時刻より新しくないと判定した場合（Ｓ７０２；Ｎｏ）、何もせずにＳ７０４に進む。

さらに、生存情報受信部３０２は、取得したレコードに含まれる監視対象について、受信した生存情報に含まれる経路（ＬＡＮ）の生存時刻が生存情報テーブル４０１に記憶されている生存時刻より新しいか否かを判定し（Ｓ７０４）、受信した生存情報に含まれるＬＡＮの生存時刻が生存情報テーブル４０１に記憶されている生存時刻より新しいと判定した場合（Ｓ７０４；Ｙｅｓ）、監視対象に対応するＬＡＮのタイムアウトカウンタの現在値を初期値にセットするとともに、生存情報テーブル４０１に記憶されている当該監視対象の生存時刻を、受信した生存情報に含まれる生存時刻に更新する（Ｓ７０５）。一方、生存情報受信部３０２は、受信した生存情報に含まれるＬＡＮの生存時刻が生存情報テーブル４０１に記憶されている生存時刻より新しくないと判定した場合（Ｓ７０４；Ｎｏ）、何もせずに本処理を終了する。

図８は、各処理装置の記憶装置に記憶される障害部位に応じたアクション判定表８０１の例を示す図である。図８に示すように、アクション判定表８０１は、障害部位と、当該部位の障害発生時に取るべきアクションとが対応付けて記憶されている。図８に示すＬＡＮ障害には、リンクダウン等で明示的に障害を検出した場合と、生存監視タイムアウトにより検出した場合の双方を含む。また、各ＬＡＮ障害発生時のアクションは、ＬＡＮの用途により異なるため、図８ではその一例を示している。

自装置である処理装置の多重系制御部３０４は、当該自装置の障害検出部３０３が自装置の障害部位を検出した場合、アクション判定表８０１の自装置レコード８０１１を参照し、障害部位である自装置に対応するアクションとして自系ペアを停止させる。例えば、自装置である処理装置１０１の障害検出部３０３が自装置の障害部位を検出した場合、当該処理装置１０１の多重系制御部３０４は、自系ペアを構成する処理装置１０２と処理装置１０１とを停止させる。

また、自装置である処理装置の多重系制御部３０４は、当該自装置とペアを構成する処理装置の障害部位を検出した場合、アクション判定表８０１のペア装置レコード８０１２を参照し、障害部位であるペア装置に対応するアクションとしてペア装置を強制停止させるとともに自装置を停止する。例えば、自装置である処理装置１０１の障害検出部３０３が、ペアとなる処理装置１０２のタイムアウトを検出した場合、当該処理装置１０１の多重系制御部３０４は、ペアとなる処理装置１０２を強制停止させ、自装置である処理装置１０１を自主停止させる。

また、自装置である処理装置の多重系制御部３０４は、当該自装置とペアを構成する処理装置との間のペア間ＬＡＮの障害部位を検出した場合、アクション判定表８０１のペア装置レコード８０１２を参照し、障害部位であるペア間ＬＡＮに対応するアクションとして自装置およびペアとなる処理装置を停止させる。例えば、自装置である処理装置１０１の障害検出部３０３またはペアとなる処理装置である処理装置１０２の障害検出部３０３が、両者間のペア間ＬＡＮ１０３の障害を検出した場合、当該処理装置１０１およびペアとなる処理装置１０２の多重系制御部３０４は、それぞれ自装置を自主停止させる。

また、自装置である処理装置の多重系制御部３０４は、当該自装置とペアを構成する処理装置との間の内部ＬＡＮ、外部ＬＡＮの障害部位を検出した場合にも、上述したペア間ＬＡＮに対応するアクションと同様に、自装置およびペアとなる処理装置を停止させる。

さらに、自装置である処理装置の多重系制御部３０４は、当該自装置とペアを構成する処理装置を含む系以外の系である他系の処理装置の障害部位を検出した場合、アクション判定表８０１の他系装置レコード８０１３を参照し、障害部位である他系装置に対応するアクションとして他系のペア装置を強制停止させる。例えば、従系の処理装置１１１または当該処理装置１１１とペアとなる処理装置１１２の障害検出部３０３が、主系のペアを構成する処理装置のうちの処理装置１０１のタイムアウトを検出した場合、従系の処理装置１１１の多重系制御部３０４は、主系の処理装置１０１を強制停止させる一方、従系の処理装置１１２の多重系制御部３０４は、主系の処理装置１０２を強制停止させる。

また、自装置である処理装置の多重系制御部３０４は、上記他系の処理装置との間の系間ＬＡＮの障害部位を検出した場合、アクション判定表８０１の他系装置レコード８０１３を参照する。しかし、当該レコードには何も対処しないことを示す「－」が記憶されているため、当該障害に対する対処を行わない。例えば、系間ＬＡＮ１０６で断線が発生し、主系の処理装置１０１と従系の処理装置１１１のいずれかの障害検出部３０３がリンクダウンを検出した場合、直ちに縮退や系の切り替えは行わない。その理由は、主系の処理装置１０１の生存監視部３０１が、従系の処理装置１１１の生存監視タイムアウトを検出した場合、上記断線に伴って主系の処理装置１０１から従系の処理装置１１１の強制停止が不可であり、例えば、系の切り替えをした場合には両系が主系となるリスクが生じうる。
このため、上記リンクダウンが検出された場合には、そのようなリスクを避けるため、主系の処理装置１０１の多重系制御部３０４は、自装置を自主停止させる。

この場合、従系ペアの片方の処理装置（例えば、処理装置１１２）が生存していれば、図４に示した生存情報テーブル４０１の設定により、上記片方の処理装置が先にペアとなる処理装置（例えば、処理装置１１１）の生存監視タイムアウトを検出し、ペア間ＬＡＮ（例えば、ペア間ＬＡＮ１１３）による強制停止を行う。したがって、上述した両系が主系となるリスクを避けるための自主停止が起こる確率は十分低いといえる。

また、自装置である処理装置の多重系制御部３０４は、上記他系の処理装置との間の内部ＬＡＮの障害部位を検出した場合、アクション判定表８０１の他系装置レコード８０１３を参照し、障害部位である内部ＬＡＮに対応するアクションとして他系のペア装置を強制停止または自主停止させる。例えば、主系の処理装置１０１の生存監視部３０１が、従系の処理装置１１１との間の内部ＬＡＮ１０４の生存監視タイムアウトを検出した場合、従系のペア装置に任意のＬＡＮ経由（例えば、外部ＬＡＮ１０５経由）で停止要求を出力し、当該停止要求に従って、従系のペアを構成する処理装置１１１および処理装置１１２を自主停止させる。あるいは、従系の処理装置１１１が主系の処理装置１０１との間の内部ＬＡＮ１０４の生存監視タイムアウトを検出した場合、従系の処理装置１１１がペアを構成する処理装置１１２に対して停止要求を出すとともに、自装置を自主停止させる。

なお、自装置である処理装置の多重系制御部３０４は、上記他系の処理装置との間の外部ＬＡＮの障害部位を検出した場合、アクション判定表８０１の他系装置レコード８０１３を参照する。しかし、当該レコードには何も対処しないことを示す「－」が記憶されているため、当該障害に対する対処を行わないが、上記内部ＬＡＮの場合と同様の対処を行ってもよい。

このように、本システムでは、内部ＬＡＮを用いて各処理装置の生存情報を互いに送受信することで、系切り替え時の処理の継続を可能にしているため、内部ＬＡＮの障害時には、縮退／系切り替えの対象としている。また、系間ＬＡＮ障害の場合、どちらの系も正常動作可能であるが、影響の少ない従系を停止させるようにしている。また、外部ＬＡＮのように、各処理装置の動作に直接影響のないＬＡＮ障害については、縮退／系切り替えを実施しないように制御している。

なお、図８に示したアクション判定表８０１では、各ＬＡＮは一本ずつである前提で説明しているが、それぞれのＬＡＮを多重化してもよい。例えば、内部ＬＡＮ１０４が二重化されている場合、そのうち１系統のＬＡＮのみ障害が検出された場合でも、他の１系統のＬＡＮを用いることができるためアクションはとる必要はない。２系統のＬＡＮのいずれもが障害検出された場合に、図８に示したようなアクションをとればよい。

また、ペアとなる処理装置や他系の処理装置が自装置の障害を検出し、自主的に機能停止した場合、機能停止した旨を各ＬＡＮ経由で通知する一方、ペアとなる処理装置や他系の処理装置の生存監視タイムアウトが検出された場合にはそのような通知がなく、無応答となる。この場合、完全に停止しているのか、一部の機能がまだ有効であるのか不明であるため、両系が主系となるスプリットブレインなどの誤動作を避けるため、図８に示したように強制停止してから系切り替えを行う。これとは逆に、自主的な機能停止の通知を受信している場合は、強制停止はしないように制御している。その理由は、強制停止をした場合にはＯＳまで停止してしまい、障害原因究明のための情報収集が難しくなる虞があるためである。

なお、任意のＬＡＮ経由で対象となる処理装置に停止要求を送信し、当該処理装置から機能を停止した旨の通知を受信するまで強制停止することを待ってもよい。これにより、無用な強制停止を回避できる場合がある。この場合には、上記対象となる処理装置が停止要求を受理できない状態であれば、上記機能を停止した旨の通知の受信待ち時間がタイムアウトしてから強制停止することになり、系切り替えまでの時間が延びるため、そのような状況が許容される場合には、当該制御を行ってもよい。

図９は、各処理装置の障害検出部３０３が系間ＬＡＮのリンクダウンを検出して多重系制御部３０４が系を切り替えるリンクダウン検出処理の処理手順を示すフローチャートである。一般に、リンクダウンの検出には、数百ｍｓの時間がかかる。ここでは、他系の処理装置の生存監視タイムアウトよりリンクダウン検出時間は十分短いという前提のもと、早期に他系の処理装置の電源断を検出し、系切り替えを実施するものである。

図９に示すように、各処理装置の多重系制御部３０４は、障害検出部３０３により系間ＬＡＮのリンクダウンが検出された時間の間、生存情報受信部３０２が他系の処理装置から生存情報を受信しているか否かを判定する（Ｓ９０１）。例えば、主系の処理装置１０１の多重系制御部３０４は、障害検出部３０３により系間ＬＡＮ１０６のリンクダウンが検出された場合、当該リンクダウンが検出されている時間の間、生存情報受信部３０２が他系の処理装置１１１の生存情報を、系間ＬＡＮ１０６以外の内部ＬＡＮ１０４や外部ＬＡＮ１０５を介して受信しているか否かを判定する。

そして、各処理装置の多重系制御部３０４は、障害検出部３０３により系間ＬＡＮのリンクダウンが検出された時間の間、生存情報受信部３０２が他系の処理装置から生存情報を受信していると判定した場合（Ｓ９０１；Ｙｅｓ）、他のＬＡＮを介して生存情報を受信しているため、他系の処理装置の電源断であるとの判断を見送り（Ｓ９０３）、処理を終了する。例えば、主系の処理装置１０１の多重系制御部３０４は、障害検出部３０３により系間ＬＡＮ１０６のリンクダウンが検出されている時間の間、生存情報受信部３０２が他系の処理装置１１１の生存情報を、内部ＬＡＮ１０４や外部ＬＡＮ１０５を介して受信していると判定した場合、当該処理装置１１１は生存しているため、電源断の判断を見送る。

一方、各処理装置の多重系制御部３０４は、障害検出部３０３により系間ＬＡＮのリンクダウンが検出された時間の間、生存情報受信部３０２が他系の処理装置から生存情報を受信していないと判定した場合（Ｓ９０１；Ｎｏ）、当該他系の処理装置が電源断の状態であると判断し、系の切り替えを行い（Ｓ９０２）、処理を終了する。

なお、系間ＬＡＮが複数ある場合や周期的にリンクダウンを検出された場合には、系間ＬＡＮのリンクダウンが検出された時間のうち最も長い時間を基準として、生存情報受信部３０２が他系の処理装置から生存情報を受信しているか否かを判定することで、他系の処理装置の電源断の誤検出をより低下させることができる。つまり、リンクダウンが最も長い時間を基準として、その時間内に１つでも生存情報が受信できていれば、当該系間ＬＡＮの接続先となる系の電源断ではないと判断することができるため、リンクダウンが短い時間を基準とした場合に比べて、精度よく電源断を検出することができる。

また、Ｓ９０３において他系の処理装置の電源断であるとの判断を見送った場合には、所定の期間経過後に再度本処理を実行し、当該装置の電源断が生じていないかをチェックしてもよい。実際に電源断が生じている場合には、いずれＳ９０１の「条件」（Ｓ９０１；Ｎｏ）が成立し、電源断と判断される一方、単なる系間ＬＡＮの障害であれば、いずれ系間ＬＡＮの生存監視タイムアウトを生存監視部３０１が検出するためである。上述の通り、他系の処理装置が電源断であると判定された場合、他系の処理装置の生存監視タイムアウトや強制停止を待たずに、Ｓ９０２において系の切り替えが可能となる。これにより、系の切り替え時間を短縮することができる。なお、図９では、リンクダウンが検出された場合を例示したが、これ以外にも、ＰｏＥ（Power over Ether）により電源供給断を検出する場合も同様に適用することができる。

このように、多重系システムの制御システム１０００において、多重系システムは、ペアを構成する１対の処理装置（例えば、処理装置１０１、処理装置１０２）を有した第１の系（例えば、主系システム１００）と、第１の系とは異なる処理装置であってペアを構成する１対の処理装置（例えば、処理装置１１１、処理装置１１２）を有した第２の系（例えば、従系システム１１０）とを有し、第１の系の１対の処理装置を直結する第１のペア間ＬＡＮ（例えば、ペア間ＬＡＮ１０３）、および第２の系の１対の処理装置を直結する第２のペア間ＬＡＮ（例えば、ペア間ＬＡＮ１１３）と、第１の系の１対の処理装置のうちの一方の処理装置（例えば、処理装置１０１）と第２の系の１対の処理装置のうちの一方の処理装置（例えば、処理装置１１１）とを直結する第１の系間ＬＡＮ（例えば、系間ＬＡＮ１０６）、および第１の系の１対の処理装置のうちの他方の処理装置（例えば、処理装置１０２）と第２の系の１対の処理装置のうちの他方の処理装置（例えば、処理装置１１２）とを直結する第２の系間ＬＡＮ（例えば、系間ＬＡＮ１１６）と、多重系システムに対して内部側に設けられた計算ノード（例えば、計算ノードＮ）からの処理結果を受信して所定の処理（例えば、多数決処理）を行うために接続された内部ＬＡＮであって、第１の系および第２の系の１対の処理装置のそれぞれを接続する内部ＬＡＮ（例えば、内部ＬＡＮ１０４）と、計算ノードからの処理結果を、多重系システムに対して外部側に設けられた所定の端末（例えば、端末Ｔ）に送信するために接続された外部ＬＡＮであって、第１の系および第２の系の１対の処理装置のそれぞれを接続する外部ＬＡＮ（例えば、外部ＬＡＮ１０５）と、を備え、生存監視部３０１が、第１の系および第２の系の各処理装置は、各処理装置を生存確認するための装置タイムアウトと、当該装置タイムアウトよりも長く（値が大きく）設定された各ＬＡＮを生存確認するための経路タイムアウトとに基づいて、各処理装置または各ＬＡＮの障害を監視するので、短時間で経路と装置の障害を誤認識なく検出することができる。

また、第１の系および第２の系の各処理装置は、他の処理装置から、上記装置タイムアウトまたは上記経路タイムアウトを判定するための自装置の生存時刻を含む生存情報（例えば、生存情報５０１）を受信し、受信した当該生存情報に含まれる他の処理装置または各ＬＡＮの生存時刻を最新の値に更新する生存情報受信部３０２を備え、生存監視部３０１が、自装置の生存時刻（例えば、生存情報テーブル４０１の生存時刻）を含む生存情報を、各ＬＡＮを介して各処理装置に送信し、生存情報受信部３０２が受信した生存情報に含まれる他の処理装置または各ＬＡＮの生存時刻が最新の値に更新されないことにより、障害の発生を判断するので、各処理装置は短時間かつ受動的に経路と装置の障害を誤認識なく検出することができる。

また、第１の系および第２の系における第１の系間ＬＡＮで直結されたそれぞれの処理装置は、第１の系間ＬＡＮのリンクダウンを検出する第１の障害検出部（例えば、障害検出部３０３）を備え、第１の系および第２の系における第２の系間ＬＡＮで直結されたそれぞれの処理装置は、第２の系間ＬＡＮのリンクダウンを検出する第２の障害検出部（例えば、障害検出部３０３）を備え、例えば、図９に示したように、多重系制御部３０４が、第１の障害検出部または第２の障害検出部によりリンクダウンが検出されている時間の間、生存情報受信部３０２が他系の処理装置の生存情報を、リンクダウンが検出されているＬＡＮ以外のＬＡＮを介して受信しているか否かを判定し、上記時間の間、上記生存情報を、リンクダウンが検出されているＬＡＮ以外のＬＡＮを介して受信していないと判定した場合、他系の処理装置が電源断の状態であると判断し、系を切り替えるので、電源断の誤検知を低下させることができる。

これまでの例では、リンクダウンを検出した場合に送信される生存情報は、リンクダウンを検出した時点で各処理装置が送信することとした。しかし、ＬＡＮの通信状況によっては生存情報の送信タイミングや他のデータの通信が重なり、過大な負荷がかかる場合がある。そこで、以下では、ＬＡＮにかかる負荷を考慮して生存情報を受信する例について説明する。

図１０は、ＬＡＮにかかる負荷を考慮した場合の生存情報テーブル１００１の例を示す図である。図１０に示すように、生存情報テーブル１００１は、図４に示した生存情報テーブル４０１に対して、オフセットが追加されている。オフセットは、生存情報を異なるタイミングで送信するための時間差を示す情報である。例えば、リンクダウンの検出に３００ｍｓかかり、生存情報を送信するパスとして５つのＬＡＮある場合を考える。この場合、リンクダウンの検出にかかる時間３００ｍｓを５等分し、６０ｍｓずつずらして、各処理装置から生存情報を送信する。すなわち、各ＬＡＮの初回の生存情報の送信時刻はそれぞれ、０ｍｓ（オフセット０）、６０ｍｓ（オフセット１）、１２０ｍｓ（オフセット２）、１８０ｍｓ（オフセット３）、２４０ｍｓ（オフセット４）となり、これ以降はＬＡＮごとの監視周期で生存情報が送信される。なお、本例では、リンクダウンの検出にかかる時間を均等に分ける場合を例示したが、各ＬＡＮの通信状況に応じて案分してオフセットを定めてもよい。

図１１は、図１０で示した生存情報テーブル１００１を用いて、各処理装置の生存監視部３０１が行う生存監視処理の処理手順を示すフローチャートである。図１１では、生存情報を送信する際の判定ステップが図６とは異なるため、このステップについて説明し、他のステップは同一の符号を付してその説明を省略する。

Ｓ１１０１では、生存監視部３０１は、Ｓ６０１でカウントアップした自装置の生存時刻に上記オフセットを加えた値が監視対象の監視周期の倍数となったか否かを判定する（Ｓ１１０１）。生存監視部３０１は、Ｓ６０１でカウントアップした自装置の生存時刻に上記オフセットを加えた値が監視対象の監視周期の倍数となったと判定した場合（１１０１；Ｙｅｓ）、監視対象に、カウントアップした自装置の生存情報（図５）を送信する（Ｓ６０４）。一方、生存監視部３０１は、Ｓ６０１でカウントアップした自装置の生存時刻に上記オフセットを加えた値が監視対象の監視周期の倍数となっていないと判定した場合（Ｓ１１０１；Ｎｏ）、何もせずにＳ６０５に進む。

このように、生存監視部３０１が、自装置の生存時刻に生存情報を異なるタイミングで送信するための時間差を示すオフセットを加えた値に基づいて、生存情報を、各ＬＡＮを介して各処理装置に送信するので、余計な通信負荷をかけることなく、系間ＬＡＮの障害を他系の電源断と誤認識するリスクを低減する。すなわち、多少のパケットロストや送受信の遅延が発生した場合でも、系間ＬＡＮのリンクダウン検出時間の間に任意のＬＡＮから生存情報を受信できる可能性を高めることができる。

１０００ 制御システム
１０１、１０２ 処理装置（主系）
１１１、１１２ 処理装置（従系）
１０３ ペア間ＬＡＮ（主系）
１１３ ペア間ＬＡＮ（従系）
１０７ 電源系統（主系）
１１７ 電源系統（従系）
１０４ 内部ＬＡＮ
１０５ 外部ＬＡＮ
１０６、１０７ 系間ＬＡＮ
３０１ 生存監視部
３０２ 生存情報受信部
３０３ 障害検出部
３０４ 多重系制御部

Images