JP2007274255A

JP2007274255A - 冗長構成システム及びノード

Info

Publication number: JP2007274255A
Application number: JP2006096287A
Authority: JP
Inventors: Tadaaki Miyata; 忠明宮田
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2006-03-31
Filing date: 2006-03-31
Publication date: 2007-10-18

Abstract

【課題】少ない予備系ノードを用いて、運用系サーバに障害が発生したときでも、適正な動作を可能にすること。
【解決手段】複数の運用系ノード１００〜１２０に対して一つの予備系ノード１３０が設けられている。通常運用時、ノード１００はノード１１０上の共有メモリ１１３の予備系メモリ領域１１５を予備系メモリとして利用することによってデータを二重化する。ノード１００が障害となった際は、保守ノード１５０がノード１３０へ系切替指示を行い、ノード１３０は障害となったノード１００に代わって新たな運用系ノードとなり、ノード１３０はノード１００が使用していたノード１１０上の予備系メモリ領域１１５を予備系メモリとして利用し、ノード１３０が運用系メモリ領域１３４を参照の際には、ノード１１０の予備系メモリ領域１１５上のデータを運用系メモリ領域１３４へ転送することにより、ノード１００が参照していたデータの参照を可能とする。
【選択図】図１

Description

本発明は、運用系ノード及び予備系ノードを有する冗長構成システム、前記冗長構成システムの構築に好適なノード及びコンピュータプログラムに関する。

一般的に、メモリ上のデータの二重化を含めたノード冗長構成の二重化システムでは、運用系ノードと予備系ノードの二台のノードを一組としてシステムを構成している（特許文献１〜７参照）。
例えば、特許文献１、２には、運用系ノードと予備系ノードの二台のノードを一組とした二重化構成の冗長構成システムが開示されている。この構成では、運用系ノードのプロセッサの処理能力等の問題で運用系を複数台配備する必要があるときに、予備系ノードも運用系ノードと同じ台数配備する必要がある。このため、予備系ノードは通常待機状態で未使用にもかかわらず、ｎ台の運用系ノードに対して、予備系ノードを含めるとシステム全体で２ｎ台のノードを必要とする問題がある。

また、特許文献３〜５には、冗長構成システムにおいて、ハードディスクのミラーリングを行うことによって冗長化を図るようにした冗長構成システムが開示されている。
しかしながら、運用系サーバと待機系サーバのミラーリングを行っているため、多くの台数の運用系サーバを使用すると共に少ない台数の待機系サーバを使用した場合、多数の運用系サーバのミラーリングを少ない待機系サーバによって行うことになるため、使用する運用系サーバの台数が待機系サーバの記憶領域容量によって制限されるという問題がある。
この問題を解決するために待機系サーバの台数を増やした場合、システム構成が複雑になるという問題がある。

特開２００５−５６２９７号公報特開２００４−１１０５０９号公報特開２０００−２７８２８６号公報特開２００５−５５９９５号公報特開平７−２１９８３０号公報特開平１０−１０５４２４号公報特開平１１−６５８６７号公報

本発明は、運用系ノードと予備系ノードを有し、前記運用系ノードの運用に支障が生じたとき前記予備系ノードを運用するようにした冗長構成システムにおいて、少ない予備系ノードを用いて、運用系サーバに障害が発生したときでも、適正な動作を可能にすることを課題としている。

本発明によれば、運用系ノードと予備系ノードを有し、前記運用系ノードの運用に障害が生じたとき、当該運用系ノードに代わって前記予備系ノードを運用するようにした冗長構成システムにおいて、複数の運用系ノードに対して一つの予備系ノードを設け、前記各運用系ノードは運用系メモリ領域と予備系メモリ領域とを含む共有メモリを有し、前記運用系ノードは、他の運用系ノードの共有メモリにおける予備系メモリ領域を予備系メモリとして利用することを特徴とする冗長構成システムが提供される。
複数の運用系ノードに対して一つの予備系ノードを設け、前記各運用系ノードは運用系メモリ領域と予備系メモリ領域とを含む共有メモリを有し、前記運用系ノードは、他の運用系ノードの共有メモリにおける予備系メモリ領域を予備系メモリとして利用する。運用系メモリ領域は、自己が有する共有メモリの運用系メモリ領域を運用系メモリとして使用するように構成してもよい。

ここで、前記運用系ノードは、当該運用系ノードの運用系メモリ領域のデータを更新するとき、他の運用系ノードの予備系メモリ領域へ前記データを転送することにより、データの二重化を行うように構成してもよい。
また、更に、前記運用系ノード及び予備系ノードの状態を管理する保守ノードを有し、前記保守ノードは、前記運用系ノードの運用に障害が生じたとき、前記予備系ノードに対して系切り替え指示を行うことにより、前記予備系ノードを前記障害が生じた運用系ノードに代わって新たな運用系ノードとし、前記新たな運用系ノードは、前記障害の生じた運用系ノードが使用していた他の運用系ノード上の共有メモリの予備系メモリ領域を、予備系メモリとして利用するように構成してもよい。
また、前記新たな運用系ノードが運用系メモリ領域を参照するときには、前記他の運用系ノードの予備系メモリ領域上のデータを前記新たな運用系ノードの運用系メモリ領域へ転送することにより、前記障害の生じた運用系ノードが参照していたデータを参照可能にするように構成してもよい。

また、本発明によれば、第１メモリ参照テーブルと、第１データ二重化手段と、第１処理手段と、第１運用系メモリ領域及び第１予備系メモリ領域を有する第１共有メモリ手段とを有する複数の運用系ノードと、第２メモリ参照テーブルと、第２データ二重化手段と、第２処理手段と、第２運用系メモリ領域及び第２予備系メモリ領域を有する第２共有メモリ手段とを有し、前記複数の運用系ノードに対して設けられた一つの予備系ノードとを備え、前記各運用系ノードの第１メモリ参照テーブルには、予備系メモリとして使用する他の運用系ノードを表す予備系メモリノード番号及び運用系メモリ領域のデータと前記予備系データの同期状態を示す情報が含まれて成り、前記各運用系ノードの第１処理手段は前記運用系メモリ領域にデータを書き込んだとき、前記第１データ二重化手段に対してデータ書き込み要求を行い、前記データ書き込み要求を受けた前記第１データ二重化手段は、前記メモリ参照テーブルを参照して、予備系メモリ領域として利用している前記他の運用系ノードに前記データを送信し、前記他の運用系ノードのデータ二重化手段は受信した前記データを前記予備系メモリ領域に書き込むことを特徴とする冗長構成システムが提供される。

各運用系ノードの第１処理手段は前記運用系メモリ領域にデータを書き込んだとき、第１データ二重化手段に対してデータ書き込み要求を行い、前記データ書き込み要求を受けた前記第１データ二重化手段は、メモリ参照テーブルを参照して、予備系メモリ領域として利用している前記他の運用系ノードに前記データを送信し、前記他の運用系ノードのデータ二重化手段は受信した前記データを前記予備系メモリ領域に書き込む。

ここで、更に、前記各ノードのメモリ参照先テーブルと、装置状態テーブルと、装置管理手段とを有し、前記運用系ノード及び予備系ノードの状態を管理する保守ノードとを備え、前記装置管理手段は、前記運用系ノードのいずれかに障害が生じたことを検出すると、前記予備系ノードの第２データ二重化手段へ系切り替え指示を行い、前記予備系ノードは前記切り替え指示に応答して新たな運用系ノードとなり、前記保守ノードの装置管理手段は、前記装置状態テーブルの前記障害が生じた運用系ノードの障害状態の欄を障害にし、前記新たな運用系ノードの障害状態の欄を正常、運用系／予備系の欄を運用系にし、前記障害が生じた運用系ノードの予備系メモリノード番号及び予備系メモリ番地を引き継いで、前記装置状態テーブルの新たな運用系ノードの予備系メモリノード番号の欄を前記障害が生じた運用系ノードが使用していたノードに変更し、前記新たな運用系ノードの第２データ二重化手段に対して、前記装置状態テーブルに記録されている前記新たな運用系ノードの予備系メモリノード番号及び予備系メモリ番地を通知し、前記第２データ二重化手段は自己のメモリ参照先テーブルへ予備系メモリノード番号及び予備系メモリ番地を記録するように構成してもよい。

また、前記新たな運用系ノードの第２処理手段が前記第２運用系メモリ領域のデータを参照した場合、前記第２処理手段は前記第２データ二重化手段に対してデータ読み込み要求通知を行い、前記第２データ二重化手段は前記第２メモリ参照先テーブルを参照し、前記第２メモリ参照先テーブルに記憶された予備系メモリの運用系ノードのデータ二重化手段に対してデータ転送要求を行い、前記転送要求を受けた運用系ノードのデータ二重化手段は前記新たな運用系ノードのデータ二重化手段へ該当データを転送し、前記新たな運用系ノードの第２データ二重化手段は前記第２運用系メモリ領域へ該当データを書き込み完了後、前記新たな運用系ノードの第２メモリ参照先テーブルの同期状態を示す情報を同期済みに変更し、前記新たな運用系ノードの第２処理手段に処理の再開を通知し、通知を受けた前記処理手段は前記第２運用系メモリ領域のデータを参照し処理を続行するように構成してもよい。
また、前記障害が生じた運用系ノードが復旧した場合、前記保守ノードの装置管理手段は、前記装置状態テーブルにおける前記障害から復旧したノードの障害状態の欄を正常にするとともに予備系か運用系かを表す情報を予備系に変更するように構成してもよい。

また、本発明によれば、予備系ノードとともにネットワークに接続して冗長構成システムを構築する運用系ノードにおいて、第１メモリ参照テーブルと、第１データ二重化手段と、第１処理手段と、第１運用系メモリ領域及び第１予備系メモリ領域を有する第１共有メモリ手段とを有し、前記第１メモリ参照テーブルには、予備系メモリとして使用する他の運用系ノードを表す予備系メモリノード番号及び運用系メモリ領域のデータと前記予備系メモリ領域のデータの同期状態を示す情報が含まれて成り、前記各運用系ノードの第１処理手段は前記運用系メモリ領域にデータを書き込んだとき、前記第１データ二重化手段に対してデータ書き込み要求を行い、前記データ書き込み要求を受けた前記第１データ二重化手段は、前記メモリ参照テーブルを参照して、予備系メモリ領域として利用している前記他の運用系ノードに前記データを送信し、前記他の運用系ノードのデータ二重化手段は受信した前記データを前記予備系メモリ領域に書き込むことを特徴とする運用系ノードが提供される。

各運用系ノードの第１処理手段は運用系メモリ領域にデータを書き込んだとき、第１データ二重化手段に対してデータ書き込み要求を行い、前記データ書き込み要求を受けた前記第１データ二重化手段は、メモリ参照テーブルを参照して、予備系メモリ領域として利用している前記他の運用系ノードに前記データを送信し、前記他の運用系ノードのデータ二重化手段は受信した前記データを前記予備系メモリ領域に書き込む。

また、本発明によれば、複数の運用系ノードとともにネットワークに接続して冗長構成システムを構築する予備系ノードにおいて、第２メモリ参照テーブルと、第２データ二重化手段と、第２処理手段と、第２運用系メモリ領域及び第２予備系メモリ領域を有する第２共有メモリ手段とを有し、保守ノードからの系切り替え指示に応答して新たな運用系ノードとなった後、前記第２処理手段が前記第２運用系メモリ領域のデータを参照した場合、前記第２処理手段は前記第２データ二重化手段に対してデータ読み込み要求通知を行い、前記第２データ二重化手段は、前記第２メモリ参照先テーブルを参照し、前記第２メモリ参照先テーブルに記憶された予備系メモリの運用系ノードのデータ二重化手段に対してデータ転送要求を行い、前記転送要求を受けた運用系ノードからのデータを前記第２運用系メモリ領域へ書き込み完了後、前記第２メモリ参照先テーブルの同期状態を示す情報を同期済みに変更し、前記第２処理手段に処理の再開を通知し、通知を受けた前記処理手段は、前記第２運用系メモリ領域のデータを参照して処理を続行することを特徴とする予備系ノードが提供される。

保守ノードからの系切り替え指示に応答して新たな運用系ノードとなった後、第２処理手段が第２運用系メモリ領域のデータを参照した場合、第２処理手段は第２データ二重化手段に対してデータ読み込み要求通知を行い、前記第２データ二重化手段は、第２メモリ参照先テーブルを参照し、前記第２メモリ参照先テーブルに記憶された予備系メモリの運用系ノードのデータ二重化手段に対してデータ転送要求を行い、前記転送要求を受けた運用系ノードからのデータを前記第２運用系メモリ領域へ書き込み完了後、前記第２メモリ参照先テーブルの同期状態を示す情報を同期済みに変更し、前記第２処理手段に処理の再開を通知し、通知を受けた前記処理手段は、前記第２運用系メモリ領域のデータを参照して処理を続行する。

また、本発明によれば、運用系ノードと予備系ノードを有し前記運用系ノードの運用に障害が生じたとき、当該運用系ノードに代わって前記予備系ノードを新たな運用系ノードとして運用する冗長構成システムに使用され、前記各ノードのメモリ参照先テーブルと、装置状態テーブルと、装置管理手段とを有し、前記運用系ノード及び予備系ノードの状態を管理する保守ノードであって、前記装置管理手段は、前記運用系ノードのいずれかに障害が生じたことを検出すると、前記予備系ノードの第２データ二重化手段へ系切り替え指示を行い、前記装置状態テーブルの前記障害が生じた運用系ノードの障害状態の欄を障害にし、前記新たな運用系ノードの障害状態の欄を正常にすると共に運用系か予備系かを表す欄を運用系にし、前記障害が生じた運用系ノードの予備系メモリノード番号及び予備系メモリ番地を引き継いで、前記装置状態テーブルの新たな運用系ノードの予備系メモリノード番号の欄を前記障害が生じた運用系ノードが使用していたノードに変更し、前記新たな運用系ノードの第２データ二重化手段に対して、前記装置状態テーブルに記録されている前記新たな運用系ノードの予備系メモリノード番号及び予備系メモリ番地を通知し、前記第２データ二重化手段は自己のメモリ参照先テーブルへ予備系メモリノード番号及び予備系メモリ番号を記録することを特徴とする保安ノードが提供される。

装置管理手段は、運用系ノードのいずれかに障害が生じたことを検出すると、予備系ノードの第２データ二重化手段へ系切り替え指示を行い、装置状態テーブルの前記障害が生じた運用系ノードの障害状態の欄を障害にし、前記新たな運用系ノードの障害状態の欄を正常にすると共に運用系か予備系かを表す欄を運用系にし、前記障害が生じた運用系ノードの予備系メモリノード番号及び予備系メモリ番地を引き継いで、前記装置状態テーブルの新たな運用系ノードの予備系メモリノード番号の欄を前記障害が生じた運用系ノードが使用していたノードに変更し、前記新たな運用系ノードの第２データ二重化手段に対して、前記装置状態テーブルに記録されている前記新たな運用系ノードの予備系メモリノード番号及び予備系メモリ番地を通知し、前記第２データ二重化手段は自己のメモリ参照先テーブルへ予備系メモリノード番号及び予備系メモリ番号を記録する。
ここで、前記障害が生じた運用系ノードが復旧した場合、前記装置管理手段は、前記装置状態テーブルにおける前記障害から復旧したノードの障害状態の欄を正常にすると共に予備系か運用系かを表す欄を予備系に変更するように構成してもよい。

また、本発明によれば、予備系ノードとともにネットワークに接続して冗長構成システムを構築する運用系ノードとして使用するコンピュータを、第１データ二重化処理手段と、第１処理手段とを有し、前記第１処理手段は、前記運用系メモリ領域にデータを書き込んだとき、前記第１データ二重化手段に対してデータ書き込み要求を行い、前記データ書き込み要求を受けた前記第１データ二重化手段は、前記メモリ参照テーブルを参照して、予備系メモリ領域として利用している前記他の運用系ノードに前記データを送信するように機能させることを特徴とするプログラムが提供される。

予備系ノードとともにネットワークに接続して冗長構成システムを構築する運用系ノードとして使用するコンピュータは、プログラムを実行することにより、第１データ二重化処理手段と、第１処理手段とを有し、前記第１処理手段は、前記運用系メモリ領域にデータを書き込んだとき、前記第１データ二重化手段に対してデータ書き込み要求を行い、前記データ書き込み要求を受けた前記第１データ二重化手段は、前記メモリ参照テーブルを参照して、予備系メモリ領域として利用している前記他の運用系ノードに前記データを送信するように機能する。

また、本発明によれば、複数の運用系ノードとともにネットワークに接続して冗長構成システムを構築する予備系ノードとして使用するコンピュータを、第２データ二重化手段と、第２処理手段とを有し、保守ノードからの系切り替え指示に応答して新たな運用系ノードとなった後、前記第２処理手段が第２運用系メモリ領域のデータを参照した場合、前記第２処理手段は前記第２データ二重化手段に対してデータ読み込み要求通知を行い、前記第２データ二重化手段は、第２メモリ参照先テーブルを参照し、前記第２メモリ参照先テーブルに記憶された予備系メモリの運用系ノードのデータ二重化手段に対してデータ転送要求を行い、前記転送要求を受けた運用系ノードからのデータを前記第２運用系メモリ領域へ書き込み完了後、前記第２メモリ参照先テーブルの同期状態を示す情報を同期済みに変更し、前記第２処理手段に処理の再開を通知し、通知を受けた前記処理手段は、前記第２運用系メモリ領域のデータを参照して処理を続行するように機能させることを特徴とするプログラムが提供される。

複数の運用系ノードとともにネットワークに接続して冗長構成システムを構築する予備系ノードとして使用するコンピュータは、プログラムを実行することにより、第２データ二重化手段と、第２処理手段とを有し、保守ノードからの系切り替え指示に応答して新たな運用系ノードとなった後、前記第２処理手段が第２運用系メモリ領域のデータを参照した場合、前記第２処理手段は前記第２データ二重化手段に対してデータ読み込み要求通知を行い、前記第２データ二重化手段は、第２メモリ参照先テーブルを参照し、前記第２メモリ参照先テーブルに記憶された予備系メモリの運用系ノードのデータ二重化手段に対してデータ転送要求を行い、前記転送要求を受けた運用系ノードからのデータを前記第２運用系メモリ領域へ書き込み完了後、前記第２メモリ参照先テーブルの同期状態を示す情報を同期済みに変更し、前記第２処理手段に処理の再開を通知し、通知を受けた前記処理手段は、前記第２運用系メモリ領域のデータを参照して処理を続行するように機能する。

また、本発明によれば、運用系ノードと予備系ノードを有し、前記運用系ノードの運用に障害が生じたとき、当該運用系ノードに代わって前記予備系ノードを新たな運用系ノードとして運用する冗長構成システムに使用する保安ノードであって、装置管理手段を有し、前記運用系ノード及び予備系ノードの状態を管理する保守ノードとして使用するコンピュータを、前記装置管理手段は、前記運用系ノードのいずれかに障害が生じたことを検出すると、前記予備系ノードの第２データ二重化手段へ系切り替え指示を行い、装置状態テーブルの前記障害が生じた運用系ノードの障害状態の欄を障害にし、前記新たな運用系ノードの障害状態の欄を正常にすると共に運用系か予備系かを表す欄を運用系にし、前記障害が生じた運用系ノードの予備系メモリノード番号及び予備系メモリ番地を引き継いで、前記装置状態テーブルの新たな運用系ノードの予備系メモリノード番号の欄を前記障害が生じた運用系ノードが使用していたノードに変更し、前記新たな運用系ノードの第２データ二重化手段に対して、前記装置状態テーブルに記録されている前記新たな運用系ノードの予備系メモリノード番号及び予備系メモリ番地を通知するように機能させることを特徴とするプログラムが提供される。

運用系ノードと予備系ノードを有し、前記運用系ノードの運用に障害が生じたとき、当該運用系ノードに代わって前記予備系ノードを新たな運用系ノードとして運用する冗長構成システムに使用する保安ノードであって、装置管理手段を有し、前記運用系ノード及び予備系ノードの状態を管理する保守ノードとして使用するコンピュータは、プログラムを実行することにより、前記装置管理手段は、前記運用系ノードのいずれかに障害が生じたことを検出すると、前記予備系ノードの第２データ二重化手段へ系切り替え指示を行い、装置状態テーブルの前記障害が生じた運用系ノードの障害状態の欄を障害にし、前記新たな運用系ノードの障害状態の欄を正常にすると共に運用系か予備系かを表す欄を運用系にし、前記障害が生じた運用系ノードの予備系メモリノード番号及び予備系メモリ番地を引き継いで、前記装置状態テーブルの新たな運用系ノードの予備系メモリノード番号の欄を前記障害が生じた運用系ノードが使用していたノードに変更し、前記新たな運用系ノードの第２データ二重化手段に対して、前記装置状態テーブルに記録されている前記新たな運用系ノードの予備系メモリノード番号及び予備系メモリ番地を通知するように機能する。
ここで、前記装置管理手段は、前記障害が生じた運用系ノードが復旧した場合、前記装置状態テーブルにおける前記障害から復旧したノードの障害状態の欄を正常にすると共に予備系か運用系かを表す欄を予備系に変更するように機能させるよう、前記プログラムを構成してもよい。

本発明に係る冗長構成システムによれば、運用系ノードと予備系ノードを有し、前記運用系ノードの運用に支障が生じたとき前記予備系ノードを運用するようにした冗長構成システムにおいて、少ない予備系ノードを用いて、運用系サーバに障害が発生したときでも、適正な動作を行うことが可能になる。
また、本発明に係るノードによれば、前記冗長構成システムの構築に好適な運用系ノード、予備系ノード、保安ノードが提供される。
また、本発明に係るプログラムによれば、コンピュータを前記ノードとして機能させることが可能になる。

以下、本発明の実施の形態に係る冗長構成システム、前記冗長構成システムに好適なノード、コンピュータに実行させるプログラム、冗長構成システムにおける二重化処理方法について説明する。
図１は、本発明の実施の形態に係る冗長構成システムを、ハードウェア的な構成と機能的な構成（処理）とに分けて示したブロック図である。冗長構成システムは、複数の運用系ノード１００、１１０、１２０、予備系ノード１３０、保守ノード１５０をネットワーク接続した構成となっている。各ノード１００〜１３０、１５０は、キーボード等の入力手段、表示装置等の出力手段、中央処理装置（ＣＰＵ）によって構成された処理手段、前記ＣＰＵが実行するコンピュータプログラムやデータを記憶する記憶手段等を備えたコンピュータによって構成されている。尚、ノード１００〜ノード１３０は同一構成となっている。

図１において、運用系ノード１００は、他のノード１１０〜１３０も利用可能なメモリである共有メモリ１０３を備えている。ノード１００のユーザプロセス部１０２は、共有メモリ１０３の運用系メモリ領域１０４を参照して、計算処理等の各種処理を行う。運用系メモリ領域１０４は、例えば他のノード１１０上の共有メモリ１１３の予備系メモリ領域１１５とデータが二重化されている。運用系メモリ領域１０４は当該運用系メモリ領域を内蔵している運用系ノードが各種処理を実行するために利用するメモリ領域である。予備系メモリ領域１１５はデータ二重化のために、当該メモリ領域を内蔵しない運用系ノード（他の運用系ノード）が利用するメモリ領域である。一の運用系ノードが内蔵する運用系メモリ領域と、当該運用系ノードが利用する他の運用系ノードの予備系メモリ領域とには同一のデータが記憶される。

運用系ノード１００上のデータ二重化プロセス部１０１は、ユーザプロセス部１０２が利用するメモリ領域の二重化管理を行うプロセス部である。
メモリ参照先テーブル１０６は、データ二重化プロセス部１０１が管理する予備系メモリ領域の存在場所を表す情報を格納したテーブルである。メモリ参照先テーブル１０６には、予備系メモリを内蔵するノードの番号（予備系メモリノード番号）及び前記予備系メモリノード番号に対応付けた予備系メモリ番地が記録されている。
即ち、メモリ参照先テーブル１０６は、データ二重化プロセス部１０１が管理するユーザプロセス部１０２の予備系メモリ領域の存在場所を予備系メモリノード番号及び予備系メモリ番地として記録するテーブルである。

図２は、本実施の形態で示す状態毎の装置状態テーブル１５３及びメモリ参照テーブル１０６、１１６、１２６、１３６を示した表である。
メモリ参照先テーブル１０６の構成は表２０１となる。メモリ番地（領域）毎に、予備系メモリノード番号、予備系メモリ番地、運用系メモリと予備系メモリが同期しているか否かを表す状態を対応付けて記録する。予備系メモリノード番号、及び予備系メモリ番地の欄は、そのメモリ番地が予備系として使用するメモリ領域のノード番号とメモリ番地を記録する。状態の欄は、同期済みの場合は、そのメモリ番地のメモリが予備系メモリ領域と内容が同期されており二重化が完了していることを示し、初期値の場合は、運用系メモリと予備系メモリの内容は同期されておらず、必要なメモリの内容が予備系メモリ領域に存在する事を示す。
他の運用系のノード１１０、１２０及び予備系のノード１３０についてもノード１００と同様の構成である。

保守ノード１５０は運用系ノード及び予備系ノードの装置状態を管理するノードである。保守ノード１５０は各運用系ノード及び予備系ノードに障害が生じていないかを常時監視しており、いずれかの運用系ノードに障害が生じたとき、当該運用系ノードに代えて予備系ノードを新たな運用系ノードとして動作させる。
保守ノード１５０上の装置管理プロセス部１５１は、各ノード１００〜１３０の装置状態を管理するプロセス部である。各ノードのメモリ参照先テーブル１５２は、各ノード１００〜１３０が予備系メモリとして使用しているノード番号及び予備系メモリの番地が対応付けて記録されている。

装置状態テーブル１５３は、装置管理プロセス部１５１が管理するノード１００〜１３０の状態を記録するテーブルである。本実施の形態では、装置状態テーブル１５３には、各ノードの番号、正常に動作しているか否か（障害状態）、運用系と予備系のどちらか（運用系／予備系）、そのノードが予備系メモリを使用しているノードの番号（予備系メモリノード番号）、予備系メモリの番地が対応付けて記録されている。

装置状態テーブル１５３の構成は、具体的には、図２における表２００となる。ノード番号毎に、障害状態、運用系／予備系、予備系メモリノード番号、予備系メモリ番地を記録する。障害状態の欄は、そのノードが正常運転中か障害中かを記録する。運用系／予備系の欄は、そのノードが運用系で運転中なのか、予備系として待機中なのかを記録する。
運用系ノードが障害状態になったときに、装置管理プロセス部１５１からの系切り替え指示で予備系ノードは障害状態となった運用系ノードを引き継いで新運用系ノードとなる。予備系メモリノード番号、及び予備系メモリ番地の欄は、そのノードが使用する予備系メモリ領域のノード番号、及びメモリ番地を記録する。

プロセッサの処理能力等の問題で運用系ノードを複数台配備する必要がある場合でも、それぞれの運用系ノードのメモリ容量については十分余裕があるものとする。
このとき、図１に示されるように、運用系ノード１００のユーザプロセス部１０２は、他の運用系ノード１１０上の共有メモリ１１３の予備系メモリ領域１１５を予備系メモリとして利用する。ユーザプロセス部１０２が運用系メモリ領域１０４を更新の際には、データ二重化プロセス部１０１が運用系メモリ領域１０４上のデータ領域を他の運用系ノード１１０の予備系メモリ領域１１５へ転送することでデータの二重化を行う。

運用系ノード１００が障害となった際は、保守ノード１５０の装置管理プロセス部１５１が１台配備された予備系ノード１３０へ系切り替え指示を行い、予備系ノード１３０は新運用系ノード１３０となる。
系切り替え後、新運用系ノード１３０のユーザプロセス部１３２は、旧運用系ノード１００が利用していた他の運用系ノード１１０上の共有メモリ１１３の予備系メモリ領域１１５を予備系メモリとしてそのまま利用する。ユーザプロセス部１３２が運用系メモリ領域１３４を参照の際には、データ二重化プロセス部１３１が予備系メモリ領域１１５上のデータを新運用系１３０の運用系メモリ１３４領域へ転送することで、旧運用系ノード１００のユーザプロセス部１０２が参照していたデータの参照を可能とする。

尚、データ二重化プロセス部１０１、１１１、１２１は第１データ二重化手段を構成し、データ二重化プロセス部１３１は第２データ二重化手段を構成している。ユーザプロセス部１０２、１１２、１２２は第１処理手段を構成し、ユーザプロセス部１３２は第２処理手段を構成している。また、装置管理プロセス部１５１は装置管理手段を構成している。
図３は、本発明の実施の形態に係る増長構成システムの処理を示すフローチャートである。

以下、図１〜図３を参照して、本実施の形態の動作について詳細に説明する。
各運用系ノード１００〜１２０が正常に運転している状態である通常運用時には、保守ノード１５０の装置状態テーブル１５３は表２００の状態、ノード１００のメモリ参照先テーブル１０６は表２０１の状態となっている。
この状態で、ユーザプロセス部１０２が運用系メモリ領域１０４をアクセスして（ステップＳ３００）、メモリ番地１０にデータを書き込んだとする（ステップ３０１、ステップ３０２）。

このとき、ユーザプロセス部１０２はデータ二重化プロセス部１０１に対してデータ書き込み要求通知を行う（ステップ３０３）。書き込み通知を受けたデータ二重化プロセス部１０１は、運用系メモリ領域１０４のメモリ番地１０の該当データを、ノード１００の予備系メモリのノードであるノード１１０のデータ二重化プロセス部１１１へＬＡＮ１６０を通して転送する（ステップ３０４）。

データ二重化プロセス部１１１は予備系メモリ１１５のメモリ番地２０へデータを書き込む。データ書き込み時はこの手順を繰り返すことにより、ノード１００の運用系メモリ領域１０４の二重化を行う。ノード１１０、ノード１２０についても同様の手順で運用系メモリの二重化を行う。
この状態から、ノード１００が障害になったとする。このとき、保守ノード１５０の装置管理プロセス部１５１はノード１００に障害が生じたことを検出すると、１台配備された予備系ノード１３０のデータ二重化プロセス部１３１へ系切り替え指示を行い、予備系ノード１３０は前記切り替え指示に応答して新運用系ノード１３０となる。

保守ノード１５０の装置管理プロセス部１５１は、装置状態テーブル１５３のノード１００の障害状態の欄を障害にし、ノード１３０の障害状態の欄を正常、運用系／予備系の欄を運用系にする。また、元運用系ノード１００の予備系メモリノード番号、及び予備系メモリ番地を引き継いで、装置状態テーブル１５３の新運用系ノード１３０の予備系メモリノード番号の欄をノード１１０、予備系メモリ番地の欄を２０〜２３に変更する。

装置管理プロセス部１５１は、ノード１３０のデータ二重化プロセス部１３１に対して、装置状態テーブル１５３に記録されているノード１３０の予備系メモリノード番号及び予備系メモリ番地を通知し、通知を受けたデータ二重化プロセス部１３１はメモリ参照先テーブル１３６へ予備系メモリノード番号及び予備系メモリ番地を記録する。
このとき、装置状態テーブル１５３は表２１０の状態、ノード１３０のメモリ参照先テーブル１３６は表２１１の状態となる。系切り替え後、新運用系ノード１３０上のユーザプロセス部１３２は処理を開始する。

次に、ノード１３０のユーザプロセス部１３２が運用系メモリ領域１３４のメモリ番地１０のデータを参照したとする（ステップ３０１）。ユーザプロセス部１３２は、データ二重化プロセス部１３１に対してデータ読み込み要求通知を行う（ステップ３０５）。
データ二重化プロセス部１３１は、メモリ参照先テーブル１３６を参照し（表２１１）、メモリ番地１０の状態の欄が初期値なので（ステップ３０６）、メモリ参照先テーブル１３６の予備系メモリノード番号と予備系メモリ番地の欄を参照する。

番地１０の予備系メモリノード番号は１１０、予備系メモリ番地は２０のため、ノード１１０のデータ二重化プロセス部１１１に対してデータ転送要求を行う（ステップ３０７）。
転送要求を受けたノード１１０のデータ二重化プロセス部１１１は、ノード１３０のデータ二重化プロセス部１３１へＬＡＮ１６０を通して、メモリ番地２０の該当データを転送する。

データ二重化プロセス部１３１はメモリ番地１０へ該当データを書き込む。書き込み完了後、データ二重化プロセス部１３１は、メモリ参照先テーブル１３６のメモリ番地１０の状態の欄を同期済みに変更し、ユーザプロセス部１３２に処理の再開を通知する。通知を受けたユーザプロセス部１３２はメモリ番地１０を参照し処理を続行する（ステップ３０８）。

このとき、装置状態テーブル１５３は表２２０の状態、ノード１３０のメモリ参照先テーブル１３６は表２２１の状態となる。
次に、ノード１３０のユーザプロセス部１３２が運用系メモリ領域１３４のメモリ番地１０のデータを再び参照したとする（ステップ３０１）。ユーザプロセス部１３２はデータ二重化プロセス部１３１に対してデータ読み込み要求通知を行う（ステップ３０５）。

データ二重化プロセス部１３１はメモリ参照先テーブル１３６を参照し（表２２１）、メモリ番地１０の状態の欄が同期済みなので（ステップ３０６）、ユーザプロセス部１３２に処理の再開を通知する。通知を受けたユーザプロセス部１３２はメモリ番地１０を参照し処理を続行する（ステップ３０８）。
次に、ノード１００の障害が復旧したとする。保守ノード１５０の装置管理プロセス部１５１は、装置状態テーブル１５３のノード１００の障害状態の欄を正常、予備系／運用系の欄を予備系に変更する。このとき、装置状態テーブル１５３は表２３０の状態、ノード１３０のメモリ参照先テーブル１３６は表２３１の状態となる。

以上述べたように本発明の実施の形態によれば、運用系ノードと予備系ノードを有し、前記運用系ノードに障害が生じたとき前記障害が生じた運用系ノードに代わって前記予備系ノードを運用するようにした冗長構成システムにおいて、複数の運用系ノード１００〜１２０に対して一つの予備系ノード１３０を設け、通常運用時、例えば、ノード１００は、他のノード１１０上の共有メモリ１１３の予備系メモリ領域１１５を予備系メモリとして利用することによってデータを多重化する。

また、ノード１００が障害となった際は、保守ノード１５０がノード１３０へ系切り替え指示を行い、ノード１３０は障害となったノード１００に代わって新たな運用系ノードとなり、ノード１３０はノード１００が使用していたノード１１０上の予備系メモリ領域１１５を予備系メモリとして利用し、ノード１３０が運用系メモリ領域１３４を参照の際には、ノード１１０の予備系メモリ領域１１５上のデータを運用系メモリ領域１３４へ転送することにより、ノード１００が参照していたデータの参照を可能としている。

このように、メモリ上のデータの二重化を含めたノード冗長構成の冗長構成システムにおいて、ｎ組の二重化システムを（ｎ＋１）台のノードで構築することが可能となる。運用系ノードｎ台に対して予備系ノードを１台配備すれば良いので、システム全体では（ｎ＋１）台のノードしか必要とせず、必要なノード数を削減して構成を簡単にすることが可能になるという効果を奏する。
また、前記冗長構成システムに好適なノード、コンピュータに実行させるプログラム、冗長構成システムに好適な多重化処理方法を提供することが可能になる。

運用系ノードと予備系ノードを有し、前記運用系ノードに障害が生じたとき、前記運用系ノードに代えて前記予備系ノードを運用するようにした各種の冗長構成システムや、前記冗長構成システムに使用するノードに適用可能である。

本発明の実施の形態に係る冗長構成システムのブロック図である。本実施の形態で示す状態毎の装置状態テーブル及びメモリ参照テーブルを示した表である。本発明の実施の形態に係る増長構成システムの処理を示すフローチャートである。

符号の説明

１００、１１０、１２０・・・運用系ノード
１０１、１１１、１２１・・・第１データ二重化手段を構成するデータ二重化プロセス部
１０２、１１２、１２２・・・第１処理手段を構成するユーザプロセス部
１０３、１１３、１２３・・・第１共有メモリ手段を構成する共有メモリ
１０４、１１４、１２４・・・第１運用系メモリ領域を構成する運用系メモリ領域
１０５、１１５、１２５・・・第１予備系メモリ領域を構成する予備系メモリ領域
１０６、１１６、１２６・・・第１メモリ参照テーブルを構成するメモリ参照テーブル
１３０・・・予備系ノード
１３１・・・第２データ二重化手段を構成するデータ二重化プロセス部
１３２・・・第２処理手段を構成するユーザプロセス部
１３３・・・第２共有メモリ手段を構成する共有メモリ
１３４・・・第２運用系メモリ領域を構成する運用系メモリ領域
１３５・・・第２予備系メモリ領域を構成する予備系メモリ領域
１３６・・・第２メモリ参照テーブルを構成するメモリ参照テーブル
１５０・・・保守ノード
１５１・・・装置管理手段を構成する装置管理プロセス部
１５２・・・各ノードのメモリ参照先テーブル
１５３・・・装置状態テーブル

Claims

運用系ノードと予備系ノードを有し、前記運用系ノードの運用に障害が生じたとき、当該運用系ノードに代わって前記予備系ノードを運用するようにした冗長構成システムにおいて、
複数の運用系ノードに対して一つの予備系ノードを設け、
前記各運用系ノードは運用系メモリ領域と予備系メモリ領域とを含む共有メモリを有し、
前記運用系ノードは、他の運用系ノードの共有メモリにおける予備系メモリ領域を予備系メモリとして利用することを特徴とする冗長構成システム。
前記運用系ノードは、当該運用系ノードの運用系メモリ領域のデータを更新するとき、他の運用系ノードの予備系メモリ領域へ前記データを転送することにより、データの二重化を行うことを特徴とする請求項１記載の冗長構成システム。
更に、前記運用系ノード及び予備系ノードの状態を管理する保守ノードを有し、
前記保守ノードは、前記運用系ノードの運用に障害が生じたとき、前記予備系ノードに対して系切り替え指示を行うことにより、前記予備系ノードを前記障害が生じた運用系ノードに代わって新たな運用系ノードとし、
前記新たな運用系ノードは、前記障害の生じた運用系ノードが使用していた他の運用系ノード上の共有メモリの予備系メモリ領域を、予備系メモリとして利用することを特徴とする請求項１又は２記載の冗長構成システム。
前記新たな運用系ノードが運用系メモリ領域を参照するときには、前記他の運用系ノードの予備系メモリ領域上のデータを前記新たな運用系ノードの運用系メモリ領域へ転送することにより、前記障害の生じた運用系ノードが参照していたデータを参照可能にすることを特徴とする請求項３記載の冗長構成システム。
第１メモリ参照テーブルと、第１データ二重化手段と、第１処理手段と、第１運用系メモリ領域及び第１予備系メモリ領域を有する第１共有メモリ手段とを有する複数の運用系ノードと、
第２メモリ参照テーブルと、第２データ二重化手段と、第２処理手段と、第２運用系メモリ領域及び第２予備系メモリ領域を有する第２共有メモリ手段とを有し、前記複数の運用系ノードに対して設けられた一つの予備系ノードとを備え、
前記各運用系ノードの第１メモリ参照テーブルには、予備系メモリとして使用する他の運用系ノードを表す予備系メモリノード番号及び運用系メモリ領域のデータと前記予備系データの同期状態を示す情報が含まれて成り、
前記各運用系ノードの第１処理手段は前記運用系メモリ領域にデータを書き込んだとき、前記第１データ二重化手段に対してデータ書き込み要求を行い、前記データ書き込み要求を受けた前記第１データ二重化手段は、前記メモリ参照テーブルを参照して、予備系メモリ領域として利用している前記他の運用系ノードに前記データを送信し、前記他の運用系ノードのデータ二重化手段は受信した前記データを前記予備系メモリ領域に書き込むことを特徴とする冗長構成システム。
更に、前記各ノードのメモリ参照先テーブルと、装置状態テーブルと、装置管理手段とを有し、前記運用系ノード及び予備系ノードの状態を管理する保守ノードとを備え、
前記装置管理手段は、前記運用系ノードのいずれかに障害が生じたことを検出すると、前記予備系ノードの第２データ二重化手段へ系切り替え指示を行い、前記予備系ノードは前記切り替え指示に応答して新たな運用系ノードとなり、
前記保守ノードの装置管理手段は、前記装置状態テーブルの前記障害が生じた運用系ノードの障害状態の欄を障害にし、前記新たな運用系ノードの障害状態の欄を正常、運用系／予備系の欄を運用系にし、前記障害が生じた運用系ノードの予備系メモリノード番号及び予備系メモリ番地を引き継いで、前記装置状態テーブルの新たな運用系ノードの予備系メモリノード番号の欄を前記障害が生じた運用系ノードが使用していたノードに変更し、前記新たな運用系ノードの第２データ二重化手段に対して、前記装置状態テーブルに記録されている前記新たな運用系ノードの予備系メモリノード番号及び予備系メモリ番地を通知し、前記第２データ二重化手段は自己のメモリ参照先テーブルへ予備系メモリノード番号及び予備系メモリ番地を記録することを特徴とする請求項５記載の冗長構成システム。
前記新たな運用系ノードの第２処理手段が前記第２運用系メモリ領域のデータを参照した場合、前記第２処理手段は前記第２データ二重化手段に対してデータ読み込み要求通知を行い、前記第２データ二重化手段は前記第２メモリ参照先テーブルを参照し、前記第２メモリ参照先テーブルに記憶された予備系メモリの運用系ノードのデータ二重化手段に対してデータ転送要求を行い、前記転送要求を受けた運用系ノードのデータ二重化手段は前記新たな運用系ノードのデータ二重化手段へ該当データを転送し、前記新たな運用系ノードの第２データ二重化手段は前記第２運用系メモリ領域へ該当データを書き込み完了後、前記新たな運用系ノードの第２メモリ参照先テーブルの同期状態を示す情報を同期済みに変更し、前記新たな運用系ノードの第２処理手段に処理の再開を通知し、通知を受けた前記処理手段は前記第２運用系メモリ領域のデータを参照し処理を続行することを特徴とする請求項６記載の冗長構成システム。
前記障害が生じた運用系ノードが復旧した場合、前記保守ノードの装置管理手段は、前記装置状態テーブルにおける前記障害から復旧したノードの障害状態の欄を正常にするとともに予備系か運用系かを表す情報を予備系に変更することを特徴とする請求項７記載の冗長構成システム。
予備系ノードとともにネットワークに接続して冗長構成システムを構築する運用系ノードにおいて、
第１メモリ参照テーブルと、第１データ二重化手段と、第１処理手段と、第１運用系メモリ領域及び第１予備系メモリ領域を有する第１共有メモリ手段とを有し、
前記第１メモリ参照テーブルには、予備系メモリとして使用する他の運用系ノードを表す予備系メモリノード番号及び運用系メモリ領域のデータと前記予備系メモリ領域のデータの同期状態を示す情報が含まれて成り、
前記各運用系ノードの第１処理手段は前記運用系メモリ領域にデータを書き込んだとき、前記第１データ二重化手段に対してデータ書き込み要求を行い、前記データ書き込み要求を受けた前記第１データ二重化手段は、前記メモリ参照テーブルを参照して、予備系メモリ領域として利用している前記他の運用系ノードに前記データを送信し、前記他の運用系ノードのデータ二重化手段は受信した前記データを前記予備系メモリ領域に書き込むことを特徴とする運用系ノード。
複数の運用系ノードとともにネットワークに接続して冗長構成システムを構築する予備系ノードにおいて、
第２メモリ参照テーブルと、第２データ二重化手段と、第２処理手段と、第２運用系メモリ領域及び第２予備系メモリ領域を有する第２共有メモリ手段とを有し、
保守ノードからの系切り替え指示に応答して新たな運用系ノードとなった後、前記第２処理手段が前記第２運用系メモリ領域のデータを参照した場合、
前記第２処理手段は前記第２データ二重化手段に対してデータ読み込み要求通知を行い、
前記第２データ二重化手段は、前記第２メモリ参照先テーブルを参照し、前記第２メモリ参照先テーブルに記憶された予備系メモリの運用系ノードのデータ二重化手段に対してデータ転送要求を行い、前記転送要求を受けた運用系ノードからのデータを前記第２運用系メモリ領域へ書き込み完了後、前記第２メモリ参照先テーブルの同期状態を示す情報を同期済みに変更し、前記第２処理手段に処理の再開を通知し、
通知を受けた前記処理手段は、前記第２運用系メモリ領域のデータを参照して処理を続行することを特徴とする予備系ノード。
運用系ノードと予備系ノードを有し前記運用系ノードの運用に障害が生じたとき、当該運用系ノードに代わって前記予備系ノードを新たな運用系ノードとして運用する冗長構成システムに使用され、前記各ノードのメモリ参照先テーブルと、装置状態テーブルと、装置管理手段とを有し、前記運用系ノード及び予備系ノードの状態を管理する保守ノードであって、
前記装置管理手段は、前記運用系ノードのいずれかに障害が生じたことを検出すると、前記予備系ノードの第２データ二重化手段へ系切り替え指示を行い、前記装置状態テーブルの前記障害が生じた運用系ノードの障害状態の欄を障害にし、前記新たな運用系ノードの障害状態の欄を正常にすると共に運用系か予備系かを表す欄を運用系にし、前記障害が生じた運用系ノードの予備系メモリノード番号及び予備系メモリ番地を引き継いで、前記装置状態テーブルの新たな運用系ノードの予備系メモリノード番号の欄を前記障害が生じた運用系ノードが使用していたノードに変更し、前記新たな運用系ノードの第２データ二重化手段に対して、前記装置状態テーブルに記録されている前記新たな運用系ノードの予備系メモリノード番号及び予備系メモリ番地を通知し、前記第２データ二重化手段は自己のメモリ参照先テーブルへ予備系メモリノード番号及び予備系メモリ番号を記録することを特徴とする保安ノード。
前記障害が生じた運用系ノードが復旧した場合、前記装置管理手段は、前記装置状態テーブルにおける前記障害から復旧したノードの障害状態の欄を正常にすると共に予備系か運用系かを表す欄を予備系に変更することを特徴とする請求項１１記載の保安ノード。
予備系ノードとともにネットワークに接続して冗長構成システムを構築する運用系ノードとして使用するコンピュータを、
第１データ二重化処理手段と、第１処理手段とを有し、
前記第１処理手段は、前記運用系メモリ領域にデータを書き込んだとき、前記第１データ二重化手段に対してデータ書き込み要求を行い、
前記データ書き込み要求を受けた前記第１データ二重化手段は、前記メモリ参照テーブルを参照して、予備系メモリ領域として利用している前記他の運用系ノードに前記データを送信するように機能させることを特徴とするプログラム。
複数の運用系ノードとともにネットワークに接続して冗長構成システムを構築する予備系ノードとして使用するコンピュータを、
第２データ二重化手段と、第２処理手段とを有し、
保守ノードからの系切り替え指示に応答して新たな運用系ノードとなった後、前記第２処理手段が第２運用系メモリ領域のデータを参照した場合、
前記第２処理手段は前記第２データ二重化手段に対してデータ読み込み要求通知を行い、
前記第２データ二重化手段は、第２メモリ参照先テーブルを参照し、前記第２メモリ参照先テーブルに記憶された予備系メモリの運用系ノードのデータ二重化手段に対してデータ転送要求を行い、前記転送要求を受けた運用系ノードからのデータを前記第２運用系メモリ領域へ書き込み完了後、前記第２メモリ参照先テーブルの同期状態を示す情報を同期済みに変更し、前記第２処理手段に処理の再開を通知し、
通知を受けた前記処理手段は、前記第２運用系メモリ領域のデータを参照して処理を続行するように機能させることを特徴とするプログラム。
運用系ノードと予備系ノードを有し、前記運用系ノードの運用に障害が生じたとき、当該運用系ノードに代わって前記予備系ノードを新たな運用系ノードとして運用する冗長構成システムに使用する保安ノードであって、装置管理手段を有し、前記運用系ノード及び予備系ノードの状態を管理する保守ノードとして使用するコンピュータを、
前記装置管理手段は、前記運用系ノードのいずれかに障害が生じたことを検出すると、前記予備系ノードの第２データ二重化手段へ系切り替え指示を行い、装置状態テーブルの前記障害が生じた運用系ノードの障害状態の欄を障害にし、前記新たな運用系ノードの障害状態の欄を正常にすると共に運用系か予備系かを表す欄を運用系にし、前記障害が生じた運用系ノードの予備系メモリノード番号及び予備系メモリ番地を引き継いで、前記装置状態テーブルの新たな運用系ノードの予備系メモリノード番号の欄を前記障害が生じた運用系ノードが使用していたノードに変更し、前記新たな運用系ノードの第２データ二重化手段に対して、前記装置状態テーブルに記録されている前記新たな運用系ノードの予備系メモリノード番号及び予備系メモリ番地を通知するように機能させることを特徴とするプログラム。
前記装置管理手段は、前記障害が生じた運用系ノードが復旧した場合、前記装置状態テーブルにおける前記障害から復旧したノードの障害状態の欄を正常にすると共に予備系か運用系かを表す欄を予備系に変更するように機能させることを特徴とする請求項１５記載のプログラム。