JP2003108400A - 分散共有メモリシステム及び分散共有メモリ制御方法 - Google Patents

Abstract

(57)【要約】 【課題】 予備ノード分散共有メモリ上のデータ構造の
完全性を常に保持することが可能な分散共有メモリシス
テム及び分散共有メモリ制御方法を提供する。 【解決手段】 本発明は、トランザクション表示ビット
を、現用ノードと予備ノードの間で転送されるメモリ書
き換え情報中に持たせ、現用ノードはメモリ書き換え情
報をメモリライト発生時に転送し、転送されてきたメモ
リ書き換え情報を予備ノード側のバッファに蓄積し、ト
ランザクション表示がない書き換え情報が到着すること
により、それまでに蓄積された書き換え情報を予備ノー
ドのプロセッサからは不可分に共有メモリに書き込む。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、分散共有メモリシ
ステム及び分散共有メモリ制御方法に係り、特に、分散
共有メモリを用いたアクト／スタンバイ型フォールトト
レラントシステムにおける分散共有メモリシステム及び
分散共有メモリ構成方法に関する。

【０００２】

【従来の技術】フォールトトラレントシステムの一つの
形態として、現用ノードと予備ノードを用いて、現用ノ
ードがダウンした際、予備ノードが処理を継続するとい
うシステムがある。

【０００３】現用ノードのメモリ上にある情報を分散共
用メモリによるコピー機構を用いて予備ノード上に逐次
コピーし、現用ノードがダウンした場合、予備ノードに
切り替えることで現用ノードで行っていた処理を継続す
る方法としては、例えば、以下のようなものがある。

【０００４】第１の方法として、通常モードでの転送方
法が開示されている特開２０００−１６３２７５号公報
がある。

【０００５】第２の方法として、予備ノードをネットワ
ーク上において分散処理を行う概念が開示されている特
開平１０−９８５２４号公報がある。

【０００６】また、分散共有メモリの実現方法として
は、例えば、特開平０８−３３９３５４号公報に開示さ
れている方法がある。これは、分散共有メモリの効果を
向上させるための方法が開示されている。

【０００７】

【発明が解決しようとする課題】フォールトトレラント
システム上で動作するアプリケーションプログラムの例
として、２４時間注文を受け付けるオンラインンショッ
ピングシステムなどがある。これらのシステムでは、外
部からのイベントを受け付け、それぞれのイベントに対
応した処理を行い、その結果を外部または、システム内
部へのイベントとして送信する。このようなアプリケー
ションでは、メモリ上にキューやリストなどのデータ構
造を展開し、そこへデータの挿入や削除により処理を進
めることが一般的である。キューやリストなどのデータ
構造は、一般的に複数のポインタやテーブルによって構
成される。従って、これらのデータ構造では、データの
挿入や削除に複数回のメモリ書き換えを要することにな
る。即ち、データの挿入や削除を実行する一連の複数の
メモリ書込みが全て完了した時点で、完全なデータ構造
を保持することになる。

【０００８】現用ノードと予備ノードとの間の分散共有
メモリを用いたアクト／スタンバイ型フォールトトレラ
ントシステムにおいて、上記のようなアプリケーション
プログラムを対象にした場合、現用ノードでのメモリ書
き換えの情報が予備系に逐次転送されてくることから、
予備ノード上における現用ノードのデータ構造の複製
に、不完全な状態が生じることになる。

【０００９】このように、アプリケーションの再開に必
要な処理中データが保存されているこれらのデータ構造
が不完全な状態において、現用ノードが機能停止してし
まった場合、予備ノードでのアプリケーションの正常な
処理の継続ができないという問題がある。

【００１０】このような複数メモリ書き換えのアトミッ
ク性を実現するため、データ構造の完全性を保持するた
めに必要な一連のメモリ書き換え情報を現用ノード上で
一つのパケットにまとめて送信し、予備ノードでは、受
信したパケット単位にパケットに存在する複数の書き換
え情報を不可分に共有メモリに反映する方式が考えられ
る。しかし、１パケット化する方式では、アトミック性
を保証するメモリ書き換えの個数が通信ネットワークの
パケット長で決まってしまうという問題がある。さら
に、インターネットのように経路により最大パケット長
が異なるか、通信経路上で最大パケット長が短い区間が
存在する可能性があり、１パケット化でアトミック性を
保証することは困難である。また、１パケット化するた
め、共有メモリ間での書き換え情報を通信する機能にお
いて、アトミックな書き換えかどうかの状態に依存した
処理を実装する必要があり、ＴＣＰ／ＩＰなどの通信プ
ロトコルの実装を複雑化させ、実現を困難にしている。

【００１１】本発明は、上記の点に鑑みなされたもの
で、分散共有メモリを用いたメモリ二重化によるアクト
／スタンバイ型フォールトトレラントシステムにおい
て、現用ノードにおけるキューやリストなどの更新の際
に発生するアトミック性を持った複数のメモリ書き換え
を、アトミック性を維持したまま予備ノードに転送し、
予備ノードのプロセッサからは不可分に予備ノードの分
散共有メモリに反映させ、予備ノード分散共有メモリ上
のデータ構造の完全性を常に保持することが可能な分散
共有メモリシステム及び分散共有メモリ制御方法を提供
することを目的とする。

【００１２】

【課題を解決するための手段】図１は、本発明の原理構
成図である。

【００１３】本発明（請求項１）は、通常時に処理を実
行する現用ノードと、障害時に該現用ノードの処理を代
行する予備ノードと、該現用ノードと該予備ノードとを
接続するネットワークからなるネットワークシステムに
おいて、該現用ノードと該予備ノードとの間で分散共有
メモリを実現させる分散共有メモリシステムであって、
現用ノードと予備ノードとの間で利用される分散共有メ
モリ３１を有する分散共有メモリ装置３０を有し、分散
共有メモリ装置３０は、現用ノードにおいて、分散共有
メモリ３１へのプロセッサからの書込みを検知し、書込
みアドレスと書き込まれた値の組の情報（以下、メモリ
書き換え情報と記す）を生成し、順に送信するメモリ書
き換え情報生成手段３３１と、予備ノードにおいて、受
信したメモリ書き換え情報から書込みアドレスと値を取
り出し、該予備ノードの分散共有メモリへ不可分に書き
込む共有メモリ書込み手段３３２と、を有する分散共有
メモリ制御装置３３と、現用ノードと予備ノードの間の
ネットワーク上で該現用ノードと該予備ノードの間で信
頼性のあるデータの転送を行うデータ転送手段３４１を
有する通信制御装置３４と、を有し、通信制御装置３４
において、現用ノードと予備ノードの間で、該現用ノー
ドのプロセッサで動作するアプリケーションの指示によ
りコネクションを生成し、分散共有メモリ制御装置３３
において、メモリ書き換え情報生成手段は、現用ノード
での分散共有メモリへの書込みが発生する毎に、該現用
ノード上でメモリ書き換え情報を生成し、生成された該
メモリ書き換え情報を通信制御装置３４に順に転送し、
通信制御装置３４において、データ転送手段３４１は、
現用ノードと予備ノード間のコネクションにより発生順
を保証して、メモリ書き換え情報を該予備ノードへ送信
し、予備ノード上で、受信が完了したメモリ書き換え情
報を発生順に分散共有メモリ制御装置３３に送信し、分
散共有メモリ制御装置３３において、共有メモリ書込み
手段３３２は、予備ノード上で受け取ったメモリ書き換
え情報に基づいて、該予備ノード上の分散共有メモリの
アドレスに値を書き込む。

【００１４】本発明（請求項２）は、分散共有メモリ制
御装置３３において、共有メモリ書込み手段３３２は、
現用ノードで発生する複数のメモリ書き換えを一括して
予備ノードでのプロセッサからは不可分に該予備ノード
の共有メモリ３１に書き込むことにより、メモリ書き換
え情報の中に、該共有メモリ書き換えに続く次のメモリ
書き換え情報を受信後に一括して該予備ノードで反映す
るか否かを示す制御情報であるトランザクション表示ビ
ットを加えて生成する手段と、トランザクション表示ビ
ットが“ＯＮ”のメモリ書き換え情報をはじめて受信し
たときから、受信したすべてのメモリ書き換え情報を蓄
積し、該トランザクション表示ビットが“ＯＦＦ”とな
ったメモリ書き換え情報を受信することで、一連のメモ
リ書き換えを予備ノードのプロセッサから不可分に、予
備ノード上の分散共有メモリに反映する手段と、を有
し、通信制御装置３４において、データ転送手段３４１
は、予備ノードで受信したパケット中のメモリ書き換え
情報を分散共有メモリ装置３０へ送信する際に、該メモ
リ書き換え情報を検査し、送信する該メモリ書き換え情
報のトランザクション表示ビットが変化する場合に、分
散共有メモリ制御装置３３への該変化を通知する手段を
有する。

【００１５】本発明（請求項３）は、通信制御装置３４
のデータ転送手段３４１において、プロトコルとして、
ＴＣＰ／ＩＰを実装する。

【００１６】図２は、本発明の原理を説明するための図
である。

【００１７】本発明（請求項４）は、通常時に処理を実
行する現用ノードと、障害時に該現用ノードの処理を代
行する予備ノードと、該現用ノードと該予備ノードとを
接続するネットワークからなるネットワークシステムに
おいて、該現用ノードと該予備ノードとの間で分散共有
メモリを実現させる分散共有メモリ装置、分散共有メモ
リ制御装置と、現用ノードと予備ノードの間で信頼性の
あるデータの転送を行う通信制御装置とを有するシステ
ムにおける分散共有メモリ制御方法において、通信制御
装置では、現用ノードと予備ノードの間で、該現用ノー
ドのプロセッサで動作するアプリケーションの指示によ
りコネクションを生成し（ステップ１）、分散共有メモ
リ制御装置では、現用ノードでのプロセッサからの分散
共有メモリへの書込みが発生する毎に（ステップ２）、
該現用ノード上で書込みアドレスと書き込まれた値の組
の情報（以下、メモリ書き換え情報）を生成し、生成さ
れた該メモリ書き換え情報を通信制御装置に順に転送し
（ステップ３）、通信制御装置では、現用ノードと予備
ノード間のコネクションにより発生順を保証して、メモ
リ書き換え情報を該予備ノードへ送信し（ステップ
４）、予備ノード上で、受信が完了したメモリ書き換え
情報を発生順に分散共有メモリ制御装置に送信し（ステ
ップ５）、分散共有メモリ制御装置では、予備ノード上
で受け取ったメモリ書き換え情報から書込みアドレスと
値を取り出し（ステップ６）、該予備ノード上の分散共
有メモリのアドレスに値を書き込む（ステップ７）。

【００１８】本発明（請求項５）は、分散共有メモリ制
御装置において、現用ノードで発生する複数のメモリ書
き換えを一括して予備ノードでのプロセッサからは不可
分に該予備ノードの共有メモリに書き込むことにより、
メモリ書き換え情報の中に、該共有メモリ書き換えに続
く次のメモリ書き換え情報を受信後に一括して該予備ノ
ードで反映するか否かを示す制御情報であるトランザク
ション表示ビットを加えて生成し、トランザクション表
示ビットが“ＯＮ”のメモリ書き換え情報をはじめて受
信したときから、受信したすべてのメモリ書き換え情報
を蓄積し、該トランザクション表示ビットが“ＯＦＦ”
となったメモリ書き換え情報を受信することで、一連の
メモリ書き換えを予備ノードのプロセッサから不可分
に、予備ノード上の分散共有メモリに反映し、通信制御
装置において、予備ノードで受信したパケット中のメモ
リ書き換え情報を分散共有メモリ装置へ送信する際に、
該メモリ書き換え情報を検査し、送信する該メモリ書き
換え情報のトランザクション表示ビットが変化する場合
に、分散共有メモリ制御装置への該変化を通知する。

【００１９】本発明（請求項６）は、通信制御装置にお
いて、プロトコルとして、ＴＣＰ／ＩＰを用いる。

【００２０】上記のように、本発明では、現用ノードの
メモリ情報を予備ノード上のメモリにコピーを逐次作成
する際に、アトミック性を必要とする複製のメモリ書き
換えに対して、アトミック性を必要とするメモリライト
であるかどうかを表示するビットを、現用ノードと予備
ノードの間で転送されるメモリ書き換え情報中に持た
せ、現用ノードはメモリ書き換え情報をメモリライト発
生時に転送し、転送されてきたメモリ書き換え情報を予
備ノード側のバッファに蓄積し、トランザクション表示
がない書き換え情報が到着することにより、それまでに
蓄積された書き換え情報を予備ノードのプロセッサから
は不可分に共有メモリに書き込むことにより、現用ノー
ドでのアトミック性を必要とするメモリ書き換えを予備
ノードのメモリにアトミック性を保持して反映する。ま
た、トランザクション表示がない書き換え情報が未到着
の時に、予備ノードが現用ノードのシステムダウンを検
知し、現用ノードの代わりにアプリケーションの処理を
継続しようとした場合、予備ノード上の共有メモリには
不完全な状態のデータ構造は存在しない。

【００２１】

【発明の実施の形態】以下に、本発明の一実施の形態を
図面と共に説明する。

【００２２】図３は、本発明の一実施の形態における現
用及び予備ノードを構成するシステム構成を示す。

【００２３】同図に示す現用ノード及び予備ノードは、
プロセッサ１０、システムメモリ２０、プロセッサ１
０、メモリ２０、ディスク等への入出力装置４０、分散
共有メモリ装置３０、バス５０から構成され、これら
は、バス５０で接続される。

【００２４】分散共有メモリ装置３０は、分散共有メモ
リ３１、送受信バッファ３２、分散共有メモリ制御装置
３３、通信制御装置３４、及び通信制御ＬＳＩ３５から
構成される。

【００２５】図４は、本発明の一実施の形態における分
散共有メモリ装置の構成を示す。

【００２６】分散共有メモリ制御装置３３は、バス５０
経由での分散共有メモリ３１への読み書きを制御し、分
散共有メモリ３１を本システムのバス上のメモリとして
動作させる。

【００２７】通信制御ＬＳＩ３５と通信制御装置３４
は、送受信バッファ３２の管理機能と通信ネットワーク
上での信頼性のある通信を制御する機能を有する。例え
ば、通信制御装置３４において、ＴＣＰ／ＩＰの機能を
実現し、通信制御ＬＳＩ３５としてイーサネット（登録
商標）物理層ＬＳＩを用いることにより、イーサネット
を用いたネットワーク上で信頼性のある通信を実現す
る。

【００２８】分散共有メモリ制御装置３３は、バス５０
からアクセス可能な制御モードレジスタ３３３を備えて
いる。本制御モードレジスタ３３３は、以下の主に３つ
の機能を有する。

【００２９】第１は、バス５０経由で行われる分散共有
メモリ３１へのアクセスモードの指示を受け付ける。ア
クセスモードには、個々の書込みを個別に予備ノードに
反映させる通常モードと、一連の複数書込みを不可分に
予備ノードに反映させるアトミックライトモードがあ
る。何も指示がない場合は、通常モードとして処理され
る。アトミックライトモードを開始するためのアトミッ
クライト開始指示、及び、アトミックモードを終了する
ためのアトミックライト終了指示を、プロセッサ上で動
作するプログラムが指示する。

【００３０】第２は、当該分散共有メモリ装置３０が現
用ノードなのか予備ノードなのか受け付ける。予備ノー
ドが指定されると、分散共有メモリ制御装置３３及び通
信制御装置３４は、現用ノードからのコネクションの設
定とメモリ書き換え情報の転送を待つ。一方、現用ノー
ドが指定されると、分散共有メモリ制御装置３３は、コ
ネクションの設定を行い、コネクション確立後、メモリ
書き換え情報の転送を開始する。さらに、予備ノードの
指示状態で、再開指示を受けることによって、共有メモ
リとしてアクセスの機能だけが有効な状態となる。

【００３１】第３には、分散共有メモリ装置３０の状態
とエラー発生時のエラー内容を、プロセッサからアクセ
ス可能にする。

【００３２】分散共有メモリ制御装置３３と通信制御装
置３４との間は、双方向のＦＩＦＯ３６といくつかの信
号線から構成される。ＦＩＦＯ３６は、分散共有メモリ
装置３３と通信制御装置３４との間でメモリ書き換え情
報を受け渡すためと、アトミックな書き換え時のメモリ
書き換え情報の蓄積に用いる。実装上、双方向に使用で
きるＦＩＦＯであるが、現用ノードにおいては、分散共
有メモリ制御装置３３から通信制御装置３４への向き、
予備ノードにおいては、通信制御装置３４から分散共有
メモリ制御装置３３への向きのデータ転送に用いる。

【００３３】通信制御装置３４は、ＦＩＦＯ３６に挿入
するメモリ書き換え情報をチェックし、トランザクショ
ン表示が“ＯＮ”から“ＯＦＦ”に変化する毎に信号を
送出する。分散共有メモリ制御装置３３では、カウンタ
３３４を有し、通信制御装置３４からの信号を受けてカ
ウントする。

【００３４】分散共有メモリ制御装置３３は、ＦＩＦＯ
３６の先頭の書き換え情報を先読みし、トランザクショ
ン表示が“ＯＮ”であれば、カウンタ３３４の値が０よ
り大きくなることを待つ。そして、カウンタの値が０以
外の場合、アトミック性を保持して書込み全ての書き込
みがＦＩＦＯ３６に蓄積されたとして、ＦＩＦＯ３６か
ら書き換え情報を読み出し、書込み処理を行う。書込み
が完了したときには、カウンタ３３４を１減算する。現
用ノードにおいては、ＦＩＦＯ３６は、分散共有メモリ
制御装置３３から通信制御装置３４への書き換え情報の
受渡しのために利用されるだけで、分散共有メモリ３１
へのアクセスモードに依存した処理は行わない。

【００３５】図５は、本発明の一実施の形態における現
用ノードと予備ノードとの関係とノード間で転送される
メモリ書き換え情報の構成を示す。メモリ書き換え情報
は、アドレス（ＡＤＤＲ）及び書き換え後の値（ＤＡＴ
Ａ）及びトランザクション表示（ＴＲ）から構成され
る。現用ノード１００での分散共有メモリ２３１への書
込みアクセスは、共有メモリ制御装置１３３によりアド
レスと書き換え後の値とアクセスモードから構成される
メモリ書き換え情報が生成されることにより行われる。
メモリ書き換え情報は、通信制御装置１３４から通信制
御ＬＳＩ１３５を経由して、予備ノード２００に送られ
る。このとき、信頼性のある通信により、予備ノード２
００に到着するメモリ書き換え情報の順序は、現用ノー
ド１００での順序が保証される。予備ノード上の共有メ
モリの所定のアドレスに書き換えを反映する。

【００３６】図６は、本発明の一実施の形態における現
用ノードでのアトミックライトモード時の共有メモリへ
のアクセスシーケンスと生成されるメモリ書き換え情報
の例を示す。

【００３７】ステップ１０１） 「ＡＤＤＲ０」に「Ｄ
ＡＴＡ０」の通常モードの書込みに対して、トランザク
ション表示が“ＯＦＦ”（ＴＲ＝ＯＦＦ）のメモリ書き
換え情報Ａが生成される。

【００３８】ステップ１０２） 制御モードレジスタ３
３３のアトミックライト開始を指示する。以降のアクセ
スをアトミックライトモードとする。

【００３９】ステップ１０３） 「ＡＤＤＲ１」に「Ｄ
ＡＴＡ１」のアトミックライトモードの書込みにより、
トランザクション表示が“ＯＮ”（ＴＲ＝ＯＮ）のメモ
リ書き換え情報Ｂが生成される。

【００４０】ステップ１０４） 「ＡＤＤＲ２」に「Ｄ
ＡＴＡ２」のアトミックライトモードの書込みにより、
同様のメモリ書き換え情報Ｃが生成される。

【００４１】ステップ１０５） 制御モードレジスタ３
３３にアトミックライト終了を指示する。この指示の直
後までの書き換えをトランザクションとして扱う。

【００４２】ステップ１０６） 「ＡＤＤＲｎ」に「Ｄ
ＡＴＡｎ」の書込みにより、トランザクション表示が
“ＯＦＦ”のメモリ書き換え情報Ｅが生成される。

【００４３】ステップ１０７） 「ＡＤＤＲｎ＋１」に
「ＤＡＴＡｎ＋１」の書込みにより、トランザクション
表示が“ＯＦＦ”のメモリ書き換え情報Ｆが生成され
る。

【００４４】このとき、通信制御装置１３４による信頼
性のある通信により、現用ノード１００で生成されたメ
モリ書き換え情報は、上記のシーケンス順を保存して、
予備ノード２００に転送される。予備ノード２００で
は、受信したメモリ書き換え情報を元に、以下のように
処理する。

【００４５】ステップ２０１） メモリ書き換え情報Ａ
により、トランザクション表示が“ＯＮ”（ＴＲ＝Ｏ
Ｎ）のため、「ＡＤＤＲ０」に「ＤＡＴＡ０」を書き込
む。

【００４６】ステップ２０２） メモリ書き換え情報Ｂ
により、トランザクション表示が“ＯＮ”（ＴＲ＝Ｏ
Ｎ）のため、これ以降の書き換え情報をＦＩＦＯ３６に
蓄積する。

【００４７】ステップ２０３） メモリ書き換え情報Ｃ
…Ｄが蓄積される。

【００４８】ステップ２０４） メモリ書き換え情報Ｅ
を受信することにより、トランザクション表示が“ＯＦ
Ｆ”（ＴＲ＝ＯＦＦ）となっているため、通信制御装置
２３４は、書き換え情報ＥをＦＩＦＯ３６に挿入し、カ
ウントアップの信号を分散共有メモリ制御装置２３３に
送信する。分散共有メモリ制御装置２３３は、これまで
蓄積したメモリ書き換え情報Ｂ，Ｃ，…Ｄ及び、現在受
信したメモリ書き換え情報Ｅまでを、分散共有メモリ２
３１に書き込む。このとき、一連の書込みが終了するま
で、予備ノードのプロセッサからのメモリアクセスはブ
ロックされる。これにより、不可分なメモリ書き換えを
保証する。

【００４９】ステップ２０５） メモリ書き換え情報Ｆ
により、トランザクション表示が“ＯＦＦ”（ＴＲ＝Ｏ
ＦＦ）のため、「ＡＤＤＲｎ＋１」に「ＤＡＴＡｎ＋
１」を書き込む。

【００５０】以上のような処理により、複数のメモリラ
イトをアトミック性を保って、予備ノード２００の分散
共有メモリ２３１に書き込むことができる。

【００５１】予備ノード２００側で、アトミック性を保
持する必要のある複数の書き換え情報を完全に受信して
いない（上記の例では、トランザクション表示が“ＯＦ
Ｆ”となったメモリ書き換え情報Ｅを未受信の状態）と
きに、予備ノード２００が現用ノード１００のダウンを
検知し、予備ノード２００でのアプリケーションの処理
が再開された場合、再開時にアプリケーションが分散共
有メモリ制御装置へのモードの変更を通知することを契
機に、蓄積されていたメリ書き換え情報を破棄する。

【００５２】上記のように、本発明では、“トランザク
ション表示”と呼ぶビットを用意し、その“ＯＮ”，
“ＯＦＦ”によって受信側メモリ反映を制御している。
これにより、１つのトランザクションデータを複数のパ
ケットに分割することが可能となるため、１トランザク
ション１パケットの方法と比べて、書き換え情報量の制
限を回避でき、さらに、実装上、トランザクション制御
とパケット送受とを分離することが可能となるため、実
装が容易化される。

【００５３】なお、本発明は、上記の実施例に限定され
ることなく、特許請求の範囲内において、種々変更・応
用が可能である。

【００５４】

【発明の効果】上述のように、本発明によれば、分散共
有メモリを用いたメモリ二重化によるアクト／スタンバ
イ型フォールトトラレントシステムにおいて、現用ノー
ドにおけるキューやリストなどの更新の際に発生するア
トミック性を持った複数のメモリ書き換えを、アトミッ
ク性を維持したまま予備ノードに転送し、予備ノードの
プロセッサからは不可分に予備ノードの分散共有メモリ
に反映させ、予備ノードの分散共有メモリ上のデータ構
造の完全性を常に保持することができる。

【図面の簡単な説明】

【図１】本発明の原理構成図である。

【図２】本発明の原理を説明するための図である。

【図３】本発明の一実施の形態における現用ノード及び
予備ノードを構成するシステム構成図である。

【図４】本発明の一実施の形態における分散共有メモリ
装置の構成図である。

【図５】本発明の一実施の形態における現用ノードと予
備ノードとの関係とノード間で転送されるメモリ書き換
え情報の構成を示す図である。

【図６】本発明の一実施の形態における現用ノードでの
アトミックライトモード時の共有メモリへのアクセスシ
ーケンスと生成されるメモリ書き換え情報の例である。

【符号の説明】

１０ プロセッサ ２０ システムメモリ ３０ 分散共有メモリ装置 ３１ 分散共有メモリ ３２ 送受信バッファ ３３ 共有メモリ制御装置 ３４ 通信制御装置 ３５ 通信制御ＬＳＩ ３６ ＦＩＦＯ ４０ 入出力装置 ５０ バス １００ 現用ノード １１０ プロセッサ １２０ メモリ １３０，２３０ 分散共有メモリ装置 １３１，２３１ 分散共有メモリ １３２，２３２ 送受信バッファ １３３，２３３ 分散共有メモリ制御装置 １３４，２３４ 通信制御装置 １３５、２３５ 通信制御ＬＳＩ ３３１ メモリ書き換え情報生成手段 ３３２ 共有メモリ書き込み手段 ３３３ 制御モードレジスタ ３３４ カウンタ ３４１ データ転送手段

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｆ 15/177 ６８２ Ｇ０６Ｆ 15/177 ６８２Ｊ Ｈ０４Ｌ 29/14 Ｈ０４Ｌ 13/00 ３１１ Ｆターム(参考） 5B034 BB02 DD05 DD07 5B045 DD01 JJ12 JJ24 JJ26 5B060 KA01 KA08 5B089 GA04 ME01 ME04 5K035 AA03 CC03 DD01 EE09 FF02 LL14 MM04 MM05

Claims (6)

【特許請求の範囲】
1. 【請求項１】 通常時に処理を実行する現用ノードと、
   障害時に該現用ノードの処理を代行する予備ノードと、
   該現用ノードと該予備ノードとを接続するネットワーク
   からなるネットワークシステムにおいて、該現用ノード
   と該予備ノードとの間で分散共有メモリを実現させる分
   散共有メモリシステムであって、 前記現用ノードと前記予備ノードとの間で利用される分
   散共有メモリを有する分散共有メモリ装置を有し、 前記分散共有メモリ装置は、 前記現用ノードにおいて、前記分散共有メモリへのプロ
   セッサからの書込みを検知し、書込みアドレスと書き込
   まれた値の組の情報（以下、メモリ書き換え情報と記
   す）を生成し、順に送信するメモリ書き換え情報生成手
   段と、前記予備ノードにおいて、受信したメモリ書き換
   え情報から書込みアドレスと値を取り出し、該予備ノー
   ドの分散共有メモリへ不可分に書き込む共有メモリ書込
   み手段と、を有する分散共有メモリ制御装置と、 現用ノードと予備ノードの間のネットワーク上で該現用
   ノードと該予備ノードの間で信頼性のあるデータの転送
   を行うデータ転送手段を有する通信制御装置と、を有
   し、 前記通信制御装置において、 前記現用ノードと前記予備ノードの間で、該現用ノード
   のプロセッサで動作するアプリケーションの指示により
   コネクションを生成し、 前記分散共有メモリ制御装置において、 前記メモリ書き換え情報生成手段は、前記現用ノードで
   の前記分散共有メモリへの書込みが発生する毎に、該現
   用ノード上でメモリ書き換え情報を生成し、生成された
   該メモリ書き換え情報を前記通信制御装置に順に転送
   し、 前記通信制御装置において、 前記データ転送手段は、前記現用ノードと前記予備ノー
   ド間のコネクションにより発生順を保証して、前記メモ
   リ書き換え情報を該予備ノードへ送信し、 前記予備ノード上で、受信が完了した前記メモリ書き換
   え情報を発生順に前記分散共有メモリ制御装置に送信
   し、 前記分散共有メモリ制御装置において、 前記共有メモリ書込み手段は、前記予備ノード上で受け
   取った前記メモリ書き換え情報に基づいて、該予備ノー
   ド上の分散共有メモリのアドレスに値を書き込むことを
   特徴とする分散共有メモリシステム。
2. 【請求項２】 前記分散共有メモリ制御装置は、 前記現用ノードで発生する複数のメモリ書き換えを一括
   して前記予備ノードでのプロセッサからは不可分に該予
   備ノードの共有メモリに書き込むことにより、メモリ書
   き換え情報の中に、該共有メモリ書き換えに続く次のメ
   モリ書き換え情報を受信後に一括して該予備ノードで反
   映するか否かを示す制御情報であるトランザクション表
   示ビットを加えて生成する手段と、 前記トランザクション表示ビットが“ＯＮ”のメモリ書
   き換え情報をはじめて受信したときから、受信したすべ
   てのメモリ書き換え情報を蓄積し、該トランザクション
   表示ビットが“ＯＦＦ”となったメモリ書き換え情報を
   受信することで、一連のメモリ書き換えを予備ノードの
   プロセッサから不可分に、予備ノード上の分散共有メモ
   リに反映する手段と、を有し、 前記通信制御装置は、 前記予備ノードで受信したパケット中のメモリ書き換え
   情報を前記分散共有メモリ装置へ送信する際に、該メモ
   リ書き換え情報を検査し、送信する該メモリ書き換え情
   報のトランザクション表示ビットが変化する場合に、前
   記分散共有メモリ制御装置への該変化を通知する手段を
   有する請求項１記載の分散共有メモリシステム。
3. 【請求項３】 前記通信制御装置の前記データ転送手段
   は、 プロトコルとして、ＴＣＰ／ＩＰを実装する請求項２記
   載の分散共有メモリシステム。
4. 【請求項４】 通常時に処理を実行する現用ノードと、
   障害時に該現用ノードの処理を代行する予備ノードと、
   該現用ノードと該予備ノードとを接続するネットワーク
   からなるネットワークシステムにおいて、該現用ノード
   と該予備ノードとの間で分散共有メモリを実現させる分
   散共有メモリ装置、分散共有メモリ制御装置と、現用ノ
   ードと予備ノードの間で信頼性のあるデータの転送を行
   う通信制御装置とを有するシステムにおける分散共有メ
   モリ制御方法において、 前記通信制御装置において、 前記現用ノードと前記予備ノードの間で、該現用ノード
   のプロセッサで動作するアプリケーションの指示により
   コネクションを生成し、 前記分散共有メモリ制御装置において、 前記現用ノードでのプロセッサからの前記分散共有メモ
   リへの書込みが発生する毎に、該現用ノード上で書込み
   アドレスと書き込まれた値の組の情報（以下、メモリ書
   き換え情報）を生成し、生成された該メモリ書き換え情
   報を前記通信制御装置に順に転送し、 前記通信制御装置において、 前記現用ノードと前記予備ノード間のコネクションによ
   り発生順を保証して、前記メモリ書き換え情報を該予備
   ノードへ送信し、 前記予備ノード上で、受信が完了した前記メモリ書き換
   え情報を発生順に前記分散共有メモリ制御装置に送信
   し、 前記分散共有メモリ制御装置において、 前記予備ノード上で受け取った前記メモリ書き換え情報
   から書込みアドレスと値を取り出し、該予備ノード上の
   分散共有メモリのアドレスに値を書き込むことを特徴と
   する分散共有メモリ制御方法。
5. 【請求項５】 前記分散共有メモリ制御装置において、 前記現用ノードで発生する複数のメモリ書き換えを一括
   して前記予備ノードでのプロセッサからは不可分に該予
   備ノードの共有メモリに書き込むことにより、メモリ書
   き換え情報の中に、該共有メモリ書き換えに続く次のメ
   モリ書き換え情報を受信後に一括して該予備ノードで反
   映するか否かを示す制御情報であるトランザクション表
   示ビットを加えて生成し、 前記トランザクション表示ビットが“ＯＮ”のメモリ書
   き換え情報をはじめて受信したときから、受信したすべ
   てのメモリ書き換え情報を蓄積し、該トランザクション
   表示ビットが“ＯＦＦ”となったメモリ書き換え情報を
   受信することで、一連のメモリ書き換えを予備ノードの
   プロセッサから不可分に、予備ノード上の分散共有メモ
   リに反映し、 前記通信制御装置において、 前記予備ノードで受信したパケット中のメモリ書き換え
   情報を前記分散共有メモリ装置へ送信する際に、該メモ
   リ書き換え情報を検査し、送信する該メモリ書き換え情
   報のトランザクション表示ビットが変化する場合に、前
   記分散共有メモリ制御装置への該変化を通知する請求項
   ４記載の分散共有メモリ制御方法。
6. 【請求項６】 前記通信制御装置において、 プロトコルとして、ＴＣＰ／ＩＰを用いる請求項５記載
   の分散共有メモリ制御方法。