JP2000259584A - クラスタシステムとノード間通信方法とその方法を記録した記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 共有メモリエリアへの通信データの書き込み
／読み出しによって、ノード間の通信を行なう複数ノー
ドから構成され、通信に使用する共有メモリエリアのア
クセス権を管理するされるクラスタシステムを提供す
る。 【解決手段】 複数のノードと、ここで、各ノードは、
複数のノードのノード数と等しい分割領域が確保されて
いる共有メモリエリアと、ここで、各分割領域は、個別
に複数のノードの各々に対応しており、各分割領域への
読み出し／書き込みを管理する管理テーブルとを具備
し、複数のノードと接続されており、送信元ノードによ
って、送信元ノードの管理テーブルを参照して得られ
る、書き込み可能な分割領域に書き込まれた通信データ
を、送信先ノードの送信元ノードに対応する分割領域に
書き込むクロスバコントローラとからなるクラスタシス
テムを提供する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、複数ノードから構
成されるクラスタシステムとノード間通信方法とその方
法を記録した記録媒体に関し、さらに詳しくは、共有メ
モリエリアへの通信データの書き込み／読み出しによっ
て、ノード間の通信を行なう複数ノードから構成される
クラスタシステムと、その通信方法に関する。

【０００２】

【従来の技術】複数ノードから構成されるクラスタシス
テムには、各ノードが他のノードとの共有領域を自メモ
リ領域内に設け、その共有メモリを利用したノード間通
信が行われている。

【０００３】複数ノードから構成されるクラスタシステ
ムに関連する従来技術として、関連する過去の特許出願
を以下に示す。

【０００４】特開平９−１６０８９３号公報に、「並列
処理コンピュータシステムにおけるクロスバスイッチを
利用したクラスタ連結構造」という発明が開示されてい
る。この発明は、多数のコンピュータシステムを相互連
結してクラスタに運用する場合、クロスバスイッチを用
いて、コンピュータシステムを２次元トーラス方式で連
結することによって、一定の情報交換量を確保しながら
コンピュータシステムの個数をに増加させることが可能
なシステムである。

【０００５】特開平５−１１０５８６号公報に、「セル
分解装置」という発明が開示されている。この発明は、
ＡＴＭ（Asynchronous Transfer Mode：非同期転送モー
ド）通信方式におけるセル分解装置に関するものであ
る。

【０００６】特開平６−１０３１５５号公報に、「共有
メモリ制御方法及び共有メモリ制御装置」という発明が
開示されている。この発明は、電気通信システムの共有
メモリにおけるメモリアクセス制御に関し、共有メモリ
システム中にセマフォア（値を持つ部分とプロセスを待
ち行列につなぐポインタ部を有する構造体）を供給する
方法と回路に関するものである。

【０００７】特開平９−２９３０５５号公報に、「疎結
合多重計算機システムにおける共有ファイルの排他制御
システム、排他制御方法、および排他制御プログラムを
記録する媒体」という発明が開示されている。この発明
は、疎結合多重計算機システムを構成する各ホストが効
率よく、かつ正確に共有ファイルを共有使用することに
関するものである。

【０００８】特開平１０−２２８４５８号公報に、「構
成可能なハードウェア・システム・ドメインを有するマ
ルチプロセッサ・コンピュータ」という発明が開示され
ている。この発明は、電子コンピュータに関し、多数の
プロセッサを可変集合即ちドメイン群に動的に分離可能
とし、処理上の独立性を得ると共に、ハードウェアのエ
ラーにも拘わらず動作しつづけることを可能とするもの
である。

【０００９】

【発明が解決しようとする課題】従来、複数ノードから
構成されるクラスタシステムにおける、共有メモリを使
用したノード間通信方法では、次のような問題点があっ
た。

【００１０】共有メモリ内において、読み出しエリア、
書き込みエリアの区別がなく、各共有メモリエリアに対
するアクセス権の管理が行われていなかった。そのた
め、誤ったデータのアクセスを行う可能性があり、デー
タ破壊および不正データの参照を招く恐れがあった。

【００１１】本発明の課題は、複数ノードから構成され
るクラスタシステムとノード間通信方法とその方法を記
録した記録媒体に関し、通信に使用する共有メモリエリ
アのアクセス権を管理することである。

【００１２】特開平９−１６０８９３号公報に開示され
ている発明は、コンピュータシステムを２次元トーラス
方式で連結することによって、一定の情報交換量を確保
しながらコンピュータシステムの個数を増加させるもの
であり、ノード間通信方法に関するものとは異なる。

【００１３】特開平５−１１０５８６号公報に開示され
ている発明は、ＡＴＭ通信方式に関するものであり、ノ
ード間通信方法に関するものとは異なる。

【００１４】特開平６−１０３１５５号公報に開示され
ている発明は、共有メモリシステム中にセマフォアを供
給する方法に関するものであり、ノード間通信方法に関
するものとは異なる。

【００１５】特開平９−２９３０５５号公報に開示され
ている発明は、疎結合多重計算機システムを構成する各
ホストが効率よく、かつ正確に共有ファイルを共有使用
することに関するものであり、ノード間通信方法に関す
るものとは異なる。

【００１６】特開平１０−２２８４５８号公報に開示さ
れている発明は、多数のプロセッサを可変集合即ちドメ
イン群に動的に分離可能とし、処理上の独立性を得ると
共に、ハードウェアのエラーにも拘わらず動作しつづけ
ることを可能とするものであり、ノード間通信方法に関
するものとは異なる。

【００１７】

【課題を解決するための手段】上記課題を解決するため
に、本発明によると、複数のノードと、ここで、各ノー
ドは、複数のノードのノード数と等しい分割領域が確保
されている共有メモリエリアと、ここで、各分割領域
は、個別に複数のノードの各々に対応しており、各分割
領域への読み出し／書き込みを管理する管理テーブルと
を具備し、複数のノードと接続されており、送信元ノー
ドによって、送信元ノードの管理テーブルを参照して得
られる、書き込み可能な分割領域に書き込まれた通信デ
ータを、送信先ノードの送信元ノードに対応する分割領
域に書き込むクロスバコントローラとからなるクラスタ
システムを提供する。

【００１８】上記のクラスタシステムにおいて、クロス
バコントローラは、送信先ノードに、通信データの書き
込まれた分割領域のアドレスを通知する通知手段をさら
に有し、送信先ノードは、通知手段で通知された分割領
域のアドレスに基づいて送信先ノードの管理テーブルを
参照し、分割領域のアドレスが読み出し可能な領域であ
る場合に、通信データを読み出す読み出し手段を有する
ことが可能である。

【００１９】また、上記のクラスタシステムにおいて、
各分割領域は、同じ記憶容量からなることが可能であ
る。

【００２０】さらに、上記のクラスタシステムにおい
て、複数のノード全てが有する、所定のノードに対応す
る分割領域のアドレスが等しいことが可能である。

【００２１】他に、上記課題を解決するために、本発明
によると、個別にメモリ領域を有する複数のノードと、
複数のノード間を接続するクロスバコントローラから構
成されるクラスタシステムにおいて、各ノードのメモリ
領域に、クロスバコントローラによって格納されている
データの読み書きが制御される共有メモリエリアを確保
するメモリエリア確保ステップと、各ノードが、自ノー
ドの共有メモリエリアを複数のノードのノード数と等し
い分割領域を確保する分割領域確保ステップと、ここ
で、各分割領域は、個別に複数のノードの各々に対応し
ており、各ノードは、対応する共有メモリエリアの、分
割ステップで分割された各分割領域に対して、自ノード
による読み出し／書き込みの許可／不許可を設定する設
定ステップと、設定ステップで設定された、書き込みを
許可されている送信元ノードの分割領域に書き込まれた
通信データを、送信先ノードの送信元ノードに対応する
分割領域に書き込む通信ステップとからなるノード間通
信方法を提供する。

【００２２】上記のノード間通信方法において、送信先
ノードに、通信データの書き込まれた分割領域のアドレ
スを通知する通知ステップと、通知ステップで通知され
た分割領域のアドレスが、設定ステップで設定された読
み出し可能な領域に含まれる場合に、通信データを読み
出す読み出しステップをさらに有することが可能であ
る。

【００２３】また、上記のノード間通信方法において、
メモリエリア確保ステップで確保された各ノードの共有
メモリエリアの容量が同じであることが可能である。

【００２４】さらに、上記のノード間通信方法におい
て、分割領域確保ステップは、各ノードが、対応する共
有メモリエリアを複数のノードのノード数からなり、同
じ容量からなる分割領域を確保するステップからなるこ
とが可能である。

【００２５】加えて、上記のノード間通信方法におい
て、分割領域確保ステップは、複数のノード全てが有す
る、所定のノードに対応する分割領域のアドレスが等し
く設定されるステップをさらに含むことが可能である。

【００２６】また更に、上記のノード間通信方法におい
て、設定ステップは、各分割領域への読み出し／書き込
み可能なノードを個別に設定するステップをさらに具備
することが可能である。

【００２７】他に、上記課題を解決するために、本発明
によると、個別にメモリ領域を有する複数のノードと、
複数のノード間を接続するクロスバコントローラから構
成されるクラスタシステムにおいて、各ノードのメモリ
領域に、クロスバコントローラによって格納されている
データの読み書きが制御される共有メモリエリアを確保
するメモリエリア確保ステップと、各ノードが、自ノー
ドの共有メモリエリアを複数のノードのノード数と等し
い分割領域を確保する分割領域確保ステップと、ここ
で、各分割領域は、個別に複数のノードの各々に対応し
ており、各ノードは、対応する共有メモリエリアの、分
割ステップで分割された各分割領域に対して、自ノード
による読み出し／書き込みの許可／不許可を設定する設
定ステップと、設定ステップで設定された、書き込みを
許可されている送信元ノードの分割領域に書き込まれた
通信データを、送信先ノードの送信元ノードに対応する
分割領域に書き込む通信ステップとからなる実行プログ
ラムを格納した記録媒体を提供する。

【００２８】上記の記録媒体において、送信先ノード
に、通信データの書き込まれた分割領域のアドレスを通
知する通知ステップと、通知ステップで通知された分割
領域のアドレスが、設定ステップで設定された読み出し
可能な領域に含まれる場合に、通信データを読み出す読
み出しステップをさらに有することが可能である。

【００２９】また、上記の記録媒体において、メモリエ
リア確保ステップは、各ノードの共有メモリエリアが同
じ容量に設定されるステップをさらに含むことが可能で
ある。

【００３０】さらに、上記の記録媒体において、分割領
域確保ステップは、各ノードが、対応する共有メモリエ
リアを複数のノードのノード数からなり、同じ容量から
なる分割領域を確保するステップからなることが可能で
ある。

【００３１】加えて、上記の記録媒体において、分割領
域確保ステップは、複数のノード全てが有する、所定の
ノードに対応する分割領域のアドレスが等しく設定され
るステップをさらに含むことが可能である。

【００３２】また他に、上記の記録媒体において、設定
ステップは、各分割領域への読み出し／書き込み可能な
ノードを個別に設定するステップをさらに具備すること
が可能である。

【００３３】

【発明の実施の形態】以下、図面を参照して、本発明に
おけるクラスタシステムを説明する。

【００３４】図１は、本発明におけるクラスタシステム
１０の構成を示す構成図である。

【００３５】図１を参照すると、クラスタシステム１０
は、複数のノード２０，３０，４０，５０と、各ノード
間でデータの授受を制御するためのクロスバコントロー
ラ６０とからなる。各ノードは、セルカードを有し、ノ
ードを管理するＯＳを図示しない記憶領域に格納してい
る。また、各ノード毎が有するセルカード２１，３１，
４１，５１は、セルカード間でデータの授受を制御する
ためのクロスバコントローラ６０と接続されている。ま
た、図示されていないが、クラスタシステム１０と接続
可能なデバイスを有し、そのデバイスを介して記録媒体
に格納されたプログラムを取得して実行することが可能
である。

【００３６】なお、図１に示されるクラスタシステム１
０は、ノード０（２０）、ノード１（３０）、ノード２
（４０）、ノード３（５０）という４つのノードから構
成されているが、これは１実施例であって、クラスタシ
ステム１０はこの構成に限定されるものではない。

【００３７】図２は、本発明におけるセルカード２１の
構成を示す構成図である。

【００３８】図２を参照すると、セルカード２１は、メ
モリ７０と、ＭＰＵ（Micro Processing Unit）８０
と、周辺処理装置を制御するためのＩ／Ｏコントローラ
９０とから構成されている。また、他のセルカード３
１，４１，５１も図２に示される構成を有する。

【００３９】また、ＭＰＵ８０によって、そのＭＰＵ８
０の含まれるセルカードが格納されたノードに格納され
ているＯＳが読み込まれ、対応するノードの管理が行わ
れる。

【００４０】図３は、本発明におけるメモリ空間１００
を示すメモリマップである。

【００４１】図３を参照すると、メモリ７０に対応する
メモリ空間１００は、共有メモリエリア１１０とノード
固有メモリエリア１２０とからなり、ノード固有メモリ
エリア１２０は、共有メモリアクセス管理テーブル１２
１を有している。

【００４２】各ノード内の共有メモリエリア１１０は、
クラスタを構成する全ノードにおいて同じ容量を有し、
クラスタを構成するノード数分（本実施例の場合は４ノ
ード）のブロック１１１，１１２，１１３，１１４に等
分に分割されている。ここでは、図１に示される、４つ
のノードから構成されるクラスタシステム１０に基づい
たメモリ空間１００のメモリマップを示しているが、こ
れは１実施例であって、メモリ空間１００のメモリマッ
プはこの構成に限定されるものではない。

【００４３】あるノードの共有メモリエリアのブロック
に書き込まれたデータは、クロスバコントローラ６０に
よって、クラスタシステム１０内の他ノードへ転送さ
れ、他ノード内の共有メモリエリアのブロックに書き込
まれる。

【００４４】図４は、ノード０（２０）内共有メモリア
クセス管理テーブルの構成を示す図である。

【００４５】図４を参照すると、ノード０（２０）の共
有メモリアクセス管理テーブル１２１には、共有メモリ
エリア１１０内の各ブロックの先頭アドレスと最終アド
レスと、各ブロックに対するｒｅａｄ可／不可と、ｗｒ
ｉｔｅ可／不可とを示すフラグがブロック数分登録され
ており、各ノードがノード間通信ドライバのアルゴリズ
ムに基づいて、共有メモリエリア内の各ブロックをアク
セスする際に用いられる。

【００４６】各ノードが、共有メモリエリア１１０にデ
ータを書き込む、または、共有メモリエリア１１０から
データを読み出す時に、共有メモリアクセス管理テーブ
ル１２１を参照する。この時、アクセスする対象ブロッ
クが、ｒｅａｄ可（ｗｒｉｔｅ可）であれば、共有メモ
リアクセス管理テーブル１２１のｒｅａｄ可／不可（ｗ
ｒｉｔｅ可／不可）を示すフラグは１である。また、ア
クセスする対象ブロックが、ｒｅａｄ不可（ｗｒｉｔｅ
不可）であれば、共有メモリアクセス管理テーブル１２
１のｒｅａｄ可／不可（ｗｒｉｔｅ可／不可）を示すフ
ラグは０である。

【００４７】ここでは、ブロック０（１１１）に対応し
て、ｒｅａｄ可／不可を示すフラグが０、ｗｒｉｔｅ可
／不可を示すフラグが１を示し、ブロック１（１１
２）、ブロック２（１１３）、ブロック３（１１４）の
各々に対応して、ｒｅａｄ可／不可を示すフラグが１、
ｗｒｉｔｅ可／不可を示すフラグが０を示している。こ
のことから、ノード０（２０）は、自分の共有メモリエ
リア１１０を、ブロック０（１１１）に対して、ノード
０（２０）から他ノードへの送信データの書き込み領域
に、ブロック１（１１２）、ブロック２（１１３）、ブ
ロック３（１１４）に対して、対応するノード１（３
０）、ノード２（４０）ノード３（５０）からの受信デ
ータ読み込み領域に設定している。

【００４８】図５は、ノード１（３０）内共有メモリア
クセス管理テーブルの構成を示す図である。

【００４９】テーブル構成は図４で示されるノード０
（２０）内共有メモリアクセス管理テーブルの構成と同
じである。

【００５０】また、ここでは、ブロック１（１１２）に
対応して、ｒｅａｄ可／不可を示すフラグが０、ｗｒｉ
ｔｅ可／不可を示すフラグが１を示し、ブロック０（１
１１）、ブロック２（１１３）、ブロック３（１１４）
の各々に対応して、ｒｅａｄ可／不可を示すフラグが
１、ｗｒｉｔｅ可／不可を示すフラグが０を示してい
る。このことから、ノード１（３０）は、自分の共有メ
モリエリア１１０を、ブロック１（１１２）に対して、
ノード１（３０）から他ノードへの送信データの書き込
み領域に、ブロック０（１１１）、ブロック２（１１
３）、ブロック３（１１４）に対して、対応するノード
０（２０）、ノード２（４０）、ノード３（５０）から
の受信データ読み込み領域に設定している。

【００５１】同様に、他ノード内共有メモリアクセス管
理テーブルの構成も図４、図５で示される構成と同じで
ある。ブロック毎に他ノードへの送信データの書き込み
領域、または他ノードからの受信データ読み込み領域を
示すフラグが、ｒｅａｄ可／不可を示すフラグの値と、
ｗｒｉｔｅ可／不可を示すフラグの値によって設定され
ている。

【００５２】次に、図１、図２、図３、図４及び図５を
参照して、本発明における実施例の動作について詳細に
説明する。

【００５３】まず、クラスタシステム１０起動時、クラ
スタを構成する各ノードとして、各セルカード２１，３
１，４１，５１のＭＰＵ８０によって、対応するＯＳ２
２，３２，４２，５２がブートされる。

【００５４】ＯＳブート完了後、各ＭＰＵ８０はノード
間の通信を制御するアルゴリズムが記録されたノード間
通信ドライバを取得する（ロード）。

【００５５】各ＭＰＵ８０は、ノード間通信ドライバに
記録されたアルゴリズムに基づいて、以下の動作を実行
する。まず、各ＭＰＵ８０が含まれるセルカード上の各
メモリ７０領域から、共有メモリエリア１１０と、ノー
ド固有メモリエリア１２０を確保する。次に、対応する
ノードの共有メモリエリア１１０を、クラスタシステム
１０を構成するノード数分のブロックに分割する。次
に、分割された共有メモリエリア１１０をメモリ空間１
００へマッピングする。最後に、ノード固有メモリエリ
ア１２０に、共有メモリエリア１１０を管理するための
共有メモリアクセス管理テーブル１２１を確保する。

【００５６】ノード固有メモリエリア１２０内の共有メ
モリアクセス管理テーブル１２１には、各ブロックの先
頭アドレスと、最終アドレスと、該ブロックに対するア
クセス権が登録される。このアクセス権は、フラグを用
いて表現されており、具体的には、ＭＰＵ８０による、
該ブロックに格納されたデータの読み込みが可能（ｒｅ
ａｄ可能）、もしくは該ブロックに対してデータの書き
込みが可能（ｗｒｉｔｅ可能）を示すフラグ値からな
る。

【００５７】また、共有メモリエリア１１０内の各ブロ
ックのブロック番号は、クラスタシステム１０を構成す
るノードのノード番号と対応している。図１に示される
クラスタシステム１０と、図３に示されるメモリ空間の
メモリマップを参照して説明すると、ブロック０（１１
１）がノード０（２０）に、ブロック１（１１２）がノ
ード１（３０）に、ブロック２（１１３）がノード３
（４０）に、ブロック４（１１４）がノード４（５０）
に対応している。

【００５８】共有メモリエリア１１０を有しているノー
ドは、各ブロックに対応するノードからデータの受信が
可能である。該ブロックが対応するノードからのデータ
の読み込みが可能な場合、ブロックのｒｅａｄ可／不可
を示すフラグに１を設定し、ｗｒｉｔｅ可／不可を示す
フラグに０を設定する。

【００５９】また、共有メモリエリア１１０を有してい
るノードは、各ブロックに対応するノードに対してデー
タの送信が可能である。自ノードに対応するブロックが
他ノードに対してデータ送信が可能な場合、ブロックの
ｒｅａｄ可／不可を示すフラグに０を設定し、ｗｒｉｔ
ｅ可／不可を示すフラグに１を設定する。

【００６０】また、各ブロックに対応するノードがノー
ドダウンしている場合、ブロックのｒｅａｄ可／不可、
ｗｒｉｔｅ可／不可を示すフラグともに０を設定する。

【００６１】次に、ノード間の通信動作について以下に
示す。

【００６２】初めに、送信元ノードは、送信元ノードの
共有メモリアクセス管理テーブル１２１を検索し、送信
元ノードの共有メモリエリア内の、ｗｒｉｔｅ可／不可
を示すフラグが１を示す、データ送信が可能なブロック
を示す情報を取得する。次に、送信元ノードは、送信元
ノードの共有メモリエリアにアクセスし、そのデータ送
信が可能なブロックに対して通信データを書き込み、書
き込まれたその通信データの先頭アドレスを取得する。
この時、通信データがそのブロックの領域外に格納され
る場合は、送信動作の中止、または通信データをそのブ
ロックの領域内に格納されるサイズに分割して送信動作
を繰り返す等の処理を行う。

【００６３】次に、送信元ノードは、クロスバコントロ
ーラ６０に対して、送信先ノードと、通信データの先頭
アドレスと、その通信データ長を通知して、通信データ
の送信先ノードへの転送要求を行う。

【００６４】次に、クロスバコントローラ６０は、送信
元ノードからの転送要求を受けて、送信元ノードからの
通知に基づいて、送信先ノードの共有メモリエリアに、
通信データを転送する。また、クロスバコントローラ６
０は、転送された通信データの、送信先ノードの共有メ
モリエリアでの先頭アドレスと通信データ長を、送信先
ノードに通知して、送信先ノードへ受信要求（ｒｅａｄ
要求）を行う。

【００６５】次に、送信先ノードは、クロスバコントロ
ーラ６０からの受信要求を受けて、クロスバコントロー
ラ６０からの通知に基づいて、通信データの格納されて
いる送信先ノードの共有メモリエリアでの先頭アドレス
と通信データ長を取得する。

【００６６】次に、送信先ノードは、取得したその共有
メモリエリアでの先頭アドレスと通信データ長に基づい
て、送信先ノードの共有メモリアクセス管理テーブルを
検索する。その検索結果、通信データの格納されている
ブロックが、共有メモリアクセス管理テーブルのｒｅａ
ｄ可／不可を示すフラグが１を示す、データ読み込み可
能なブロックである場合、送信先ノードは送信先ノード
の共有メモリエリアとアクセスし、そのデータ読み込み
可能なブロックからその通信データを取得する。また、
その検索結果、通信データの格納されているブロック
が、共有メモリアクセス管理テーブルのｒｅａｄ可／不
可を示すフラグが０を示す場合と、クロスバコントロー
ラ６０から通知された通信データが、共有メモリアクセ
ス管理テーブルで管理されているブロック内に存在しな
い場合は、送信先ノードは共有メモリエリアとのアクセ
スを行わない。

【００６７】ここで、図４と図５を参照して、ノード０
（２０）からノード１（３０）に対して通信データの送
信動作を以下に示す。

【００６８】まず、ノード０（２０）は、ノード０（２
０）の共有メモリアクセス管理テーブル１２１を検索
し、ｗｒｉｔｅ可／不可を示すフラグが１を示す、デー
タ送信が可能なブロックを示す情報を取得する。

【００６９】ここでは、ノード０（２０）のメモリ空間
１００におけるブロック０（１１１）の領域が、そのデ
ータ送信可能なブロックにあたる。

【００７０】次に、ノード０（２０）は、そのブロック
０（１１１）の領域に通信データを書き込む。この時、
通信データの書き込み先頭アドレスを取得する。

【００７１】ここで、図４に示される共有メモリアクセ
ス管理テーブル１２１を参照すると、ブロック０（１１
１）の領域は、先頭アドレスが０ｘ５０００、最終アド
レスが０ｘ５ＦＦＦである。通信データの通信データ長
が＆Ｈ１００、通信データの書き込み先頭アドレスが０
ｘ５１００とすると、通信データはブロック０（１１
１）内の領域に格納される。ここで、＆Ｈは以下に示さ
れる数字の進法が１６進法であることを示す。

【００７２】次に、ノード０（２０）は、クロスバコン
トローラ６０に対して、送信先ノードを示すノード１
（３０）と、通信データの書き込み先頭アドレスを示す
０ｘ５１００と、その通信データ長を示す＆Ｈ１００を
通知して、通信データのノード１（３０）への転送要求
を行う。

【００７３】次に、クロスバコントローラ６０は、通信
データをノード０（２０）からノード１（３０）に転送
する。ここで、クロスバコントローラ６０は、ノード０
（２０）から通信データを取得し、ノード１（３０）の
共有メモリエリア内の、書き込み先頭アドレスが０ｘ５
１００、通信データ長が＆Ｈ１００である領域に、通信
データを書き込む。転送後、クロスバコントローラ６０
は、ノード１（３０）に書き込み先頭アドレスを示す０
ｘ５１００と、通信データ長を示す＆Ｈ１００を通知す
る。

【００７４】次に、ノード１（３０）は、クロスバコン
トローラ６０から、書き込み先頭アドレスを示す０ｘ５
１００と、通信データ長を示す＆Ｈ１００を示す情報を
取得する。その情報に基づいて、ノード１（３０）の共
有メモリアクセス管理テーブルを検索する。

【００７５】図５を参照すると、ノード１（３０）の共
有メモリアクセス管理テーブルにおいて、書き込み先頭
アドレスの０ｘ５１００を先頭として、通信データ長の
＆Ｈ１００を加えた書き込み最終アドレス０ｘ５２００
までの領域は、ブロック０の領域に含まれる。

【００７６】その結果、通信データがノード１（３０）
の共有メモリエリア内のブロック０の領域に格納されて
おり、また、そのブロック０の領域は、共有メモリアク
セス管理テーブルのｒｅａｄ可／不可を示すフラグが１
を示す、データ読み込み可能なブロックである。

【００７７】次に、ノード１（３０）は、ノード１（３
０）の共有メモリエリアとアクセスを行い、書き込み先
頭アドレスを示す０ｘ５１００から、通信データ長を示
す＆Ｈ１００の長さの通信データを取得する。

【００７８】上記の一連の動作によって、ノード０（２
０）からノード１（３０）へのデータ送信を行う。

【００７９】ここで、図４と図５を参照すると、ノード
０（２０）とノード１（３０）の共有メモリエリアは、
同一アドレス領域に確保され、各ブロックは、ブロック
番号毎に同一アドレス領域を有する。この場合、クロス
バコントローラ６０による通信データ転送時に、送信元
のアドレスと送信先のアドレスが等しく、送信元のアド
レスを取得すると、以後の通信動作において、その送信
元のアドレスを送信先アドレスとしても適応することが
可能である。

【００８０】このように、全てのノードにおいて、各ノ
ードの共有メモリエリアは、同一アドレス領域に確保さ
れ、各ブロックは、ブロック番号毎に同一アドレス領域
を有する構成が望ましい。

【００８１】本発明によると、共有メモリエリアへ通信
データのｗｒｉｔｅ／ｒｅａｄを行なうことによって、
ノード間の通信を行なう機能を有する、複数ノードから
構成されるクラスタシステムにおいて、ｗｒｉｔｅ／ｒ
ｅａｄを行なう共有メモリエリアを、ｗｒｉｔｅ専用エ
リアとｒｅａｄ専用エリアとに区別し、各エリアに対す
るアクセス管理を、ドライバのアルゴリズムに基づいて
各ノードが有するＭＰＵがおこなう。このため、共有メ
モリエリアへのメモリアクセス時に、ノード間の通信デ
ータに対する不正アクセスによるデータ破壊、および不
正データ参照を防ぐことが可能となる。また、ノード間
通信ドライバのアルゴリズムに基づいて制御を行うため
に、制御方法の変更がノード間通信ドライバの更新によ
って行えるために容易である。

【００８２】

【発明の効果】本発明の効果は、メモリアクセス時にノ
ード間の通信データに対する不正アクセスによるデータ
破壊、および不正データ参照を防ぐことが可能となる。

【図面の簡単な説明】

【図１】本発明におけるクラスタシステムの構成を示す
構成図である。

【図２】本発明におけるセルカードの構成を示す構成図
である。

【図３】本発明におけるメモリ空間を示すメモリマップ
である。

【図４】ノード０内共有メモリアクセス管理テーブルの
構成を示す図である。

【図５】ノード１内共有メモリアクセス管理テーブルの
構成を示す図である。

【符号の説明】

１０ クラスタシステム ２０，３０，４０，５０ ノード ２１，３１，４１，５１ セルカード ２２，３２，４２，５２ ＯＳ ６０ クロスバコントローラ ７０ メモリ ８０ ＭＰＵ ９０ Ｉ／Ｏコントローラ １００ メモリ空間 １１０ 共有メモリエリア １１１，１１２，１１３，１１４ 共有メモリブロック １２０ ノード固有メモリエリア １２１ 共有メモリアクセス管理テーブル

Claims (16)

【特許請求の範囲】
1. 【請求項１】 複数のノードと、 各ノードは、 前記複数のノードのノード数と等しい分割領域が確保さ
   れている共有メモリエリアと、ここで、前記各分割領域
   は、個別に前記複数のノードの各々に対応しており、 前記各分割領域への読み出し／書き込みを管理する管理
   テーブルとを具備し、 前記複数のノードと接続されており、送信元ノードによ
   って、前記送信元ノードの前記管理テーブルを参照して
   得られる、書き込み可能な分割領域に書き込まれた通信
   データを、前記送信先ノードの前記送信元ノードに対応
   する分割領域に書き込むクロスバコントローラと、 からなるクラスタシステム。
2. 【請求項２】 前記クロスバコントローラは、 前記送信先ノードに、前記通信データの書き込まれた分
   割領域のアドレスを通知する通知手段をさらに有し、 前記送信先ノードは、 前記通知手段で通知された前記分割領域のアドレスに基
   づいて前記送信先ノードの前記管理テーブルを参照し、
   前記分割領域のアドレスが読み出し可能な領域である場
   合に、前記通信データを読み出す読み出し手段を有す
   る、 請求項１に記載のクラスタシステム。
3. 【請求項３】 前記各分割領域は、同じ記憶容量からな
   る、 請求項１または２に記載のクラスタシステム。
4. 【請求項４】 前記複数のノード全てが有する、所定の
   ノードに対応する分割領域のアドレスが等しい、 請求項１から３のいずれかに記載のクラスタシステム。
5. 【請求項５】 個別にメモリ領域を有する複数のノード
   と、前記複数のノード間を接続するクロスバコントロー
   ラから構成されるクラスタシステムにおいて、 各ノードのメモリ領域に、クロスバコントローラによっ
   て格納されているデータの読み書きが制御される共有メ
   モリエリアを確保するメモリエリア確保ステップと、 前記各ノードが、自ノードの前記共有メモリエリアを前
   記複数のノードのノード数と等しい分割領域を確保する
   分割領域確保ステップと、ここで、前記各分割領域は、
   個別に前記複数のノードの各々に対応しており、 前記各ノードは、対応する前記共有メモリエリアの、前
   記分割ステップで分割された前記各分割領域に対して、
   自ノードによる読み出し／書き込みの許可／不許可を設
   定する設定ステップと、 前記設定ステップで設定された、書き込みを許可されて
   いる送信元ノードの分割領域に書き込まれた通信データ
   を、送信先ノードの前記送信元ノードに対応する分割領
   域に書き込む通信ステップと、 からなるノード間通信方法。
6. 【請求項６】 前記送信先ノードに、前記通信データの
   書き込まれた分割領域のアドレスを通知する通知ステッ
   プと、 前記通知ステップで通知された前記分割領域のアドレス
   が、前記設定ステップで設定された読み出し可能な領域
   に含まれる場合に、前記通信データを読み出す読み出し
   ステップをさらに有する、 請求項５に記載のノード間通信方法。
7. 【請求項７】 前記メモリエリア確保ステップで確保さ
   れた前記各ノードの共有メモリエリアの容量が同じであ
   る、 請求項５または６に記載のノード間通信方法。
8. 【請求項８】 前記分割領域確保ステップは、 前記各ノードが、対応する前記共有メモリエリアを前記
   複数のノードのノード数からなり、同じ容量からなる分
   割領域を確保するステップからなる、 請求項５から７のいずれかに記載のノード間通信方法。
9. 【請求項９】 前記分割領域確保ステップは、 前記複数のノード全てが有する、所定のノードに対応す
   る分割領域のアドレスが等しく設定されるステップをさ
   らに含む請求項５から８のいずれかに記載のノード間通
   信方法。
10. 【請求項１０】 前記設定ステップは、 前記各分割領域への読み出し／書き込み可能な前記ノー
    ドを個別に設定するステップをさらに具備する、 請求項５から９のいずれかに記載のノード間通信方法。
11. 【請求項１１】 個別にメモリ領域を有する複数のノー
    ドと、前記複数のノード間を接続するクロスバコントロ
    ーラから構成されるクラスタシステムにおいて、 各ノードのメモリ領域に、クロスバコントローラによっ
    て格納されているデータの読み書きが制御される共有メ
    モリエリアを確保するメモリエリア確保ステップと、 前記各ノードが、自ノードの前記共有メモリエリアを前
    記複数のノードのノード数と等しい分割領域を確保する
    分割領域確保ステップと、ここで、前記各分割領域は、
    個別に前記複数のノードの各々に対応しており、 前記各ノードは、対応する前記共有メモリエリアの、前
    記分割ステップで分割された前記各分割領域に対して、
    自ノードによる読み出し／書き込みの許可／不許可を設
    定する設定ステップと、 前記設定ステップで設定された、書き込みを許可されて
    いる送信元ノードの分割領域に書き込まれた通信データ
    を、送信先ノードの前記送信元ノードに対応する分割領
    域に書き込む通信ステップと、 からなる実行プログラムを格納した記録媒体。
12. 【請求項１２】 前記送信先ノードに、前記通信データ
    の書き込まれた分割領域のアドレスを通知する通知ステ
    ップと、 前記通知ステップで通知された前記分割領域のアドレス
    が、前記設定ステップで設定された読み出し可能な領域
    に含まれる場合に、前記通信データを読み出す読み出し
    ステップをさらに有する、 からなる実行プログラムを格納した請求項１１に記載の
    記録媒体。
13. 【請求項１３】 前記メモリエリア確保ステップは、 前記各ノードの共有メモリエリアが同じ容量に設定され
    るステップをさらに含む、 実行プログラムを格納した請求項１１または１２に記載
    の記録媒体。
14. 【請求項１４】 前記分割領域確保ステップは、 前記各ノードが、対応する前記共有メモリエリアを前記
    複数のノードのノード数からなり、同じ容量からなる分
    割領域を確保するステップからなる、 実行プログラムを格納した請求項１１から１３のいずれ
    かに記載の記録媒体。
15. 【請求項１５】 前記分割領域確保ステップは、 前記複数のノード全てが有する、所定のノードに対応す
    る分割領域のアドレスが等しく設定されるステップをさ
    らに含む実行プログラムを格納した請求項１１から１４
    のいずれかに記載の記録媒体。
16. 【請求項１６】 前記設定ステップは、 前記各分割領域への読み出し／書き込み可能な前記ノー
    ドを個別に設定するステップをさらに具備する、 実行プログラムを格納した請求項１１から１５のいずれ
    かに記載の記録媒体。