JP2003323328A - 分散ファイルシステム及びそのデータ多重化方法 - Google Patents

Abstract

(57)【要約】 【課題】マスターファイル及び複製ファイルの多重化の
再の通信量を低減してシステムの性能を向上させる。 【解決手段】マスター領域Ｍから読み込んだマスターフ
ァイルをキャッシュ領域にキャッシュする（ｂ１）。キ
ャッシュ領域の変更されたデータ部分（塗り潰し部分）
（ｂ２）をマスター領域の対応する部分に転送する（ｂ
３）。これにより、変更されたデータ部分についてはキ
ャッシュ領域とマスター領域とで多重化され、変更され
ていないデータ部分についてはマスター領域と複製領域
とで多重化される。最後に変更されていないデータ部分
をキャッシュ領域に転送して、キャッシュ領域に複製デ
ータを統合して複製領域とする（ｂ４）。複製ファイル
の作成時（ｂ３）には、マスター領域にのみデータを転
送すればよく、多重化に際して通信量を削減することが
できる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、複数の計算機ノー
ドで構成される計算機クラスタシステムに好適な分散フ
ァイルシステム及びそのデータ多重化方法に関する。

【０００２】

【従来の技術】従来、複数台のコンピュータを連携して
使用して、１台のコンピュータと同様の使用を可能にす
る計算機クラスタシステムが採用されることがある。計
算機クラスタシステムは、比較的安価なコンピュータを
用いた場合でも、高度な業務処理が可能であり、しか
も、システムの拡張が極めて容易である。

【０００３】計算機クラスタシステムでは、複数の独立
した計算機ノードを組み合わせてプログラムを動作させ
る。この場合において、各コンピュータで扱うファイル
を格納する手段としては、大きく分類して、共有ディス
クを使用する場合としない場合の２種類がある。

【０００４】共有ディスクを備えない計算機クラスタシ
ステムでは、ファイルを計算機ノード間で分散して保持
する。このようなシステムにおいて、プロセスがどの計
算機ノードで動作していても、全てのファイルへのアク
セスを同様に可能とするために、分散ファイルシステム
が用いられる。

【０００５】分散ファイルシステムを使用すると、全て
の計算機ノードの全プロセスが、クラスタシステム内の
計算機ノードに分散して格納されているファイルを一意
に指定することができる。分散ファイルシステムの代表
例としては、ＡＦＳ（Ａｎｄｒｅｗ Ｆｉｌｅ Ｓｙｓ
ｔｅｍ）がある。分散ファイルシステムは、ファイルの
実体であるマスターファイルをシステム内のいずれかの
計算機ノード上の記憶装置に格納し、ファイルがどの計
算機ノードに格納されているかという情報をシステム内
のデータベースに登録する。ファイルを使用する場合に
は、システム内のデータベースからマスターファイルが
実際に格納されている計算機ノードを検索し、この検索
結果を利用することで、いずれの計算機ノードにおいて
もマスターファイルの読み出しを可能にしている。

【０００６】なお、分散ファイルシステムでは、ファイ
ルアクセスの高速化のために、プロセスが動作している
計算機ノードに作業用のキャッシュファイルを作成し、
ファイル中の参照したことがある領域をキャッシュし
て、以降の読み出しをキャッシュファイルから行うよう
にする手法が採用されることがある。キャッシュファイ
ルを用いたこのような高速化処理においては、ファイル
の内容の更新はキャッシュファイルに対して行い、一定
のタイミングでキャッシュファイルに対する更新をマス
ターファイルに対してまとめて行うようになっている。

【０００７】ところで、計算機クラスタシステムには、
大きく２つに分けて、科学技術計算等の高速化を目的と
した計算・解析クラスタシステムと、システムの高信頼
化を目的とした高信頼クラスタシステムとがある。

【０００８】高信頼計算機クラスタシステムは、計算機
ノードを複数にすることにより、システムの冗長度を向
上させるものである。即ち、システムを構成する計算機
ノードの一部が故障等の理由によるシステムダウンで使
用不能となった場合でも、計算機クラスタシステムを構
成する他の計算機ノードがシステムダウンした計算機ノ
ードの代替となることで、システム全体を停止させるこ
となく動作の継続を可能にする。

【０００９】特に、計算機システムで記憶装置として用
いられることが多いハードディスクは、機械的に稼動す
る部品等を用いていることから、計算機システムを構成
する他の部品と比べて故障する可能性が高い。しかも、
一般的な情報システムにおいては、システム内の情報デ
ータ、つまりファイルの内容は極めて重要で、これを失
うことは避けなくてはならない。

【００１０】一般的には、システム内のファイルを保護
するために、ディスクアレイを利用したＲｅｄｕｎｄａ
ｎｔ Ａｒｒａｙｓ ｏｆ Ｉｎｅｘｐｅｎｓｉｃｖｅ
Ｄｉｓｋｓ（ＲＡＩＤ）という方式が多く採用されて
いる。ＲＡＩＤはディスクアレイの各ディスクに重複し
てデータを記録するものである。

【００１１】これに対し、分散ファイルシステムを用い
た計算機クラスタシステムにおいては、ファイルの実体
であるマスターファイルと同一の内容を持った複製ファ
イルを作成し、マスターファイルが格納されている計算
機ノードとは別の計算機ノードに複製ファイルを格納す
る多重化が採用される。このような高信頼型の分散ファ
イルシステムでは、ファイルに対する更新は、マスター
ファイルに行うと同時に逐一複製ファイルに対しても行
い、ファイルの多重度を維持する。この方法によれば、
マスターファイル及び複製ファイルのいずれか一方が壊
れた場合でも、ファイルの内容を他方から復元すること
ができる。

【００１２】このように、高信頼計算機クラスタシステ
ムは、分散ファイルシステムにおいてデータを多重記録
することにより、データ保存の高い信頼性を確保してい
る。なお、このような分散ファイルシステムの一例とし
ては、特開２００１−１６００３９号公報等に記載され
たものがある。

【００１３】

【発明が解決しようとする課題】ところで、計算機シス
テムにおいて、ファイルアクセスは、頻繁に発生する動
作であり、システム全体の性能のボトルネックになりや
すい項目である。一般的に、計算機ノード間の通信帯域
は単一の計算機内のデバイス間の通信帯域に比べて狭
い。従って、計算機ノード間の通信を伴う処理は、計算
機ノード内で閉じた処理に比べて極めて低速である。こ
のため、ファイルアクセスのたびに発生する計算機ノー
ド間のデータ通信量の多さはシステム全体の性能を低下
させる要因となる。

【００１４】ところが、高信頼計算機クラスタシステム
においては、高信頼化した分散ファイルシステムを用い
て、ファイルの冗長度を維持するために、ファイルに対
する更新をマスターファイルと複製ファイルの双方に対
して行う必要があり、計算機ノード間のデータ通信量
は、マスターファイルに対してのみ更新を行う高信頼化
されていない分散ファイルシステムに比較して、２倍以
上の量になってしまい、性能が著しく低下するという問
題点があった。

【００１５】本発明は、ファイルの冗長度を損なうこと
なく性能を向上させた高信頼計算機クラスタシステムを
可能にすることができる分散ファイルシステム及び分散
ファイルシステムのデータ多重化方法を提供することを
目的とする。

【００１６】

【課題を解決するための手段】本発明に係る分散ファイ
ルシステムは、ネットワークに接続された複数の計算機
ノードに夫々設けられる記憶手段と、自計算機ノードが
有する前記記憶手段にキャッシュ領域を設定し、前記ネ
ットワークを介して他の計算機ノードが有する記憶手段
に設定されているマスター領域からマスターファイルを
読出して、読出した前記マスターファイルをキャッシュ
するキャッシュ手段と、前記キャッシュ領域中の更新さ
れたデータ部分で前記マスター領域のマスターファイル
を更新する転送手段と、前記ネットワークに接続された
複数の計算機ノードの各記憶手段に前記マスター領域に
記憶されているマスターファイルと同一内容の複製ファ
イルを格納する複製領域を設定するものであって、前記
キャッシュ領域を複製領域に設定する多重化手段とを具
備したものである。

【００１７】本発明においては、ネットワークには複数
の計算機ノードが接続されており、各計算機ノードには
夫々記憶手段が設けられる。所定の２つ以上の計算機ノ
ードの各記憶手段に、マスター領域又は複製領域が設定
されてマスターファイル及び複製ファイルが格納され
る。キャッシュ手段は、自計算機ノードの記憶手段にキ
ャッシュ領域を設定し、読み込んだマスターファイルを
キャッシュする。転送手段は、キャッシュ領域中の更新
されたデータ部分をマスター領域の対応する領域に転送
する。多重化手段はキャッシュ領域を複製領域に設定す
る。これにより、キャッシュ領域とマスター領域とで多
重化が行われる。この多重化に際して、転送手段は変更
されたデータをマスター領域にのみ転送すればよく、既
存の複製領域への転送は不要であるので転送データ量が
削減され、データ転送による性能低下が抑制される。

【００１８】なお、装置に係る本発明は方法に係る発明
としても成立する。

【００１９】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態について詳細に説明する。図１は本発明の一実
施の形態に係る分散ファイルシステムのデータ多重化方
法を示す説明図である。図１（ａ１）〜図１（ａ４）は
従来における高信頼化された分散ファイルシステムにお
けるファイルの記憶方法を示し、図１（ｂ１）〜（ｂ
４）は本実施の形態の高信頼化された分散ファイルシス
テムにおけるファイルの記憶方法を示している。

【００２０】本実施の形態は高信頼計算機クラスタシス
テムに採用される高信頼化された分散ファイルシステム
に適用したものである。

【００２１】図１（ａ１）〜（ａ４）及び図１（ｂ１）
〜（ｂ４）において、Ｃ，Ｍ，Ｒは夫々高信頼計算機ク
ラスタシステムにおけるクライアント（コンピュータ）
が備えるキャッシュ領域、高信頼計算機クラスタシステ
ムにおける任意のコンピュータが備えるマスターファイ
ルを記憶する記憶領域（以下、マスター領域ともいう）
及び高信頼計算機クラスタシステムにおける任意のコン
ピュータが備える複製（リプリカ）ファイルを記憶する
記憶領域（以下、複製領域ともいう）を示している。

【００２２】図１において、Ｃ，Ｍ，Ｒの各記憶領域を
示す枠内の四角枠は、１つのファイルに対する記憶領域
を示している。また、斜線部分は更新前のデータ領域を
示し、梨地部分は使用されたキャッシュ領域のうち更新
されていない部分又は複製領域のうち有効でない（使用
しない）データ部分を示し、塗り潰し部分は、更新され
たデータ領域を示している。

【００２３】先ず、図１（ａ１）〜（ａ４）を参照し
て、従来例における高信頼化された分散ファイルシステ
ムのデータ伝送について説明する。

【００２４】高信頼計算機クラスタシステムにおける高
信頼化された分散ファイルシステムでは、データをファ
イル単位で扱うようになっており、また、キャッシュ領
域はファイル毎に設けられる。

【００２５】いま、図１（ａ１）に示すように、所定の
２台のコンピュータの各記憶領域Ｍ，Ｒに、夫々マスタ
ーファイル及び複製ファイルが記憶されているものとす
る。ここで、所定のクライアントが通信回線を介してマ
スター領域Ｍからデータを読出すものとする。マスター
領域Ｍから読出された１ファイル分のデータは、クライ
アントのキャッシュ領域（以下、キャッシュ領域Ｃとい
う）に記憶される。クライアントにおいてマスターファ
イルを使用する場合には、図１（ａ２）に示すように、
キャッシュ領域Ｃ中に記憶されているデータ、例えば斜
線部分に示すデータが読出される。

【００２６】マスターファイルに対するアクセスを、ク
ライアント内部のキャッシュ領域Ｃに対して行うことに
より、高速処理が可能である。

【００２７】次に、キャッシュ領域Ｃに記憶されている
マスターファイルに対して更新を行うものとする。図１
（ａ３）の塗り潰し部分は、更新したファイルが記憶さ
れている領域を示している。

【００２８】図１（ａ３）の状態は、更新されたマスタ
ーファイルがキャッシュ領域Ｃのみに記憶されている状
態を示している。即ち、この状態ではデータは多重化さ
れていない。そこで、更新されたデータに応じてマスタ
ーファイル及び複製ファイルを更新する。

【００２９】即ち、クライアントのキャッシュ領域Ｃの
更新された部分（塗り潰し部分）のデータを、所定の通
信回線を介して、所定の２台のコンピュータのマスター
領域Ｍ及び複製領域Ｒに転送する。図１（ａ４）はこの
状態を示している。マスター領域Ｍと複製領域Ｒには、
斜線部分及び塗り潰し部分において同一のデータが記憶
されている。こうして、マスターファイルと複製ファイ
ルとで多重度が維持される。

【００３０】次に、本実施の形態におけるマスターファ
イル及び複製ファイルの伝送について説明する。

【００３１】いま、図１（ａ１）と同様に、所定の２台
のコンピュータの各記憶領域Ｍ，Ｒに、夫々マスターフ
ァイル及び複製ファイルが記憶されているものとする。
本実施の形態においては、ファイルを所定のデータ単位
で扱うようになっている。なお、キャッシュ領域Ｃはフ
ァイル毎に設けられる。

【００３２】図１（ｂ２）に示すように、マスター領域
からのマスターファイルの読出し及びキャッシュ領域へ
の格納、クライアントにおいて使用するためのマスター
ファイル中のデータの読出しは、従来と同様である。

【００３３】本実施の形態においても、マスターファイ
ルに対するアクセスを、クライアント内部のキャッシュ
領域Ｃに対して行うことにより、高速処理が可能であ
る。

【００３４】次に、キャッシュ領域Ｃに記憶されている
マスターファイルに対して更新を行うものとする。この
処理も従来と同様であり、図１（ｂ２）の塗り潰し部分
は、キャッシュ領域Ｃ中の更新したファイルが記憶され
ている領域を示している。

【００３５】次に、データは多重化するために、更新さ
れたデータを転送する。本実施の形態においては、更新
されたデータの転送は、マスター領域Ｍに対してのみ行
うようになっている。

【００３６】図１（ｂ３）はこの状態を示している。キ
ャッシュ領域Ｃに記憶されたマスターファイル中の更新
された部分（塗り潰し部分）は、所定の通信回線を介し
て、所定のコンピュータ内のマスター領域Ｍに転送さ
れ、マスター領域Ｍ中のマスターファイルは、キャッシ
ュ領域Ｃ中の更新されたデータによって更新される。

【００３７】本実施の形態においては、更新されたデー
タはマスター領域Ｍにのみ転送し、複製領域Ｒには転送
しない。この場合でも、図１（ｂ３）に示すように、キ
ャッシュ領域Ｃにおいて更新されたデータ部分は、マス
ター領域Ｍの塗り潰し部分とキャッシュ領域Ｃの塗り潰
し部分に示すように、マスター領域Ｍとキャッシュ領域
Ｃとで多重化されている。

【００３８】一方、複製領域Ｒは更新されていないの
で、マスター領域Ｍ中の更新されていないデータ部分
（斜線部）は、複製領域Ｒ中の対応する領域にも存在す
る。即ち、更新されていない部分についても、マスター
領域Ｍと複製領域Ｒとで多重化されている。

【００３９】つまり、本実施の形態においては、更新さ
れたデータ部分は、マスター領域Ｍとキャッシュ領域Ｃ
とで多重化され、更新されていないデータ部分は、マス
ター領域Ｍと複製領域Ｒとの間で多重化される。

【００４０】即ち、キャッシュ領域Ｃを複製領域として
も用いることによって、マスター領域Ｍへの転送だけの
少ない転送量で、データの多重化が可能である。各ファ
イルについて、複製領域としていずれの領域を用いるか
を示すテーブルを設けることで、少ないデータ転送量
で、データを多重化するのである。

【００４１】しかし、図１（ｂ３）の状態では、複製領
域が２つの領域に分割されて存在する。そうすると、領
域の管理が煩雑になってしまうことが考えられる。そこ
で、２つに分かれて存在する２台のコンピュータ上の２
つの複製領域の一方を他方に転送して、複製領域を１つ
にする。図１（ｂ４）はこの状態を示している。

【００４２】この場合には、図１（ｂ４）のキャッシュ
領域Ｃを複製領域としてもよく、また、複製領域Ｒを複
製領域としてもよい。データの転送量が少なくなるよう
に複製領域を選択すればよい。図１（ｂ３）の場合に
は、塗り潰し部分のデータ量と斜線部分のデータ量とで
は、塗り潰し部分のデータ量の方が大きいので、斜線部
分に相当するデータを転送する。即ち、マスター領域Ｍ
の斜線部分に相当するデータを、キャッシュ領域Ｃの対
応する領域に転送して記憶させる。

【００４３】図２は図１の分散ファイルシステムのデー
タ多重化方法を実現する分散ファイルシステムを示すブ
ロック図である。図２は本実施の形態の分散ファイルシ
ステムを高信頼計算機クラスタシステムに適用したもの
である。

【００４４】図２は複数台の計算機ノードによって計算
機クラスタシステムが構成されたネットワーク１２０を
示している。図２では３台の計算機ノード１０１、１０
８、１１４のみを示しているが、計算機ノードは３台よ
りも多くてもよい。各計算機ノードには、夫々通信装
置、リソース管理部、制御ソフトウェア、記憶装置が含
まれる。これらによって、クラスタシステム上の分散フ
ァイルシステムが構成される。

【００４５】図２はクラスタシステム内のプロセス１０
２が、計算機ノード１０１で動作しており、プロセス１
０２によって、分散ファイルシステム上のファイルに対
してファイルアクセスする例を示している。

【００４６】各計算機ノード１０１，１０３，１１４の
通信装置１０３，１０９，１１５は、ネットワーク１２
０を介して他の計算機ノードとの間で通信が可能であ
る。制御ソフトフェア１０５，１１１，１１７は、記憶
装置１０６，１１２，１１８にデータの書き込み行うと
共に、記憶装置１０６，１１２，１１８から読み出した
データをリソース管理部１０４に出力する。リソース管
理部１０４，１１０，１１６は、夫々、制御ソフトフェ
ア１０５，１１１，１１７を駆動して、記憶装置１０
５，１１２，１１８に対するアクセスを行う。プロセス
１０２は、リソース管理部１０４と連携して、ネットワ
ーク１０２上の各記憶装置１０６，１１２，１１８に対
するアクセスを行う。

【００４７】なお、ネットワーク１２０及び、ネットワ
ーク１２０を使って通信を行うことができる通信装置１
０３、１０９、１１５はイーサネット（Ｒ）をはじめと
する、何らかのネットワーク通信装置であり、計算機ノ
ード間で通信を行うことができれば種類は問わない。

【００４８】記憶装置１０６，１１２，１１８は、複数
のファイルを記憶する領域を有しており、各領域は１つ
のファイルを１つ以上の管理単位（データ単位）に分割
した場合の各管理単位を記憶する複数の領域を有してい
る。各ファイルは管理情報を有しており、管理情報は各
管理単位がマスターファイルであるか複製ファイルであ
るかの情報を有する。

【００４９】なお、各計算機ノードにある記憶装置１０
６、１１２、１１８と、その制御ソフトウェア１０５、
１１１、１１７は、ファイルの識別子からハードディス
ク等の記憶装置のどの位置にファイルが格納しているか
を調べ、データを読み書きすることができる一般的なフ
ァイルシステムであり、同様の機能を有すれば、どのよ
うな形態でもかまわない。

【００５０】本実施の形態においては、ファイルは所定
の管理単位（データ単位）に分割して転送可能である。
従って、図１（ｂ４）に示す１つの複製ファイルへの統
合を行わずに、図１（ｂ３）の状態のままの場合には、
そのファイルに対するファイルアクセス毎に、ファイル
が分割されて格納される可能性がある。即ち、各ファイ
ルは、１つ以上の領域に分割されて各管理単位毎に格納
され、必ず、各格納単位はマスターと複製とを有する。

【００５１】リソース管理部１０４，１１０，１１６
は、テーブルを用いて、マスターファイルとその複製フ
ァイルの組について、格納する記憶装置及び記憶装置内
の記憶領域の位置を管理するようになっている。

【００５２】図３はリソース管理部において管理するテ
ーブル６０１を示す説明図である。テーブル６０１は、
分散ファイルシステム上のファイルの識別子及びデータ
領域がどの計算機ノードのどのファイルと対応するかを
検索するためのものである。図３のテーブルは、ネット
ワーク１２０上の全ての計算機ノードのリソース管理部
が有していてもよく、また、いずれか１つのリソース管
理部が有していてもよく、更に、ネットワーク１２０上
の読出し可能な任意の位置に格納するようにしてもよ
い。

【００５３】図３の例は、ファイル識別子がＦ００１〜
Ｆ００３の３つのファイルの格納状態を示している。フ
ァイルＦ００１は、０−９９９のデータ領域を有してお
り、ファイルＦ００２は０−２９９のデータ領域を有し
ており、ファイルＦ００３は０−２９９９のデータ領域
を有している。本実施の形態においては、ファイルＦ０
０２は、データ領域０−９９，１００−１９９，２００
−２９９の３つのデータ単位に分割されている。

【００５４】そして、各ファイル（データ単位）は、マ
スターファイルと複製ファイルとを有している。例え
ば、Ｆ００１は、その実体が計算機ノード１０８中の記
憶装置１０６中のファイル１１３として格納され、その
複製が計算機ノード１１４の記憶装置１１８中のファイ
ル１１９として格納されている。また、例えば、ファイ
ルＦ００２のデータ領域１００−１９９のデータ単位
は、図示しない計算機ノード１００１の記憶装置１０１
０にマスターファイルが記憶され、図示しない計算機ノ
ード２３００の記憶装置２３０８に複製ファイルが記憶
されている。

【００５５】なお、テーブル６０１においては、データ
領域の情報を有する例を示しているが、このデータ領域
の情報は省略可能である。また、表６０１と同様の機能
を有すれば、リソース管理部が持つ検索のための表は、
表６０１の構成でなくともよい。

【００５６】次に、高信頼計算機クラスタシステムの高
信頼化された分散ファイルシステムにおけるファイルの
アクセスについて図４及び図５のフローチャートを参照
して説明する。

【００５７】先ず、図４を参照して、計算機ノード１０
１で動作しているプロセス１０２が、分散ファイルシス
テム上のファイルＦ００１を参照する（更新を伴わな
い）場合の例について説明する。

【００５８】先ず、プロセス１０２は、参照したいファ
イルの識別子Ｆ００１と要求するデータをリソース管理
部１０４に渡す（ステップ２０２）。リソース管理部１
０４は、リソース管理部の管理している表６０１を用い
て要求されたファイルがどの計算機ノードに格納されて
いるかを調べる。図３の例では、リソース管理部１０４
において、参照要求されたファイルＦ００１は、計算機
ノード１０８のファイル１１３及び計算機ノード１１４
のファイル１１９であることを示す情報が得られる（ス
テップ２０３）。

【００５９】更新を伴わない参照の動作なので、マスタ
ーファイルであるファイル１１３を参照しても、また、
複製ファイルであるファイル１１９を参照してもよい。
リソース管理部１０４は、いずれのファイルからデータ
を取得するかを決定する。いずれのファイルにアクセス
するかについては、データ転送速度や、計算機ノードの
負荷等によってリソース管理部１０４において決定して
もよい。

【００６０】リソース管理部１０４は、通信装置１０
３、ネットワーク１２０を介して計算機ノード１０８、
又は計算機ノード１１４にデータの取得の要求を出す
（ステップ２０４，２０５）。作業用のキャッシュファ
イル１０７が既に作成されており、要求するデータがす
でに作業用のキャッシュファイル１０７に存在するか否
かを制御ソフトウェア１０５に確認する。参照要求した
ファイルＦ００１のキャッシュファイルが存在する場合
には、作業用のキャッシュファイル１０７からデータを
読み込んで（ステップ２０８，２０９）、ステップ２１
１に処理を移行する。

【００６１】作業用のキャッシュファイルに要求するデ
ータが存在しない場合は、ステップ２０６，２０７にお
いて、要求を受けた計算機ノードのリソース管理部１１
０またはリソース管理部１１６は格納しているファイル
１１３、１１９からデータを取得し、計算機ノード１０
１のリソース管理部１０４に渡す。

【００６２】作業用のキャッシュファイルが未作成の場
合、リソース管理部１０４は以後のファイルアクセスを
高速にするために、制御ソフトウェア１０５を介してロ
ーカルの記憶装置１０６内に作業用のキャッシュファイ
ル１０７を作成する。次に作業用のキャッシュファイル
１０７の管理情報を更新し、取得したデータを格納する
（ステップ２１０）。更に、リソース管理部１０４はプ
ロセス１０２に取得したデータを渡す（ステップ２１
１）。

【００６３】次に、図５を参照して、計算機ノード１０
１で動作しているプロセス１０２が、ファイルＦ００１
を更新する場合の動作を説明する。

【００６４】先ず、プロセス１０２は更新したいファイ
ルの識別子Ｆ００１と更新するデータ単位をリソース管
理部１０４に渡す（ステップ３０２）。リソース管理部
１０４は、リソース管理部が管理している表６０１を用
いて要求されたファイルの全体がどの計算機ノードにあ
るかを調べる。この場合には、計算機ノード１０８のフ
ァイル１１３が得られる（ステップ３０３）。

【００６５】リソース管理部１０４は制御ソフトウェア
１０５を介してローカルの記憶装置１０６内の作業用の
キャッシュファイル１０７にファイルの管理情報と更新
するデータを書き込む（ステップ３０４）。

【００６６】次に、本実施の形態においては、キャッシ
ュ領域内の更新したデータ単位について、マスターファ
イルの対応するデータ単位の更新を行う。即ち、リソー
ス管理部１０４は、通信装置１０３、ネットワーク１２
０を通して計算機ノード１０８にファイル１１３の更新
を要求する（ステップ３０５）。計算機ノード１０８の
リソース管理部１１０は、要求に従ってファイル１１３
の管理情報及びデータを制御ソフトウェア１１１を介し
て更新する（ステップ３０６）。

【００６７】これにより、図１（ｂ３）と同様の状態が
得られる。即ち、ファイルＦ００１のデータのうち、プ
ロセス１０２によって更新されていない領域に関して
は、ファイル１１３、１１９によって多重化され、プロ
セス１０２によって更新された領域に関しては、ファイ
ル１０７、１１３によって多重化される。つまり、ファ
イルＦ００１全体でファイルの実体が多重化されること
になる。

【００６８】ファイル全体で多重化されていれば、各フ
ァイルが複数のデータ単位に分割されていても特には問
題はない。従って、１つの複製ファイルに統合すること
なく、分割された状態でファイルアクセスを行うことも
考えられる。図６はこの場合において、計算機ノード１
０１で動作しているプロセス１０２のファイルＦ００１
への更新が終了したときの動作を示している。

【００６９】プロセス１０２は、作業用キャッシュファ
イル１０７の更新した領域を新たな複製ファイルとして
用いることを、ファイル識別子Ｆ００１と更新した領域
をリソース管理部１０４に渡す（ステップ４０２）。リ
ソース管理部１０４は、リソース管理部１０４を含め、
計算機クラスタシステムを構成するすべての計算機ノー
ドのリソース管理部に対して、作業用のキャッシュファ
イル１０７のプロセス１０２によって更新された領域を
ファイルＦ００１の新たな複製ファイルとして使用する
ことを要求する（ステップ４０３）。

【００７０】リソース管理部１０４から要求を受け取っ
た各ノードのリソース管理部は、ファイルがどのノード
に格納されているかという情報を示す表６０１の内容
を、ファイル１０７のうち、プロセス１０２によって更
新された領域を、ファイルＦ００１の複製ファイルと
し、ファイル１１９を同じ領域の複製ファイルとして扱
わないように、書き換える（ステップ４０４）。

【００７１】図７は複数に分割された複製ファイルを１
つの統合する場合の動作について、計算機ノード１０１
で動作しているプロセス１０２のファイルＦ００１への
更新が終了した場合を例に示すフローチャートである。

【００７２】図７のステップ５０２において、プロセス
１０２はファイルＦ００１の更新が終了したことをファ
イルの識別子Ｆ００１と共にリソース管理部１０４に渡
す。リソース管理部１０４は、リソース管理部が管理し
ている表６０１を用いて要求されたファイルの実体がど
の計算機ノードにあるかを調べる。この場合には、計算
機ノード１０８のファイル１１３が得られる（ステップ
５０３）。

【００７３】リソース管理部１０４は、プロセス１０２
によって更新された領域の大きさＳ１と、未参照等の理
由でファイルの実体から作業用のキャッシュファイル１
０７にデータが取得されていない領域の大きさＳ２を、
制御ソフトウェア１０５を介して、ファイル１０６の管
理情報から取得する（ステップ５０４）。Ｓ１とＳ２の
値を比較し、Ｓ１の方が大きければ、リソース管理部１
０４はプロセス１０２によって更新された領域の内容を
通信装置１０３、ネットワーク１２０を通して計算機ノ
ード１１４のリソース管理部１１６に渡す（ステップ５
０５）。更新データを受け取ったリソース管理部１１６
は、制御ソフトウェア１１７を通してファイル１１９の
データ及び管理情報を更新する（ステップ５０６）。

【００７４】ステップ５０３において、Ｓ２の方がＳ１
よりも大きかった場合には、リソース管理部１０４は作
業用のキャッシュファイル１０７にデータが取得されて
いない領域のデータを通信装置１０３、ネットワーク１
２０を介して、計算機ノード１０７のリソース管理部１
１０に要求する（ステップ５０７）。リソース管理部１
１０は、要求に従ってファイル１１３からデータを読み
出し、計算機ノード１０１のリソース管理部１０４に渡
す（ステップ５０８）。計算機ノード１０７からデータ
を受け取ったリソース管理部１０４は制御ソフトウェア
１０５を通して受け取ったデータでファイル１０７のデ
ータ及び管理情報を更新する。次に、リソース管理部１
０４は、計算機クラスタシステムを構成する全ての計算
機ノードのリソース管理部に対して、ファイルＦ００１
の実体が、計算機ノード１０８のファイル１１３と計算
機ノード１０１のファイル１０７であるとリソース管理
部の管理する表を書き換えるように要求する。（ステッ
プ５０９）各リソース管理部はリソース管理部１０４の
要求どおりに表を書き換え、ファイルＦ００１の実体を
安定した状態にする（ステップ５１０）。

【００７５】このように、本実施の形態においては、複
数の計算機ノードから構成される計算機クラスタシステ
ム上の高信頼分散ファイルシステムにおいて、更新を分
散ファイルシステム上のファイルの実体のひとつと、作
業用のキャッシュファイルに対してのみ行うことで、分
散ファイルシステム上のファイルの実体の多重度を保ち
つつ、計算機ノード間の通信量を削減することができ
る。更に、ファイルの更新終了後にファイルの多重度を
保つために必要なデータ転送量に応じて、従来どおり分
散ファイルシステム上のファイルの複製ファイルを更新
するか、作業用のキャッシュファイルを新たに分散ファ
イルシステム上のファイルの複製ファイルとするかを決
定して、計算機ノード間でデータ転送を行う。これによ
り、分散ファイルシステム上のファイルの多重度を保ち
つつ計算機ノード間の通信量を削減することが可能であ
る。

【００７６】

【発明の効果】以上説明したように本発明によれば、フ
ァイルの冗長度を損なうことなく性能を向上させた高信
頼計算機クラスタシステムを可能にすることができる分
散ファイルシステム及び分散ファイルシステムのデータ
多重化方法を提供することを目的とする。

【図面の簡単な説明】

【図１】本発明の一実施の形態に係る分散ファイルシス
テムのデータ多重化方法を示す説明図。

【図２】図１の分散ファイルシステムのデータ多重化方
法を実現する分散ファイルシステムを示すブロック図。

【図３】リソース管理部において管理するテーブル６０
１を示す説明図。

【図４】計算機ノード１０１で動作しているプロセス１
０２が、分散ファイルシステム上のファイルＦ００１を
参照する（更新を伴わない）場合の例を示すフローチャ
ート。

【図５】計算機ノード１０１で動作しているプロセス１
０２が、ファイルＦ００１を更新する場合の動作を説明
するためのフローチャート。

【図６】計算機ノード１０１で動作しているプロセス１
０２のファイルＦ００１への更新が終了したときの動作
を説明するためのフローチャート。

【図７】複数に分割された複製ファイルを１つの統合す
る場合の動作について、計算機ノード１０１で動作して
いるプロセス１０２のファイルＦ００１への更新が終了
した場合を例に示すフローチャート。

【符号の説明】

１０１，１０８，１１４…計算機ノード、１０４，１１
０，１１６…リソース管理部、１０６，１１２，１１８
…記憶装置、１２０…ネットワーク。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 佐藤 記代子 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内 (72)発明者 崎山 伸夫 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内 (72)発明者 林 拓也 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内 Ｆターム(参考） 5B065 BA01 CH01 EA33 5B082 DE05

Claims (10)

【特許請求の範囲】
1. 【請求項１】 ネットワークに接続された複数の計算機
   ノードに夫々設けられる記憶手段と、 自計算機ノードが有する前記記憶手段にキャッシュ領域
   を設定し、前記ネットワークを介して他の計算機ノード
   が有する記憶手段に設定されているマスター領域からマ
   スターファイルを読出して、読出した前記マスターファ
   イルをキャッシュするキャッシュ手段と、 前記キャッシュ領域中の更新されたデータ部分で前記マ
   スター領域のマスターファイルを更新する転送手段と、 前記ネットワークに接続された複数の計算機ノードの各
   記憶手段に前記マスター領域に記憶されているマスター
   ファイルと同一内容の複製ファイルを格納する複製領域
   を設定するものであって、前記キャッシュ領域を複製領
   域に設定する多重化手段とを具備したことを特徴とする
   分散ファイルシステム。
2. 【請求項２】 前記転送手段は、転送するファイルを所
   定のデータ単位に分割して転送し、 前記多重化手段は、前記所定のデータ単位で複製領域を
   設定することを特徴とする請求項１に記載の分散ファイ
   ルシステム。
3. 【請求項３】 前記多重化手段は、複製領域をデータ単
   位で設定する場合には、前記転送手段によって転送され
   たデータ部分については前記マスター領域と前記キャッ
   シュ領域とでデータの多重化を行い、前記転送手段によ
   って転送されていないデータ部分については既存の複製
   領域とマスター領域とでデータの多重化を行うことを特
   徴とする請求項２に記載の分散ファイルシステム。
4. 【請求項４】 前記多重化手段は、キャッシュ手段が設
   定したキャッシュ領域を順次複製領域に設定することに
   より、マスター領域と複数の複製領域とでファイル全体
   のデータの多重化を行うことを特徴とする請求項２に記
   載の分散ファイルシステム。
5. 【請求項５】 前記多重化手段は、前記転送手段によっ
   て転送されたデータ部分については前記マスター領域と
   前記キャッシュ領域とでデータの多重化を行い、前記転
   送手段によって転送されていないデータ部分については
   既存の複製領域とマスター領域とでデータの多重化を行
   った後、前記転送手段によって転送されたデータ部分を
   前記既存の複製領域に転送するか又は前記転送手段によ
   って転送されていないデータ部分を前記既存の複製領域
   から前記キャッシュ領域に転送することにより前記複製
   領域を統合することを特徴とする請求項３に記載の分散
   ファイルシステム。
6. 【請求項６】 前記多重化手段は、前記転送手段によっ
   て転送されているデータ部分と転送されていないデータ
   部分とのデータ量を比較して、データ転送量が少なくな
   るように前記複製領域の統合を行うことを特徴とする請
   求項５に記載の分散ファイルシステム。
7. 【請求項７】 ネットワークに接続された複数の計算機
   ノードに夫々設けられた記憶手段にアクセスする処理
   と、 自計算機ノードが有する前記記憶手段にキャッシュ領域
   を設定し、前記ネットワークを介して他の計算機ノード
   が有する記憶手段に設定されているマスター領域からマ
   スターファイルを読出して、読出した前記マスターファ
   イルをキャッシュする処理と、 前記キャッシュ領域中の更新されたデータ部分で前記マ
   スター領域のマスターファイルを更新する処理と、 前記ネットワークに接続された複数の計算機ノードの各
   記憶手段に前記マスター領域に記憶されているマスター
   ファイルと同一内容の複製ファイルを格納する複製領域
   を設定するものであって、前記キャッシュ領域を複製領
   域に設定する多重化処理とを具備したことを特徴とする
   分散ファイルシステムのデータ多重化方法。
8. 【請求項８】 ネットワークに接続された複数の計算機
   ノードに夫々設けられた記憶手段のうちの所定の記憶手
   段に設定されたマスター領域からマスターファイルを読
   出し、自計算機ノードが有する前記記憶手段に設定した
   キャッシュ領域に読出した前記マスターファイルをキャ
   ッシュするステップと、 前記キャッシュ領域中の更新されたデータ部分で前記マ
   スター領域のマスターファイルを更新する転送ステップ
   と、 前記ネットワークに接続された複数の計算機ノードの各
   記憶手段に前記マスター領域に記憶されているマスター
   ファイルと同一内容の複製ファイルを格納する複製領域
   を設定するものであって、前記キャッシュ領域を複製領
   域に設定する多重化ステップとを具備したことを特徴と
   する分散ファイルシステムのデータ多重化方法。
9. 【請求項９】 前記多重化ステップは、１ファイルを分
   割した所定のデータ単位で複製領域を設定可能であり、
   前記転送ステップにおいて転送されたデータ部分につい
   ては前記マスター領域と前記キャッシュ領域とでデータ
   の多重化を行い、前記転送ステップにおいて転送されて
   いないデータ部分については既存の複製領域とマスター
   領域とでデータの多重化を行うことを特徴とする請求項
   ８に記載の分散ファイルシステムのデータ多重化方法。
10. 【請求項１０】 前記多重化ステップは、前記転送ステ
    ップにおいて転送されたデータ部分については前記マス
    ター領域と前記キャッシュ領域とでデータの多重化を行
    い、前記転送ステップにおいて転送されていないデータ
    部分については既存の複製領域とマスター領域とでデー
    タの多重化を行った後、前記転送ステップにおいて転送
    されたデータ部分を前記既存の複製領域に転送するか又
    は前記転送ステップにおいて転送されていないデータ部
    分を前記既存の複製領域から前記キャッシュ領域に転送
    することにより前記複製領域を統合することを特徴とす
    る請求項９に記載の分散ファイルシステムのデータ多重
    化方法。