JP2004199535A - 計算機システムおよびそのストレージの管理方法 - Google Patents
計算機システムおよびそのストレージの管理方法 Download PDFInfo
- Publication number
- JP2004199535A JP2004199535A JP2002369175A JP2002369175A JP2004199535A JP 2004199535 A JP2004199535 A JP 2004199535A JP 2002369175 A JP2002369175 A JP 2002369175A JP 2002369175 A JP2002369175 A JP 2002369175A JP 2004199535 A JP2004199535 A JP 2004199535A
- Authority
- JP
- Japan
- Prior art keywords
- storage
- file
- parallel
- computer
- address
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【課題】大規模な演算結果データを、当該データを生成した計算サーバ以外の周辺サーバから参照する際のアクセス時間を短縮する。
【解決手段】並列計算機システム113の並列ストレージシステム111を構成する総てのローカル接続ストレージ110に少なくとも2つの接続インタフェースを用意し、一方を並列計算機システム113を構成する各ノードに直結すると同時に、他方をストレージエリアネットワーク114に接続するように構成し、各々の接続インタフェース毎に独立のアドレスによってアクセス制御を行えるようにし、該2つの異なるアドレスの相互変換機構を該並列計算機システム113の並列ファイルシステム107内に設け、該並列ファイルシステム107を、ファイル共有ミドルウェア108のファイル格納場所問合せに対して、ストレージエリアネットワーク114側のアドレスを返答するように構成する。
【選択図】 図1
【解決手段】並列計算機システム113の並列ストレージシステム111を構成する総てのローカル接続ストレージ110に少なくとも2つの接続インタフェースを用意し、一方を並列計算機システム113を構成する各ノードに直結すると同時に、他方をストレージエリアネットワーク114に接続するように構成し、各々の接続インタフェース毎に独立のアドレスによってアクセス制御を行えるようにし、該2つの異なるアドレスの相互変換機構を該並列計算機システム113の並列ファイルシステム107内に設け、該並列ファイルシステム107を、ファイル共有ミドルウェア108のファイル格納場所問合せに対して、ストレージエリアネットワーク114側のアドレスを返答するように構成する。
【選択図】 図1
Description
【0001】
【発明の属する技術分野】
本発明は、ストレージシステムの構成方法および運用管理方法に係わり、詳しくは、複数の計算機システム間で当該ストレージシステムを介したデータ共有を実現する手段に関する。
【0002】
【従来の技術】
並列計算機システムは、科学技術分野の大規模計算処理に適用されることが多い。この大規模計算は、並列計算機ステムによって高速に処理されると共に、多量の計算結果データを生成する。このようなアプリケーション特性ゆえに、並列計算機システムに対しては、上記計算を高速に処理するだけではなく、多量の計算結果データを高速にストレージに保存することも求められる。この要求を満たすために、並列計算機システムに対しては、高速なストレージアクセスを実現するための大規模な並列ストレージシステムが装備される。
【0003】
上記並列ストレージシステムは、並列計算機システムを構成する複数の演算ノードの全部あるいは一部が直結形態で接続して有するストレージ群の集合体であり、並列ファイルシステムなどのソフトウェア手段を介して、相互連携して高性能アクセスを実現する。このような構成をとるため、この並列ストレージシステムは基本的には組み合わせられる並列計算機システム専用のストレージシステムとなる。
【0004】
一方、この多量の計算結果データは、上記並列計算機システム以外の計算機システムからも参照されるべきデータである。例えば、この計算結果データを用いてコンピュータグラフィック処理を行い、データを可視化して計算実行者による計算結果解釈を補助するようなケースが考えられる。このようなケースでは、コンピュータグラフィック処理専用の計算機システムが用いられるのが現状一般的であり、そのため、コンピュータグラフィック処理専用の計算機システムが上記計算結果データを参照する必要がある。
【0005】
従来は、図5、図6、図9に示したネットワークファイルシステム(NFS)を利用した方法によって上記の要請が満たされていた。図5は、本方法が前提とするシステム構成を示す。これは、一般的なシステム構成であるが、並列計算機システム113と当該並列計算機システム113が生成する計算結果データを参照する汎用サーバ116がローカルエリアネットワーク115で結合されている。並列計算機システム113は、ノード間ネットワーク112で相互に結合される複数のノード109およびノード117を有する。その複数のノード109およびノード117の内、少なくとも1つのノード117がローカルエリアネットワーク115に接続されることで、並列計算機システム113とローカルエリアネットワーク115の結合は実現されている。また、各ノード109およびノード117は、それぞれローカル接続ストレージ110に直結する。さらに、各ノード109およびノード117上には、上記複数のローカル接続ストレージ110を並列ストレージシステム111として運用・管理するための並列ファイルシステム107が稼動している。この並列ファイルシステム107は、それぞれ、ファイルアクセス処理を実行・管理するためのアドレス参照部504を有し、当該アドレス参照部504は、それぞれ並列ストレージシステム111上におけるファイルの所在を管理するためのファイル管理テーブル503を保持する。ファイル管理テーブル503は、複数のテーブルエントリ502で構成され、それぞれのテーブルエントリ502で、少なくともファイル名101とローカルアドレスリスト102の組情報を保持する。
【0006】
ローカルエリアネットワーク115に接続する並列計算機システム113のノード117と、汎用サーバ116上には、当該計算機システム間でファイル共有を実現するためのネットワークファイルシステム501が稼動している。このネットワークファイルシステム501は、UNIX(登録商標) OSなどで採用されている一般的なソフトウェアである。
【0007】
次に、図9は、図5の並列計算機システム113内での並列ストレージシステム111上のファイルに対するアクセスフローを示している。ここで、ノードAは、ファイルアクセス要求元ノードであり、ノードB、ノードCは、当該ファイルが分割されて格納されているローカル接続ストレージ110に直結しているノードである。なお、本例では簡単のためファイルが2分割されている事例で説明を行うが、ファイル分割数に特段の制約は無い。
【0008】
まず、動作201に示すとおり、ノードA上で動作する何らかのプロセスが、同ノードA上で動作する並列ファイルシステム107に対してファイルアクセス要求を出す。ノードA上の並列ファイルシステム107は、アドレス参照部504の動作により、ファイル管理テーブル503を参照し、アクセスされたファイルのファイル名をキーとして各テーブルエントリ502をサーチする。そして、ファイル名とファイル名フィールド101の値が一致したテーブルエントリ502を参照し、ファイルの管理元ノードを検出する(動作202)。そして、動作203のとおり、ノードB内の並列ファイルシステム107およびノードC内の並列ファイルシステム107に対して、並列にファイルアクセス要求を伝える。要求を受けたノードB内の並列ファイルシステム107およびノードC内の並列ファイルシステム107では、それぞれアドレス参照部504が動作して、ファイル管理テーブル503を参照し、当該アクセスされたファイルのファイル名をキーとして各テーブルエントリ502をサーチする。そして、ファイル名とファイル名フィールド101の値が一致したテーブルエントリ502について、ローカルアドレスリスト102を取得する(動作901)。さらに動作205のとおり、それぞれ取得したアドレスを元にローカル接続ストレージ110をアクセスする。以降、アクセス種類が読出しの場合、動作が継続し、動作206のとおり、当該アクセス結果を受け取る。ノードB内の並列ファイルシステム107およびノードC内の並列ファイルシステム107は、動作207のとおり、このアクセス結果をノードA内の並列ファイルシステム107に集約し、さらに、ノードA内の並列ファイルシステム107は、動作208のとおり、その集約されて1つになったファイルをファイルアクセス元のノードA内プロセスに引き渡す。以上の動作中、総てのノード間のやり取りと、ファイルアクセスタイプが書込みの場合の動作203ならびにファイルアクセスタイプが読出しの場合の動作207におけるファイルデータの転送は、ノード間ネットワーク112を介して行われる。
【0009】
続いて図6では、本題である並列計算機システム113と汎用サーバ116間でのファイル共有に係わる処理動作を示す。ここで、図9の時と同様に、ノードB、ノードCは、当該共有されるファイルが分割されて格納されているローカル接続ストレージ110に直結しているノードである。
【0010】
まず、動作601に示すとおり、汎用サーバ116上で動作する何らかのプロセスが、同サーバ上で動作するネットワークファイルシステム501に対してファイルアクセス要求を出す。汎用サーバ116上のネットワークファイルシステム501は、当該ファイルが並列計算機システム113が管理するファイルであると判定した後、並列計算機システム113のノード117上で動作するネットワークファイルシステム501に対して、当該ファイルアクセス要求を伝える。要求を受け取ったノード117上のネットワークファイルシステム501は、当該ファイルを実際に管理しているノード117上で稼動する並列ファイルシステム107に同要求を伝える。当該ノード117上の並列ファイルシステム107は、アドレス参照部504の動作により、ファイル管理テーブル503を参照し、当該アクセスされたファイルのファイル名をキーとして各テーブルエントリ502をサーチする。そして、ファイル名とファイル名フィールド101の値が一致したテーブルエントリ502を参照し、ファイルの管理元ノードを検出し(動作602)、動作603のとおり、ノードB内の並列ファイルシステム107およびノードC内の並列ファイルシステム107に対して、並列にファイルアクセス要求を伝える。要求を受けたノードB内の並列ファイルシステム107およびノードC内の並列ファイルシステム107では、それぞれアドレス参照部504が動作して、ファイル管理テーブル503を参照し、当該アクセスされたファイルのファイル名をキーとして各テーブルエントリ502をサーチする。そして、ファイル名とファイル名フィールド101の値が一致したテーブルエントリ502について、ローカルアドレスリスト102を取得する(動作604)。さらに動作605のとおり、それぞれ取得したアドレスを元にローカル接続ストレージ110をアクセスする。以降、アクセス種類が読出しの場合、動作が継続し、ノードB内の並列ファイルシステム107およびノードC内の並列ファイルシステム107は、動作606のとおり、このアクセス結果をノード117内の並列ファイルシステム107に集約し、さらに、ノード117内の並列ファイルシステム107は、動作607のとおり、その集約されて1つになったファイルをノード117上のネットワークファイルシステム501に引き渡す。さらに、同ファイルは、動作608のとおり、ローカルエリアネットワーク115を経由して汎用サーバ116内ネットワークファイルシステム501に転送され、動作609でファイルアクセス元の汎用サーバ116内プロセスに引き渡される。以上の動作中、並列計算機システム113内部での動作については、総てのノード間のやり取りと、ファイルアクセスタイプが書込みの場合の動作603ならびにファイルアクセスタイプが読出しの場合の動作606におけるファイルデータの転送は、ノード間ネットワーク112を介して行われる。一方、汎用サーバ116と並列計算機システム113のノード117との間のやり取りとファイルアクセスタイプが書込みの場合の動作601内汎用サーバ116からノード117へのファイルアクセス要求伝達部動作ならびにファイルアクセスタイプが読出しの場合の動作608におけるファイルデータの転送はローカルエリアネットワーク115を介して行われる。
【0011】
従来技術のもう一つの事例として、図7、図8、図10、図11で示すストレージエリアネットワークを利用した方法が考えられる。図7は、本方法が前提とするシステム構成を示す。先に説明した図5の構成に類似しているが、以下の5点が主に異なっている。
(1)ストレージエリアネットワーク701が存在する点、
(2)並列計算機システム708と並列ストレージシステム703がストレージエリアネットワーク701を介して接続されている点、
(3)汎用サーバ116がストレージエリアネットワーク701を介して並列ストレージシステム703に直接アクセス可能な点、
(4)ノード109およびノード117上で稼動する並列ファイルシステム107のアドレス参照部707が管理するファイル管理テーブル706のテーブルエントリ705が保持する情報の内、アドレス情報がストレージエリアネットワーク701上で一意に定まるSANアドレスのリスト704となっている点、
(5)ファイル共有を実現するために、汎用サーバ116とノード117でそれぞれファイル共有ミドルウェア108が稼動している点。
【0012】
以下、本システム構成について説明を行う。図5と同様に、並列計算機システム708は、当該並列計算機システム708が生成する計算結果データを参照する汎用サーバ116とローカルエリアネットワーク115で結合されている。並列計算機システム708は、ノード間ネットワーク112で相互に結合される複数のノード109およびノード117を有する。その複数のノード109およびノード117の内、少なくとも1つのノード117がローカルエリアネットワーク115に接続されることで、並列計算機システム113とローカルエリアネットワーク115の結合は実現されている。また、各ノード109およびノード117は、それぞれストレージエリアネットワーク701に接続されている。さらに、同ストレージエリアネットワークには、上記各ノード109およびノード117のそれぞれに対応して当該各ノード109およびノード117が専有使用するための複数のストレージ702が接続されている。各ノード109およびノード117上には、上記複数のストレージ702を並列ストレージシステム703として運用・管理するための並列ファイルシステム107が稼動している。この並列ファイルシステム107は、それぞれ、ファイルアクセス処理を実行・管理するためのアドレス参照部707を有し、当該アドレス参照部707は、それぞれ並列ストレージシステム703上におけるファイルの所在を管理するためのファイル管理テーブル706を保持する。ファイル管理テーブル706は、複数のテーブルエントリ705で構成され、それぞれのテーブルエントリ705で、少なくともファイル名101とストレージエリアネットワーク701上で一意に定められるSANアドレスのリスト704の組情報を保持する。
【0013】
ストレージエリアネットワーク701には、さらに、汎用サーバ116が接続する。これによって、汎用サーバ116は並列ストレージシステム703に直接アクセスが可能となる。ただし、これはハードウェア的に繋がっているだけであって、このままでは並列計算機システム708と汎用サーバ116間でのファイル共有は実現されない。当該計算機システム間でファイル共有を実現するために、ローカルエリアネットワーク115に接続する並列計算機システム708のノード117と、汎用サーバ116上には、ファイル共有ミドルウェア108が稼動している。このファイル共有ミドルウェア108は、一般的なサーバ間でSANを介したファイル共有を実現する手段として広く利用されている一般的なソフトウェアである。
【0014】
次に、図8は、図9と同様、図7の並列計算機システム708内での並列ストレージシステム703のファイルに対するアクセスフローを示している。図9と同様、ノードAは、ファイルアクセス要求元ノードであり、ノードB、ノードCは、当該ファイルが分割されて格納されているストレージ702を専有使用するノードである。なお、本例では簡単のためファイルが2分割されている事例で説明を行うが、ファイル分割数に特段の制約は無い。
【0015】
まず、動作201に示すとおり、ノードA上で動作する何らかのプロセスが、同ノードA上で動作する並列ファイルシステム107に対してファイルアクセス要求を出す。当該ノードA上の並列ファイルシステム107は、アドレス参照部707の動作により、ファイル管理テーブル706を参照し、当該アクセスされたファイルのファイル名をキーとして各テーブルエントリ705をサーチする。そして、ファイル名とファイル名フィールド101の値が一致したテーブルエントリ705を参照し、ファイルの管理元ノードを検出し(動作202)、動作203のとおり、ノードB内の並列ファイルシステム107およびノードC内の並列ファイルシステム107に対して、並列にファイルアクセス要求を伝える。要求を受けたノードB内の並列ファイルシステム107およびノードC内の並列ファイルシステム107では、それぞれアドレス参照部707が動作して、ファイル管理テーブル706を参照し、当該アクセスされたファイルのファイル名をキーとして各テーブルエントリ705をサーチする。そして、ファイル名とファイル名フィールド101の値が一致したテーブルエントリ705について、SANアドレスリスト704を取得する(動作801)。さらに動作802のとおり、それぞれ取得したアドレスを元にストレージエリアネットワーク(SAN)701を介して専有使用するストレージ702をアクセスする。以降、アクセス種類が読出しの場合、動作が継続し、動作803のとおり、当該アクセス結果をストレージエリアネットワーク701を介して受け取る。ノードB内の並列ファイルシステム107およびノードC内の並列ファイルシステム107は、動作207のとおり、このアクセス結果をノードA内の並列ファイルシステム107に集約し、さらに、ノードA内の並列ファイルシステム107は、動作208のとおり、その集約されて1つになったファイルをファイルアクセス元のノードA内プロセスに引き渡す。以上の動作中、総てのノード間のやり取りと、ファイルアクセスタイプが書込みの場合の動作203ならびにファイルアクセスタイプが読出しの場合の動作207におけるファイルデータの転送は、ノード間ネットワーク112を介して行われる。
【0016】
続いて図10では、本題である並列計算機システム708と汎用サーバ116間でのファイル共有に係わる処理動作を示す。ここで、図8の時と同様に、ノードB、ノードCは、当該ファイルが分割されて格納されているストレージ702を専有使用するノードである。
【0017】
まず、動作301に示すとおり、汎用サーバ116上で動作する何らかのプロセスが、同サーバ上で動作するファイル共有ミドルウェア108に対してファイルアクセス要求を出し、同汎用サーバ116上のファイル共有ミドルウェア108は、動作302で当該ファイルが並列計算機システム708によって管理されているファイルであると判定した後、並列計算機システム708のノード117上で動作するファイル共有ミドルウェア108に対して当該ファイルの格納場所(SANアドレスリスト)を問い合わせる。要求を受け取ったノード117上のファイル共有ミドルウェア108は、動作303で当該ファイルを実際に管理しているノード117上で稼動する並列ファイルシステム107に同要求を伝える。当該ノード117上の並列ファイルシステム107は、アドレス参照部707の動作により、ファイル管理テーブル706を参照し、当該アクセスされたファイルのファイル名をキーとして各テーブルエントリ705をサーチする。そして、ファイル名とファイル名フィールド101の値が一致したテーブルエントリ705を参照し、ファイルの管理元ノードを検出し(動作304)、動作305のとおり、ノードB内の並列ファイルシステム107およびノードC内の並列ファイルシステム107に対して、並列に当該ファイルの格納場所(SANアドレスリスト)問合せ要求を伝える。要求を受けたノードB内の並列ファイルシステム107およびノードC内の並列ファイルシステム107では、それぞれアドレス参照部707が動作して、ファイル管理テーブル706を参照し、当該アクセスされたファイルのファイル名をキーとして各テーブルエントリ705をサーチする。そして、ファイル名とファイル名フィールド101の値が一致したテーブルエントリ705について、SANアドレスリスト704を取得する(動作1001)。さらにノードB内の並列ファイルシステム107およびノードC内の並列ファイルシステム107は、動作307のとおり、それぞれ取得したSANアドレスリストをノード117内の並列ファイルシステム107に集約し、さらに、動作308のとおり、ノード117内の並列ファイルシステム107は、その集約されたSANアドレスリストをノード117上のファイル共有ミドルウェア108に引き渡す。同アドレスリストは、ローカルエリアネットワーク115を経由して汎用サーバ116内ファイル共有ミドルウェア108に転送される。次に、汎用サーバ116内ファイル共有ミドルウェア108は、図11に示す動作1002によって、受け取ったSANアドレスリストを元に、ストレージエリアネットワーク701を介して本来ノードBおよびノードCが専有使用している複数のストレージ702から順次分割されたファイル断片を読出し(動作1101)、読出し結果をストレージエリアネットワーク701を介して受取り(動作402)、これらを統合して1個のファイルとしてファイルアクセス元の汎用サーバ116内プロセスに引き渡す(動作310)。
なお、別々のコンピュータ(例えばホストコンピュータとそれに対するバックアップコンピュータ)がストレージエリアネットワーク上のファイルの共有を実現する構成を特許文献1は開示している。この例は、ファイルを共用する別々のコンピュータに同一のファイルシステムを構成しておくという解決をとるもので、固有のファイルシステムをもつ並列計算機システムのデータを汎用サーバで利用するという運用形態に適用できる解決は示さない。
【特許文献1】
特開2001−75872
【0018】
【発明が解決しようとする課題】
並列計算機システムが生成した計算結果データ(ファイル)の周辺計算機システムからの参照については、従来のネットワークファイルシステムを利用した図5の方法によると、相互参照のために共有するファイルの周辺計算機システムからのアクセスがローカルエリアネットワーク115を経由することとなり、この部分のデータ転送能力の低さが問題となる。
【0019】
また、一般的なサーバ間でも同様に発生するこの問題を解消する手段としてのストレージエリアネットワークを利用した図7の方法については、百台以上のノードを有する並列計算機システムに適用する場合、百台のノード109対百台のストレージ702を相互結合し、かつ、並列計算機システムが要求するだけのストレージアクセスバンド幅を確保するためには、ストレージエリアネットワーク701のハードウェア規模が大きくなり、高価過ぎるという問題が生じる。
【0020】
本発明の一つの目的は、並列計算機システムが専用管理する毛入れたストレージシステム内のデータを、安価な構成のストレージ用ネットワーク経由で他の計算機が高速に参照できるで計算機システムもしくはそのストレージシステムの管理方法を提供することにある。
【0021】
【課題を解決するための手段】
本発明で開示される代表的実施形態の特徴は、ストレージシステムに2つ以上の接続インタフェースを設け、各々の接続インタフェースを異なる計算機システムに対して直結あるいはストレージ用ネットワークを介する形で接続し、各々の接続インタフェース毎に独立のアドレスによってアクセス制御を行えるようにし、該2つ以上の異なるアドレスの相互変換機構を設けることで、該異なるアドレスで該ストレージシステムをアクセスする該2つ以上の計算機システム間でデータを共有する手段を提供した点にある。より詳しくは、上記2つ以上の計算機システムの1つを該ストレージシステムと直結形態で接続し、かつ、その計算機システムとストレージシステム間でのみ定められるローカルなアドレスによって、当該計算機システム上のローカルなファイルシステムを介して当該ストレージシステム上のデータアクセスを行わせるようにし、他の1つの計算機システムを、ストレージ用ネットワークを介して該ストレージシステムと接続し、かつ、前記ローカルなアドレスとは異なる該ストレージ用ネットワークで一意に定められるストレージアドレスを用いて、該ストレージシステム上のデータアクセスを行なわせるように構成し、さらには、上記のストレージシステムと直結形態で接続される計算機システム上のローカルなファイルシステムに上記アドレスの相互変換機構を備える。
アドレスの相互変換について更に詳しく述べると、上記ローカルなファイルシステムには、少なくともファイル名、ローカルアドレス、当該ローカルアドレスに対応する上記ストレージ用ネットワークで一意に定まるストレージアドレスの組情報を管理するファイル管理表を有し、また、上記直結する計算機システム外部からのストレージアドレス問い合わせに対して、上記ストレージ用ネットワークで一意に定まるストレージアドレスを返答するインタフェース機能を有し、上記直結する計算機システム自身が当該ストレージシステムをアクセスする際には、該組情報の内、ファイル名とローカルアドレスの組情報を用いてこれを実現し、直結する計算機システム以外の計算機システムがストレージ用ネットワークを介して当該ストレージシステムをアクセスする際には、該組情報の内、ファイル名と該ストレージ用ネットワークで一意に定まるストレージアドレスの組情報を用いてアクセス先ストレージアドレス情報を得て、これをアクセス元計算機システムに伝え、当該アクセス元計算機システムに当該ストレージアドレスを用いて当該ストレージシステムをアクセスさせるように構成する。
典型的には、上記ストレージに直結する計算機システムは複数計算機ノードお有する並列計算機システムであり、その各ノードに直結するストレージが上記のアクセス対象のストレージシステムを構成する。各ストレージは上記とは別にストレージエリアネットワークを介して汎用サーバに接続される。上記ストレージシステムは各計算機ノードに備えた並列ファイルシステムで管理される。上記したアドレスの相互変換機構は、該複数のノードの少なくとも1つに設ける形で構成する。
さらに、別の実施形態の特徴は、該複数の計算機ノードの全部あるいは一部のそれぞれが1つ以上のストレージを直結し、該ストレージ群が並列ストレージシステムとして構成・管理される並列計算機システムの内の少なくとも1つの計算機ノードをストレージ用ネットワークに接続し、該ストレージ用ネットワークに、さらに少なくとも該並列計算機システム以外の計算機システム、および該計算機システムと並列計算機システムの間で共有するデータを保存するための共有ストレージを接続し、該ストレージ用ネットワークに接続される該並列計算機システムの計算機ノードが、必要に応じて該並列計算機システムと該並列計算機システム以外の計算機システムとの間で共有すべきデータを適時該並列ストレージシステムから読出し、該データを該共有ストレージに格納する手段を設け、該並列計算機システム以外の計算機システムが当該共有ストレージに格納されたデータを読み出す手段を設ける。
【0022】
【発明の実施の形態】
(第1の実施の形態)
本発明の第1の実施の形態を図1、図2、図3、図4を用いながら説明する。図1は、本発明に係わるシステム全系の概略構成を示す。また、図2、図3、図4は、本システムにおけるファイルアクセスのフローを説明する図である。
【0023】
図1は、従来の技術として示した図7の構成に類似しているが、以下の3点が主に異なっている。
(1)並列ストレージシステム111と並列計算機システム113の接続方法。より具体的には、並列ストレージシステム111を構成する各ストレージが図5で示した構成と同様に、並列計算機システム113の各ノード109およびノード117に専属のローカル接続ストレージ110として接続されている。
(2)各ローカル接続ストレージ110が並列計算機システム113の各ノード109およびノード117に接続しているものとは別の接続インタフェースを持ち、それがストレージエリアネットワーク114に接続されている。
(3)ノード109およびノード117上で稼動する並列ファイルシステム107において、アドレス変換処理部106が図7におけるアドレス参照部707の機能を包含し、これが管理するファイル管理テーブル105のテーブルエントリ104が保持する情報の内、アドレス情報がローカルアドレスのリスト102とストレージエリアネットワーク114上で一意に定まるSANアドレスのリスト103の組情報となっている。
【0024】
以下、本システムの構成について説明を行う。並列計算機システム113は、当該並列計算機システム113が生成する計算結果データを参照する汎用サーバ116とローカルエリアネットワーク115で結合されている。並列計算機システム113は、ノード間ネットワーク112で相互に結合される複数のノード109およびノード117を有する。その複数のノード109およびノード117の内、少なくとも1つのノード117がローカルエリアネットワーク115に接続されることで、並列計算機システム113とローカルエリアネットワーク115の結合は実現されている。また、各ノード109およびノード117は、それぞれ専有使用するローカル接続ストレージ110に接続インタフェースL1で直結する。さらに、各ノード109およびノード117上には、上記複数のローカル接続ストレージ110を並列ストレージシステム111として運用・管理するための並列ファイルシステム107が稼動している。この並列ファイルシステム107は、それぞれ、ファイルアクセス処理を実行・管理するためのアドレス変換処理部106を有し、当該アドレス変換処理部106は、それぞれ並列ストレージシステム111上におけるファイルの所在を管理するためのファイル管理テーブル105を保持する。ファイル管理テーブル105は、複数のテーブルエントリ104で構成され、それぞれのテーブルエントリ104で、少なくともファイル名101とローカルアドレスのリスト102とストレージエリアネットワーク114上で一意に定まるSANアドレスのリスト103の組情報を保持する。
【0025】
上記各ローカル接続ストレージ110は、並列計算機システム113の各ノード109およびノード117に接続している接続インタフェースL1とは別の接続インタフェースL2を持ち、それがストレージエリアネットワーク(SAN)114に接続される。当該ストレージエリアネットワーク114には、さらに、汎用サーバ116が接続される。これによって、汎用サーバ116は並列ストレージシステム111に直接アクセスが可能となる。ただし、これはハードウェア的に繋がっているだけであって、このままでは並列計算機システム113と汎用サーバ116間でのファイル共有は実現されない。当該計算機システム間でファイル共有を実現するために、ローカルエリアネットワーク115に接続する並列計算機システム113のノード117と、汎用サーバ116上には、ファイル共有ミドルウェア108が稼動している。
【0026】
なお、並列計算機システム113において、ファイル管理テーブル105は、以下のように管理される。まず、新規にファイルが作成される時点で、並列ファイルシステム107の管理ポリシーに従って、当該ファイルの分割格納先ノード(より正確に述べると当該ノードに接続されるローカル接続ストレージ110)群が決定される。当該ノード群を示す情報は、当該ファイルのファイル名情報等と共に並列ファイルシステム107が動作する全ノードに伝達される。当該情報を受け取った並列ファイルシステム107は、各々アドレス変換処理部106を起動し、ファイル管理テーブル105に新規のテーブルエントリ104を確保した後、当該情報を当該テーブルエントリ104に登録する(ファイル名はファイル名101のフィールドに、ファイル分割格納先ノード群を示す情報は図示していない所定のフィールドにそれぞれ登録する)。さらに、分割された部分ファイルをローカル接続ストレージ110に格納するノードでは、当該部分ファイルのローカル接続ストレージ110への書込み処理を行った際に、格納先ローカルアドレスを得て、当該ローカルアドレス情報を先のテーブルエントリ104のローカルアドレスリスト102のフィールドに登録すると同時に、同ローカルアドレスに対応するSANアドレスを求め、その値をSANアドレスリスト103のフィールドに登録する。以降、当該テーブルエントリ104は当該ファイルアクセス時に参照され、当該ファイルの格納先変更時にはその値が更新され、ファイル消去時にはエントリ自体が無効化される。
【0027】
次に、図2を用いて図1の並列計算機システム113内での並列ストレージシステム111上のファイルに対するアクセスフローを説明する。ここで、ノードAは、ファイルアクセス要求元ノードであり、ノードB、ノードCは、当該ファイルが分割されて格納されているローカル接続ストレージ110に直結しているノードである。なお、本例では簡単のためファイルが2分割されている事例で説明を行うが、ファイル分割数に特段の制約は無い。
【0028】
まず、動作201に示すとおり、ノードA上で動作する何らかのプロセスが、同ノードA上で動作する並列ファイルシステム107に対してファイルアクセス要求を出す。当該ノードA上の並列ファイルシステム107は、アドレス変換処理部106の動作により、ファイル管理テーブル105を参照し、当該アクセスされたファイルのファイル名をキーとして各テーブルエントリ104をサーチする。そして、ファイル名とファイル名フィールド101の値が一致したテーブルエントリ104について、図示していないファイル分割格納先ノード群を示す情報フィールドを参照し、ファイルの管理元ノードを検出し(動作202)、動作203のとおり、ノードB内の並列ファイルシステム107およびノードC内の並列ファイルシステム107に対して、並列にファイルアクセス要求を伝える。要求を受けたノードB内の並列ファイルシステム107およびノードC内の並列ファイルシステム107では、それぞれアドレス変換処理部106が動作して、ファイル管理テーブル105を参照し、当該アクセスされたファイルのファイル名をキーとして各テーブルエントリ104をサーチする。そして、ファイル名とファイル名フィールド101の値が一致したテーブルエントリ104について、ローカルアドレスリスト102を取得する(動作204)。さらに動作205のとおり、それぞれ取得したアドレスを元にローカル接続ストレージ110をアクセスする。以降、アクセス種類が読出しの場合、動作が継続し、動作206のとおり、当該アクセス結果を受け取る。ノードB内の並列ファイルシステム107およびノードC内の並列ファイルシステム107は、動作207のとおり、このアクセス結果をノードA内の並列ファイルシステム107に集約し、さらに、ノードA内の並列ファイルシステム107は、動作208のとおり、その集約されて1つになったファイルをファイルアクセス元のノードA内プロセスに引き渡す。以上の動作中、総てのノード間のやり取りと、ファイルアクセスタイプが書込みの場合の動作203ならびにファイルアクセスタイプが読出しの場合の動作207におけるファイルデータの転送は、ノード間ネットワーク112を介して行われる。
【0029】
続いて図3では、並列計算機システム113と汎用サーバ116間でのファイル共有に係わる処理動作を示す。ここで、図2の時と同様に、ノードB、ノードCは、当該ファイルが分割されて格納されているローカル接続ストレージ110に直結しているノードである。
【0030】
まず、動作301に示すとおり、汎用サーバ116上で動作する何らかのプロセスが、同サーバ上で動作するファイル共有ミドルウェア108に対してファイルアクセス要求を出し、同汎用サーバ116上のファイル共有ミドルウェア108は、動作302で当該ファイルが並列計算機システム113によって管理されているファイルであると判定した後、並列計算機システム113のノード117上で動作するファイル共有ミドルウェア108に対して当該ファイルの格納場所(SANアドレスリスト)を問い合わせる。要求を受け取ったノード117上のファイル共有ミドルウェア108は、動作303で当該ファイルを実際に管理しているノード117上で稼動する並列ファイルシステム107に同要求を伝える。当該ノード117上の並列ファイルシステム107は、アドレス変換処理部106の動作により、ファイル管理テーブル105を参照し、当該アクセスされたファイルのファイル名をキーとして各テーブルエントリ104をサーチする。そして、ファイル名とファイル名フィールド101の値が一致したテーブルエントリ104について、図示していないファイル分割格納先ノード群を示す情報フィールドを参照し、ファイルの管理元ノードを検出し(動作304)、動作305のとおり、ノードB内の並列ファイルシステム107およびノードC内の並列ファイルシステム107に対して、並列に当該ファイルの格納場所(SANアドレスリスト)問合せ要求を伝える。要求を受けたノードB内の並列ファイルシステム107およびノードC内の並列ファイルシステム107では、それぞれアドレス変換処理部106が動作して、ファイル管理テーブル105を参照し、当該アクセスされたファイルのファイル名をキーとして各テーブルエントリ104をサーチする。そして、ファイル名とファイル名フィールド101の値が一致したテーブルエントリ104について、SANアドレスリスト103を取得する(動作306)。さらにノードB内の並列ファイルシステム107およびノードC内の並列ファイルシステム107は、動作307のとおり、それぞれ取得したSANアドレスリストをノード117内の並列ファイルシステム107に集約し、さらに、動作308のとおり、ノード117内の並列ファイルシステム107は、その集約されたSANアドレスリストをノード117上のファイル共有ミドルウェア108に引き渡す。同アドレスリストは、ローカルエリアネットワーク115を経由して汎用サーバ116内ファイル共有ミドルウェア108に転送される。次に、汎用サーバ116内ファイル共有ミドルウェア108は、図4に示す動作309によって、受け取ったSANアドレスリストを元に、ストレージエリアネットワーク114を介してノードBおよびノードCが専有使用している複数のローカル接続ストレージ110から順次分割されたファイル断片を読出し(動作401)、読出し結果をストレージエリアネットワーク114を介して受取り(動作402)、これらを統合して1個のファイルとしてファイルアクセス元の汎用サーバ116内プロセスに引き渡す(動作310)。
【0031】
なお、図3の処理フローにおいては、アクセス対象であるファイルが格納されているローカル接続ストレージ110に直結していないノードのテーブルエントリ104のアドレス情報には、実際のストレージアドレス情報が存在しないと仮定したが、少なくともSANアドレスリスト103のフィールドについては、当該ファイルの格納場所を示すSANアドレス情報を格納しておくように実装することも可能である。この場合、図3の処理305以降処理307までは不要となり、処理304でノード117で稼動する並列ファイルシステム107が直接SANアドレスを取得し、処理308に移行する。
【0032】
以上が本発明に係わる第1の実施の形態である。
(第2の実施の形態)
本発明の第2の実施の形態を図12、図13を用いながら説明する。図12は、本発明に係わるシステム全系の概略構成を示す。また、図13は、本システムにおけるデータ(ファイル)共有を実現するための処理フローを説明する図である。
【0033】
図12は、本発明の第1の実施の形態に係わるシステム全系の概略構成を示す図1と比較して、以下の5点が主に異なっている。
(1)並列ストレージシステム111が並列計算機システム113にのみ接続しており、ストレージエリアネットワーク114には接続されていない。
(2)並列計算機システム113と汎用サーバ116間で共有するデータ(ファイル)を格納するための共有ストレージ1201が用意され、これがストレージエリアネットワーク114に接続されている。
(3)並列計算機システム113を構成するノードの内、ローカルエリアネットワーク115に接続するノード117が、ローカル接続ストレージ110に接続すると同時に別の接続インタフェースL3を介してストレージエリアネットワーク114に接続している。
(4)同ノード117がローカルファイルシステム1203を介して共有ストレージ1201を制御する。
(5)ノード109およびノード117上で稼動する並列ファイルシステム107において、ローカルアドレスとSANアドレスの対応づけを行うアドレス変換機能が無くなり、かつ、図5で示した従来例と同様に、アドレス参照部504が管理するファイル管理テーブル503のテーブルエントリ502が保持する情報の内、アドレス情報がローカルアドレスのリスト102のみとなっている。
【0034】
以下、本システムの構成について説明を行う。並列計算機システム113は、当該並列計算機システム113が生成する計算結果データを参照する汎用サーバ116とローカルエリアネットワーク115で結合されている。並列計算機システム113は、ノード間ネットワーク112で相互に結合される複数のノード109およびノード117を有する。その複数のノード109およびノード117の内、少なくとも1つのノード117がローカルエリアネットワーク115に接続されることで、並列計算機システム113とローカルエリアネットワーク115の結合は実現されている。また、各ノード109およびノード117は、それぞれ専有使用するローカル接続ストレージ110に接続インタフェースL1で直結する。さらに、各ノード109およびノード117上には、上記複数のローカル接続ストレージ110を並列ストレージシステム111として運用・管理するための並列ファイルシステム107が稼動している。この並列ファイルシステム107は、それぞれ、ファイルアクセス処理を実行・管理するためのアドレス参照部504を有し、当該アドレス参照部504は、それぞれ並列ストレージシステム111上におけるファイルの所在を管理するためのファイル管理テーブル503を保持する。ファイル管理テーブル503は、複数のテーブルエントリ502で構成され、それぞれのテーブルエントリ502で、少なくともファイル名101とローカルアドレスのリスト102を保持する。
【0035】
さらに、並列計算機システム113と汎用サーバ116の間でデータ共有を実現するために、共有ストレージ1201が設けられ、当該共有ストレージ1201、汎用サーバ116、並列計算機システム113がストレージエリアネットワーク114によって結合される。この時、並列計算機システム113とストレージエリアネットワーク114の接続は、並列計算機システム113のノード117が接続インタフェースL3を介してストレージエリアネットワーク114に接続することによって実現され、さらに、並列計算機システム113からの共有ストレージ1201へのアクセスは、同ノード117上で稼動するローカルファイルシステム1203によって制御される。この構成によって、並列計算機システム113と汎用サーバ116は双方とも共有ストレージ1201にアクセスできる。ただし、これはハードウェア的に繋がっているだけであって、このままでは並列計算機システム113と汎用サーバ116間でのファイル共有は実現されない。当該計算機システム間でファイル共有を実現するために、ローカルエリアネットワーク115に接続する並列計算機システム113のノード117と、汎用サーバ116上には、ファイル共有ミドルウェア108が稼動している。
【0036】
次に、図13を用いて図12の並列計算機システム113と汎用サーバ116間でのデータ(ファイル)共有を実現するための処理フローを説明する。処理は大きく2つの部分に分かれる。1つは、並列計算機システム113による並列ストレージシステム111から共有ストレージ1201への共有すべきファイルのコピー処理1306、もう1つは、汎用サーバ116による共有ストレージ1201アクセスによる共有ファイル参照処理である。
【0037】
まず、共有ファイルコピー処理1306について述べる。並列計算機システム113のノード117は、ストレージエリアネットワーク114との接続を持ち、並列計算機システム113からの共有ストレージ1201アクセス制御処理を受け持つ。同ノード117上では、並列計算機システム113と汎用サーバ116間で共有すべきファイルを並列ファイルシステム107を介して並列ストレージシステム111から読出し、当該ファイルをローカルファイルシステム1203を介して、ストレージエリアネットワーク114経由で共有ストレージ1201に書き込む処理を行うプロセスが適時稼動する。当該プロセスが、処理1301のようにノード117で稼動する並列ファイルシステム107に対してファイル読出し要求を出すと、処理1302において、本発明の第1の実施の形態の説明で用いた図2と同じ形で並列ファイル読出しが行われる。処理1303で当該読出し結果のファイルを引き渡された上記プロセスは、次に、処理1304で同ノード117で稼動するローカルファイルシステム1203に対して、当該ファイルを引き渡し、その共有ストレージ1201への書込みを要求する。当該ローカルファイルシステム1203は、処理1305において、当該ファイルを接続インタフェースL3を介してストレージエリアネットワーク114経由で共有ストレージ1201に書き込む。
【0038】
続いて、当該共有ファイルの参照処理について述べる。当該共有ファイルを参照する必要のある汎用サーバ116上のプロセスは、その必要が生じた時点で、処理1307によって、汎用サーバ116で稼動するファイル共有ミドルウェア108に対して、当該共有ファイルのアクセス要求を出す。汎用サーバ116で稼動するファイル共有ミドルウェア108は、同要求を受けると、処理1308で並列計算機システム113のノード117で稼動するファイル共有ミドルウェア108に対して、当該共有ファイルの格納場所(ストレージエリアネットワーク114で一意に定められるSANアドレス)を問い合わせる。問合せを受けたノード117で稼動するファイル共有ミドルウェア108は、処理1309において、同ノード117で稼動するローカルファイルシステム1203に対して当該共有ファイルの格納場所(SANアドレス)を問合せ、処理1310において、当該ローカルファイルシステム1203からSANアドレスを得て、これを汎用サーバ116で稼動するファイル共有ミドルウェア108に返答する。SANアドレスを得た汎用サーバ116で稼動するファイル共有ミドルウェア108は、処理1311において、当該SANアドレスを用いてストレージエリアネットワーク114経由で共有ストレージ1201をアクセスし、処理1312において、所望のデータ(ファイル)を受け取る。当該データ(ファイル)は、処理1313において、共有ファイルアクセス元である汎用サーバ116内のプロセスに引き渡される。以上のような処理により、並列計算機システム113で生成され、並列ストレージシステム111に格納された計算結果ファイルは、同並列計算機システム113外部の汎用サーバ116によって参照される。
【0039】
なお、図13の処理フローにおいては、ノード117のローカルファイルシステム1203のみが共有ファイルの格納場所を管理しており、ファイル共有ミドルウェア108は共有ファイルアクセス要求がある度に常にローカルファイルシステム1203に対して格納場所問合せを実施する。この構成方法に対して、ローカルファイルシステム1203によるファイル書込み処理1305が実施される毎に当該書込み先のアドレスをファイル名等の情報と共にローカルファイルシステム1203からノード117のファイル共有ミドルウェア108に伝達するという構成方法も可能である。この場合、図13の処理1309ならびに処理1310の前半(ノード117内ローカルファイルシステム1203からノード117内ファイル共有ミドルウェア108へのSANアドレス返答処理)は不要となる。さらに、複数(ノード117上と汎用サーバ116上)のファイル共有ミドルウェア108間でのファイル格納場所管理についての主従(マスタースレーブ)関係を上記とは逆転させ、上記ローカルファイルシステム1203からノード117のファイル共有ミドルウェア108に伝達されたファイル格納場所情報を常に汎用サーバ116上のファイル共有ミドルウェア108に集約するように構成することも可能である。この場合、図13の処理1308以降、処理1310までは不要となる。
【0040】
【発明の効果】
本発明によって、並列計算機システムが生成し、同システムが専有管理する並列ストレージシステムに格納された計算結果データ(ファイル)を、安価な構成のストレージ用ネットワークを介して周辺計算機システムから高速に参照できるようになる。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態の計算機システムの構成を示す図。
【図2】上記第1の実施の形態における並列計算機システム内でのストレージアクセスの流れを示す図。
【図3】上記第1の実施の形態における汎用サーバからのストレージアクセスの流れを示す図である。
【図4】上記第1の実施の形態における汎用サーバからのストレージアクセスの流れの中でのSANアドレスでのストレージアクセスの流れを示す図である。
【図5】従来技術であるネットワークファイルシステムによってファイル共有を実現する計算機システムの構成を示す図である。
【図6】上記従来技術における汎用サーバからのストレージアクセスの流れを示す図である。
【図7】従来技術であるストレージエリアネットワークによってファイル共有を実現する計算機システムの構成を示す図である。
【図8】上記従来技術における並列計算機システムからのストレージアクセスの流れを示す図である。
【図9】図5の従来技術における並列計算機システム内でのストレージアクセスの流れを示す図である。
【図10】図7の従来技術における汎用サーバからのストレージアクセスの流れを示す図である。
【図11】図7の従来技術における汎用サーバからのストレージアクセスの流れの中でのSANアドレスでのストレージアクセスの流れを示す図である。
【図12】本発明の第2の実施の形態の計算機システムの構成を示す図である。
【図13】上記第2の実施態様において並列計算機システムと汎用サーバ間でファイル共有を実現するための処理流を示す図である。
【符号の説明】
101・・・ファイル名フィールド、102・・・ローカルアドレスリストフィールド、103・・・SAN(ストレージエリアネットワーク)アドレスリストフィールド、104・・・テーブルエントリ、105・・・ファイル管理テーブル、106・・・アドレス変換処理部、107・・・並列ファイルシステム、108・・・ファイル共有ミドルウェア、109・・・ノード、110・・・ローカル接続ストレージ、111・・・並列ストレージシステム、112・・・ノード間ネットワーク、113・・・並列計算機システム、114・・・ストレージエリアネットワーク、115・・・ローカルエリアネットワーク、116・・・汎用サーバ、117・・・ローカルエリアネットワーク115に接続する並列計算機システム113内ノード、201・・・ファイルアクセス要求処理、202・・・ファイル管理元ノード検出処理、203・・・並列ファイルアクセス処理、204・・・ファイル格納先ローカルアドレス取得処理、205・・・ローカル接続ストレージ110アクセス処理、206・・・ローカル接続ストレージ110アクセス結果転送処理、207・・・アクセス結果集約処理、208・・・ファイル引渡し処理、301・・・ファイルアクセス要求処理、302・・・ファイル格納場所問い合わせ処理、303・・・ファイル格納場所問合せ処理、304・・・ファイル管理元ノード検出処理、305・・・ファイル格納先アドレス問合せ処理、306・・・ファイル格納先SANアドレス取得処理、307・・・SANアドレス返答処理、308・・・SANアドレス返答処理、309・・・SANアドレスでのストレージ110アクセス処理、310・・・ファイル引渡し処理、401・・・SANアドレスでのストレージ110アクセス処理、402・・・ストレージ110アクセス結果転送処理、501・・・ネットワークファイルシステム、502・・・テーブルエントリ、503・・・ファイル管理テーブル、504・・・アドレス参照部、601・・・ファイルアクセス要求処理、602・・・ファイル管理元ノード検出処理、603・・・並列ファイルアクセス処理、604・・・ファイル格納先ローカルアドレス取得処理、605・・・ローカル接続ストレージ110アクセス処理、606・・・アクセス結果集約処理、607・・・ファイル引渡し処理、608・・・ローカルエリアネットワーク115経由のファイル転送処理、609・・・ファイル引渡し処理、701・・・ストレージエリアネットワーク、702・・・ストレージ、703・・・並列ストレージシステム、704・・・SANアドレスリストフィールド、705・・・テーブルエントリ、706・・・ファイル管理テーブル、707・・・アドレス参照部、708・・・並列計算機システム、801・・・ファイル格納先SANアドレス取得処理、802・・・SAN経由ストレージ702アクセス処理、803・・・SAN経由ストレージ702アクセス結果転送処理、901・・・ファイル格納先ローカルアドレス取得処理、1001・・・ファイル格納先SANアドレス取得処理、1002・・・SANアドレスでのストレージ702アクセス処理、1101・・・SANアドレスでのストレージ702アクセス処理、1201・・・共有ストレージ、1203・・・ローカルファイルシステム、1301・・・ファイル読出し要求処理、1302・・・並列ファイル読出し処理、1303・・・ファイル引渡し処理、1304・・・ファイル書込み要求処理、1305・・・ファイル書込み処理、1306・・・共有ファイルコピー処理、1307・・・共有ファイルアクセス要求、1308・・・共有ファイル格納場所問合せ処理、1309・・・共有ファイル格納場所問合せ処理、1310・・・SANアドレス返答処理、1311・・・SANアドレスでのストレージアクセス処理、1312・・・ファイル転送処理、1313・・・ファイル引渡し処理。
【発明の属する技術分野】
本発明は、ストレージシステムの構成方法および運用管理方法に係わり、詳しくは、複数の計算機システム間で当該ストレージシステムを介したデータ共有を実現する手段に関する。
【0002】
【従来の技術】
並列計算機システムは、科学技術分野の大規模計算処理に適用されることが多い。この大規模計算は、並列計算機ステムによって高速に処理されると共に、多量の計算結果データを生成する。このようなアプリケーション特性ゆえに、並列計算機システムに対しては、上記計算を高速に処理するだけではなく、多量の計算結果データを高速にストレージに保存することも求められる。この要求を満たすために、並列計算機システムに対しては、高速なストレージアクセスを実現するための大規模な並列ストレージシステムが装備される。
【0003】
上記並列ストレージシステムは、並列計算機システムを構成する複数の演算ノードの全部あるいは一部が直結形態で接続して有するストレージ群の集合体であり、並列ファイルシステムなどのソフトウェア手段を介して、相互連携して高性能アクセスを実現する。このような構成をとるため、この並列ストレージシステムは基本的には組み合わせられる並列計算機システム専用のストレージシステムとなる。
【0004】
一方、この多量の計算結果データは、上記並列計算機システム以外の計算機システムからも参照されるべきデータである。例えば、この計算結果データを用いてコンピュータグラフィック処理を行い、データを可視化して計算実行者による計算結果解釈を補助するようなケースが考えられる。このようなケースでは、コンピュータグラフィック処理専用の計算機システムが用いられるのが現状一般的であり、そのため、コンピュータグラフィック処理専用の計算機システムが上記計算結果データを参照する必要がある。
【0005】
従来は、図5、図6、図9に示したネットワークファイルシステム(NFS)を利用した方法によって上記の要請が満たされていた。図5は、本方法が前提とするシステム構成を示す。これは、一般的なシステム構成であるが、並列計算機システム113と当該並列計算機システム113が生成する計算結果データを参照する汎用サーバ116がローカルエリアネットワーク115で結合されている。並列計算機システム113は、ノード間ネットワーク112で相互に結合される複数のノード109およびノード117を有する。その複数のノード109およびノード117の内、少なくとも1つのノード117がローカルエリアネットワーク115に接続されることで、並列計算機システム113とローカルエリアネットワーク115の結合は実現されている。また、各ノード109およびノード117は、それぞれローカル接続ストレージ110に直結する。さらに、各ノード109およびノード117上には、上記複数のローカル接続ストレージ110を並列ストレージシステム111として運用・管理するための並列ファイルシステム107が稼動している。この並列ファイルシステム107は、それぞれ、ファイルアクセス処理を実行・管理するためのアドレス参照部504を有し、当該アドレス参照部504は、それぞれ並列ストレージシステム111上におけるファイルの所在を管理するためのファイル管理テーブル503を保持する。ファイル管理テーブル503は、複数のテーブルエントリ502で構成され、それぞれのテーブルエントリ502で、少なくともファイル名101とローカルアドレスリスト102の組情報を保持する。
【0006】
ローカルエリアネットワーク115に接続する並列計算機システム113のノード117と、汎用サーバ116上には、当該計算機システム間でファイル共有を実現するためのネットワークファイルシステム501が稼動している。このネットワークファイルシステム501は、UNIX(登録商標) OSなどで採用されている一般的なソフトウェアである。
【0007】
次に、図9は、図5の並列計算機システム113内での並列ストレージシステム111上のファイルに対するアクセスフローを示している。ここで、ノードAは、ファイルアクセス要求元ノードであり、ノードB、ノードCは、当該ファイルが分割されて格納されているローカル接続ストレージ110に直結しているノードである。なお、本例では簡単のためファイルが2分割されている事例で説明を行うが、ファイル分割数に特段の制約は無い。
【0008】
まず、動作201に示すとおり、ノードA上で動作する何らかのプロセスが、同ノードA上で動作する並列ファイルシステム107に対してファイルアクセス要求を出す。ノードA上の並列ファイルシステム107は、アドレス参照部504の動作により、ファイル管理テーブル503を参照し、アクセスされたファイルのファイル名をキーとして各テーブルエントリ502をサーチする。そして、ファイル名とファイル名フィールド101の値が一致したテーブルエントリ502を参照し、ファイルの管理元ノードを検出する(動作202)。そして、動作203のとおり、ノードB内の並列ファイルシステム107およびノードC内の並列ファイルシステム107に対して、並列にファイルアクセス要求を伝える。要求を受けたノードB内の並列ファイルシステム107およびノードC内の並列ファイルシステム107では、それぞれアドレス参照部504が動作して、ファイル管理テーブル503を参照し、当該アクセスされたファイルのファイル名をキーとして各テーブルエントリ502をサーチする。そして、ファイル名とファイル名フィールド101の値が一致したテーブルエントリ502について、ローカルアドレスリスト102を取得する(動作901)。さらに動作205のとおり、それぞれ取得したアドレスを元にローカル接続ストレージ110をアクセスする。以降、アクセス種類が読出しの場合、動作が継続し、動作206のとおり、当該アクセス結果を受け取る。ノードB内の並列ファイルシステム107およびノードC内の並列ファイルシステム107は、動作207のとおり、このアクセス結果をノードA内の並列ファイルシステム107に集約し、さらに、ノードA内の並列ファイルシステム107は、動作208のとおり、その集約されて1つになったファイルをファイルアクセス元のノードA内プロセスに引き渡す。以上の動作中、総てのノード間のやり取りと、ファイルアクセスタイプが書込みの場合の動作203ならびにファイルアクセスタイプが読出しの場合の動作207におけるファイルデータの転送は、ノード間ネットワーク112を介して行われる。
【0009】
続いて図6では、本題である並列計算機システム113と汎用サーバ116間でのファイル共有に係わる処理動作を示す。ここで、図9の時と同様に、ノードB、ノードCは、当該共有されるファイルが分割されて格納されているローカル接続ストレージ110に直結しているノードである。
【0010】
まず、動作601に示すとおり、汎用サーバ116上で動作する何らかのプロセスが、同サーバ上で動作するネットワークファイルシステム501に対してファイルアクセス要求を出す。汎用サーバ116上のネットワークファイルシステム501は、当該ファイルが並列計算機システム113が管理するファイルであると判定した後、並列計算機システム113のノード117上で動作するネットワークファイルシステム501に対して、当該ファイルアクセス要求を伝える。要求を受け取ったノード117上のネットワークファイルシステム501は、当該ファイルを実際に管理しているノード117上で稼動する並列ファイルシステム107に同要求を伝える。当該ノード117上の並列ファイルシステム107は、アドレス参照部504の動作により、ファイル管理テーブル503を参照し、当該アクセスされたファイルのファイル名をキーとして各テーブルエントリ502をサーチする。そして、ファイル名とファイル名フィールド101の値が一致したテーブルエントリ502を参照し、ファイルの管理元ノードを検出し(動作602)、動作603のとおり、ノードB内の並列ファイルシステム107およびノードC内の並列ファイルシステム107に対して、並列にファイルアクセス要求を伝える。要求を受けたノードB内の並列ファイルシステム107およびノードC内の並列ファイルシステム107では、それぞれアドレス参照部504が動作して、ファイル管理テーブル503を参照し、当該アクセスされたファイルのファイル名をキーとして各テーブルエントリ502をサーチする。そして、ファイル名とファイル名フィールド101の値が一致したテーブルエントリ502について、ローカルアドレスリスト102を取得する(動作604)。さらに動作605のとおり、それぞれ取得したアドレスを元にローカル接続ストレージ110をアクセスする。以降、アクセス種類が読出しの場合、動作が継続し、ノードB内の並列ファイルシステム107およびノードC内の並列ファイルシステム107は、動作606のとおり、このアクセス結果をノード117内の並列ファイルシステム107に集約し、さらに、ノード117内の並列ファイルシステム107は、動作607のとおり、その集約されて1つになったファイルをノード117上のネットワークファイルシステム501に引き渡す。さらに、同ファイルは、動作608のとおり、ローカルエリアネットワーク115を経由して汎用サーバ116内ネットワークファイルシステム501に転送され、動作609でファイルアクセス元の汎用サーバ116内プロセスに引き渡される。以上の動作中、並列計算機システム113内部での動作については、総てのノード間のやり取りと、ファイルアクセスタイプが書込みの場合の動作603ならびにファイルアクセスタイプが読出しの場合の動作606におけるファイルデータの転送は、ノード間ネットワーク112を介して行われる。一方、汎用サーバ116と並列計算機システム113のノード117との間のやり取りとファイルアクセスタイプが書込みの場合の動作601内汎用サーバ116からノード117へのファイルアクセス要求伝達部動作ならびにファイルアクセスタイプが読出しの場合の動作608におけるファイルデータの転送はローカルエリアネットワーク115を介して行われる。
【0011】
従来技術のもう一つの事例として、図7、図8、図10、図11で示すストレージエリアネットワークを利用した方法が考えられる。図7は、本方法が前提とするシステム構成を示す。先に説明した図5の構成に類似しているが、以下の5点が主に異なっている。
(1)ストレージエリアネットワーク701が存在する点、
(2)並列計算機システム708と並列ストレージシステム703がストレージエリアネットワーク701を介して接続されている点、
(3)汎用サーバ116がストレージエリアネットワーク701を介して並列ストレージシステム703に直接アクセス可能な点、
(4)ノード109およびノード117上で稼動する並列ファイルシステム107のアドレス参照部707が管理するファイル管理テーブル706のテーブルエントリ705が保持する情報の内、アドレス情報がストレージエリアネットワーク701上で一意に定まるSANアドレスのリスト704となっている点、
(5)ファイル共有を実現するために、汎用サーバ116とノード117でそれぞれファイル共有ミドルウェア108が稼動している点。
【0012】
以下、本システム構成について説明を行う。図5と同様に、並列計算機システム708は、当該並列計算機システム708が生成する計算結果データを参照する汎用サーバ116とローカルエリアネットワーク115で結合されている。並列計算機システム708は、ノード間ネットワーク112で相互に結合される複数のノード109およびノード117を有する。その複数のノード109およびノード117の内、少なくとも1つのノード117がローカルエリアネットワーク115に接続されることで、並列計算機システム113とローカルエリアネットワーク115の結合は実現されている。また、各ノード109およびノード117は、それぞれストレージエリアネットワーク701に接続されている。さらに、同ストレージエリアネットワークには、上記各ノード109およびノード117のそれぞれに対応して当該各ノード109およびノード117が専有使用するための複数のストレージ702が接続されている。各ノード109およびノード117上には、上記複数のストレージ702を並列ストレージシステム703として運用・管理するための並列ファイルシステム107が稼動している。この並列ファイルシステム107は、それぞれ、ファイルアクセス処理を実行・管理するためのアドレス参照部707を有し、当該アドレス参照部707は、それぞれ並列ストレージシステム703上におけるファイルの所在を管理するためのファイル管理テーブル706を保持する。ファイル管理テーブル706は、複数のテーブルエントリ705で構成され、それぞれのテーブルエントリ705で、少なくともファイル名101とストレージエリアネットワーク701上で一意に定められるSANアドレスのリスト704の組情報を保持する。
【0013】
ストレージエリアネットワーク701には、さらに、汎用サーバ116が接続する。これによって、汎用サーバ116は並列ストレージシステム703に直接アクセスが可能となる。ただし、これはハードウェア的に繋がっているだけであって、このままでは並列計算機システム708と汎用サーバ116間でのファイル共有は実現されない。当該計算機システム間でファイル共有を実現するために、ローカルエリアネットワーク115に接続する並列計算機システム708のノード117と、汎用サーバ116上には、ファイル共有ミドルウェア108が稼動している。このファイル共有ミドルウェア108は、一般的なサーバ間でSANを介したファイル共有を実現する手段として広く利用されている一般的なソフトウェアである。
【0014】
次に、図8は、図9と同様、図7の並列計算機システム708内での並列ストレージシステム703のファイルに対するアクセスフローを示している。図9と同様、ノードAは、ファイルアクセス要求元ノードであり、ノードB、ノードCは、当該ファイルが分割されて格納されているストレージ702を専有使用するノードである。なお、本例では簡単のためファイルが2分割されている事例で説明を行うが、ファイル分割数に特段の制約は無い。
【0015】
まず、動作201に示すとおり、ノードA上で動作する何らかのプロセスが、同ノードA上で動作する並列ファイルシステム107に対してファイルアクセス要求を出す。当該ノードA上の並列ファイルシステム107は、アドレス参照部707の動作により、ファイル管理テーブル706を参照し、当該アクセスされたファイルのファイル名をキーとして各テーブルエントリ705をサーチする。そして、ファイル名とファイル名フィールド101の値が一致したテーブルエントリ705を参照し、ファイルの管理元ノードを検出し(動作202)、動作203のとおり、ノードB内の並列ファイルシステム107およびノードC内の並列ファイルシステム107に対して、並列にファイルアクセス要求を伝える。要求を受けたノードB内の並列ファイルシステム107およびノードC内の並列ファイルシステム107では、それぞれアドレス参照部707が動作して、ファイル管理テーブル706を参照し、当該アクセスされたファイルのファイル名をキーとして各テーブルエントリ705をサーチする。そして、ファイル名とファイル名フィールド101の値が一致したテーブルエントリ705について、SANアドレスリスト704を取得する(動作801)。さらに動作802のとおり、それぞれ取得したアドレスを元にストレージエリアネットワーク(SAN)701を介して専有使用するストレージ702をアクセスする。以降、アクセス種類が読出しの場合、動作が継続し、動作803のとおり、当該アクセス結果をストレージエリアネットワーク701を介して受け取る。ノードB内の並列ファイルシステム107およびノードC内の並列ファイルシステム107は、動作207のとおり、このアクセス結果をノードA内の並列ファイルシステム107に集約し、さらに、ノードA内の並列ファイルシステム107は、動作208のとおり、その集約されて1つになったファイルをファイルアクセス元のノードA内プロセスに引き渡す。以上の動作中、総てのノード間のやり取りと、ファイルアクセスタイプが書込みの場合の動作203ならびにファイルアクセスタイプが読出しの場合の動作207におけるファイルデータの転送は、ノード間ネットワーク112を介して行われる。
【0016】
続いて図10では、本題である並列計算機システム708と汎用サーバ116間でのファイル共有に係わる処理動作を示す。ここで、図8の時と同様に、ノードB、ノードCは、当該ファイルが分割されて格納されているストレージ702を専有使用するノードである。
【0017】
まず、動作301に示すとおり、汎用サーバ116上で動作する何らかのプロセスが、同サーバ上で動作するファイル共有ミドルウェア108に対してファイルアクセス要求を出し、同汎用サーバ116上のファイル共有ミドルウェア108は、動作302で当該ファイルが並列計算機システム708によって管理されているファイルであると判定した後、並列計算機システム708のノード117上で動作するファイル共有ミドルウェア108に対して当該ファイルの格納場所(SANアドレスリスト)を問い合わせる。要求を受け取ったノード117上のファイル共有ミドルウェア108は、動作303で当該ファイルを実際に管理しているノード117上で稼動する並列ファイルシステム107に同要求を伝える。当該ノード117上の並列ファイルシステム107は、アドレス参照部707の動作により、ファイル管理テーブル706を参照し、当該アクセスされたファイルのファイル名をキーとして各テーブルエントリ705をサーチする。そして、ファイル名とファイル名フィールド101の値が一致したテーブルエントリ705を参照し、ファイルの管理元ノードを検出し(動作304)、動作305のとおり、ノードB内の並列ファイルシステム107およびノードC内の並列ファイルシステム107に対して、並列に当該ファイルの格納場所(SANアドレスリスト)問合せ要求を伝える。要求を受けたノードB内の並列ファイルシステム107およびノードC内の並列ファイルシステム107では、それぞれアドレス参照部707が動作して、ファイル管理テーブル706を参照し、当該アクセスされたファイルのファイル名をキーとして各テーブルエントリ705をサーチする。そして、ファイル名とファイル名フィールド101の値が一致したテーブルエントリ705について、SANアドレスリスト704を取得する(動作1001)。さらにノードB内の並列ファイルシステム107およびノードC内の並列ファイルシステム107は、動作307のとおり、それぞれ取得したSANアドレスリストをノード117内の並列ファイルシステム107に集約し、さらに、動作308のとおり、ノード117内の並列ファイルシステム107は、その集約されたSANアドレスリストをノード117上のファイル共有ミドルウェア108に引き渡す。同アドレスリストは、ローカルエリアネットワーク115を経由して汎用サーバ116内ファイル共有ミドルウェア108に転送される。次に、汎用サーバ116内ファイル共有ミドルウェア108は、図11に示す動作1002によって、受け取ったSANアドレスリストを元に、ストレージエリアネットワーク701を介して本来ノードBおよびノードCが専有使用している複数のストレージ702から順次分割されたファイル断片を読出し(動作1101)、読出し結果をストレージエリアネットワーク701を介して受取り(動作402)、これらを統合して1個のファイルとしてファイルアクセス元の汎用サーバ116内プロセスに引き渡す(動作310)。
なお、別々のコンピュータ(例えばホストコンピュータとそれに対するバックアップコンピュータ)がストレージエリアネットワーク上のファイルの共有を実現する構成を特許文献1は開示している。この例は、ファイルを共用する別々のコンピュータに同一のファイルシステムを構成しておくという解決をとるもので、固有のファイルシステムをもつ並列計算機システムのデータを汎用サーバで利用するという運用形態に適用できる解決は示さない。
【特許文献1】
特開2001−75872
【0018】
【発明が解決しようとする課題】
並列計算機システムが生成した計算結果データ(ファイル)の周辺計算機システムからの参照については、従来のネットワークファイルシステムを利用した図5の方法によると、相互参照のために共有するファイルの周辺計算機システムからのアクセスがローカルエリアネットワーク115を経由することとなり、この部分のデータ転送能力の低さが問題となる。
【0019】
また、一般的なサーバ間でも同様に発生するこの問題を解消する手段としてのストレージエリアネットワークを利用した図7の方法については、百台以上のノードを有する並列計算機システムに適用する場合、百台のノード109対百台のストレージ702を相互結合し、かつ、並列計算機システムが要求するだけのストレージアクセスバンド幅を確保するためには、ストレージエリアネットワーク701のハードウェア規模が大きくなり、高価過ぎるという問題が生じる。
【0020】
本発明の一つの目的は、並列計算機システムが専用管理する毛入れたストレージシステム内のデータを、安価な構成のストレージ用ネットワーク経由で他の計算機が高速に参照できるで計算機システムもしくはそのストレージシステムの管理方法を提供することにある。
【0021】
【課題を解決するための手段】
本発明で開示される代表的実施形態の特徴は、ストレージシステムに2つ以上の接続インタフェースを設け、各々の接続インタフェースを異なる計算機システムに対して直結あるいはストレージ用ネットワークを介する形で接続し、各々の接続インタフェース毎に独立のアドレスによってアクセス制御を行えるようにし、該2つ以上の異なるアドレスの相互変換機構を設けることで、該異なるアドレスで該ストレージシステムをアクセスする該2つ以上の計算機システム間でデータを共有する手段を提供した点にある。より詳しくは、上記2つ以上の計算機システムの1つを該ストレージシステムと直結形態で接続し、かつ、その計算機システムとストレージシステム間でのみ定められるローカルなアドレスによって、当該計算機システム上のローカルなファイルシステムを介して当該ストレージシステム上のデータアクセスを行わせるようにし、他の1つの計算機システムを、ストレージ用ネットワークを介して該ストレージシステムと接続し、かつ、前記ローカルなアドレスとは異なる該ストレージ用ネットワークで一意に定められるストレージアドレスを用いて、該ストレージシステム上のデータアクセスを行なわせるように構成し、さらには、上記のストレージシステムと直結形態で接続される計算機システム上のローカルなファイルシステムに上記アドレスの相互変換機構を備える。
アドレスの相互変換について更に詳しく述べると、上記ローカルなファイルシステムには、少なくともファイル名、ローカルアドレス、当該ローカルアドレスに対応する上記ストレージ用ネットワークで一意に定まるストレージアドレスの組情報を管理するファイル管理表を有し、また、上記直結する計算機システム外部からのストレージアドレス問い合わせに対して、上記ストレージ用ネットワークで一意に定まるストレージアドレスを返答するインタフェース機能を有し、上記直結する計算機システム自身が当該ストレージシステムをアクセスする際には、該組情報の内、ファイル名とローカルアドレスの組情報を用いてこれを実現し、直結する計算機システム以外の計算機システムがストレージ用ネットワークを介して当該ストレージシステムをアクセスする際には、該組情報の内、ファイル名と該ストレージ用ネットワークで一意に定まるストレージアドレスの組情報を用いてアクセス先ストレージアドレス情報を得て、これをアクセス元計算機システムに伝え、当該アクセス元計算機システムに当該ストレージアドレスを用いて当該ストレージシステムをアクセスさせるように構成する。
典型的には、上記ストレージに直結する計算機システムは複数計算機ノードお有する並列計算機システムであり、その各ノードに直結するストレージが上記のアクセス対象のストレージシステムを構成する。各ストレージは上記とは別にストレージエリアネットワークを介して汎用サーバに接続される。上記ストレージシステムは各計算機ノードに備えた並列ファイルシステムで管理される。上記したアドレスの相互変換機構は、該複数のノードの少なくとも1つに設ける形で構成する。
さらに、別の実施形態の特徴は、該複数の計算機ノードの全部あるいは一部のそれぞれが1つ以上のストレージを直結し、該ストレージ群が並列ストレージシステムとして構成・管理される並列計算機システムの内の少なくとも1つの計算機ノードをストレージ用ネットワークに接続し、該ストレージ用ネットワークに、さらに少なくとも該並列計算機システム以外の計算機システム、および該計算機システムと並列計算機システムの間で共有するデータを保存するための共有ストレージを接続し、該ストレージ用ネットワークに接続される該並列計算機システムの計算機ノードが、必要に応じて該並列計算機システムと該並列計算機システム以外の計算機システムとの間で共有すべきデータを適時該並列ストレージシステムから読出し、該データを該共有ストレージに格納する手段を設け、該並列計算機システム以外の計算機システムが当該共有ストレージに格納されたデータを読み出す手段を設ける。
【0022】
【発明の実施の形態】
(第1の実施の形態)
本発明の第1の実施の形態を図1、図2、図3、図4を用いながら説明する。図1は、本発明に係わるシステム全系の概略構成を示す。また、図2、図3、図4は、本システムにおけるファイルアクセスのフローを説明する図である。
【0023】
図1は、従来の技術として示した図7の構成に類似しているが、以下の3点が主に異なっている。
(1)並列ストレージシステム111と並列計算機システム113の接続方法。より具体的には、並列ストレージシステム111を構成する各ストレージが図5で示した構成と同様に、並列計算機システム113の各ノード109およびノード117に専属のローカル接続ストレージ110として接続されている。
(2)各ローカル接続ストレージ110が並列計算機システム113の各ノード109およびノード117に接続しているものとは別の接続インタフェースを持ち、それがストレージエリアネットワーク114に接続されている。
(3)ノード109およびノード117上で稼動する並列ファイルシステム107において、アドレス変換処理部106が図7におけるアドレス参照部707の機能を包含し、これが管理するファイル管理テーブル105のテーブルエントリ104が保持する情報の内、アドレス情報がローカルアドレスのリスト102とストレージエリアネットワーク114上で一意に定まるSANアドレスのリスト103の組情報となっている。
【0024】
以下、本システムの構成について説明を行う。並列計算機システム113は、当該並列計算機システム113が生成する計算結果データを参照する汎用サーバ116とローカルエリアネットワーク115で結合されている。並列計算機システム113は、ノード間ネットワーク112で相互に結合される複数のノード109およびノード117を有する。その複数のノード109およびノード117の内、少なくとも1つのノード117がローカルエリアネットワーク115に接続されることで、並列計算機システム113とローカルエリアネットワーク115の結合は実現されている。また、各ノード109およびノード117は、それぞれ専有使用するローカル接続ストレージ110に接続インタフェースL1で直結する。さらに、各ノード109およびノード117上には、上記複数のローカル接続ストレージ110を並列ストレージシステム111として運用・管理するための並列ファイルシステム107が稼動している。この並列ファイルシステム107は、それぞれ、ファイルアクセス処理を実行・管理するためのアドレス変換処理部106を有し、当該アドレス変換処理部106は、それぞれ並列ストレージシステム111上におけるファイルの所在を管理するためのファイル管理テーブル105を保持する。ファイル管理テーブル105は、複数のテーブルエントリ104で構成され、それぞれのテーブルエントリ104で、少なくともファイル名101とローカルアドレスのリスト102とストレージエリアネットワーク114上で一意に定まるSANアドレスのリスト103の組情報を保持する。
【0025】
上記各ローカル接続ストレージ110は、並列計算機システム113の各ノード109およびノード117に接続している接続インタフェースL1とは別の接続インタフェースL2を持ち、それがストレージエリアネットワーク(SAN)114に接続される。当該ストレージエリアネットワーク114には、さらに、汎用サーバ116が接続される。これによって、汎用サーバ116は並列ストレージシステム111に直接アクセスが可能となる。ただし、これはハードウェア的に繋がっているだけであって、このままでは並列計算機システム113と汎用サーバ116間でのファイル共有は実現されない。当該計算機システム間でファイル共有を実現するために、ローカルエリアネットワーク115に接続する並列計算機システム113のノード117と、汎用サーバ116上には、ファイル共有ミドルウェア108が稼動している。
【0026】
なお、並列計算機システム113において、ファイル管理テーブル105は、以下のように管理される。まず、新規にファイルが作成される時点で、並列ファイルシステム107の管理ポリシーに従って、当該ファイルの分割格納先ノード(より正確に述べると当該ノードに接続されるローカル接続ストレージ110)群が決定される。当該ノード群を示す情報は、当該ファイルのファイル名情報等と共に並列ファイルシステム107が動作する全ノードに伝達される。当該情報を受け取った並列ファイルシステム107は、各々アドレス変換処理部106を起動し、ファイル管理テーブル105に新規のテーブルエントリ104を確保した後、当該情報を当該テーブルエントリ104に登録する(ファイル名はファイル名101のフィールドに、ファイル分割格納先ノード群を示す情報は図示していない所定のフィールドにそれぞれ登録する)。さらに、分割された部分ファイルをローカル接続ストレージ110に格納するノードでは、当該部分ファイルのローカル接続ストレージ110への書込み処理を行った際に、格納先ローカルアドレスを得て、当該ローカルアドレス情報を先のテーブルエントリ104のローカルアドレスリスト102のフィールドに登録すると同時に、同ローカルアドレスに対応するSANアドレスを求め、その値をSANアドレスリスト103のフィールドに登録する。以降、当該テーブルエントリ104は当該ファイルアクセス時に参照され、当該ファイルの格納先変更時にはその値が更新され、ファイル消去時にはエントリ自体が無効化される。
【0027】
次に、図2を用いて図1の並列計算機システム113内での並列ストレージシステム111上のファイルに対するアクセスフローを説明する。ここで、ノードAは、ファイルアクセス要求元ノードであり、ノードB、ノードCは、当該ファイルが分割されて格納されているローカル接続ストレージ110に直結しているノードである。なお、本例では簡単のためファイルが2分割されている事例で説明を行うが、ファイル分割数に特段の制約は無い。
【0028】
まず、動作201に示すとおり、ノードA上で動作する何らかのプロセスが、同ノードA上で動作する並列ファイルシステム107に対してファイルアクセス要求を出す。当該ノードA上の並列ファイルシステム107は、アドレス変換処理部106の動作により、ファイル管理テーブル105を参照し、当該アクセスされたファイルのファイル名をキーとして各テーブルエントリ104をサーチする。そして、ファイル名とファイル名フィールド101の値が一致したテーブルエントリ104について、図示していないファイル分割格納先ノード群を示す情報フィールドを参照し、ファイルの管理元ノードを検出し(動作202)、動作203のとおり、ノードB内の並列ファイルシステム107およびノードC内の並列ファイルシステム107に対して、並列にファイルアクセス要求を伝える。要求を受けたノードB内の並列ファイルシステム107およびノードC内の並列ファイルシステム107では、それぞれアドレス変換処理部106が動作して、ファイル管理テーブル105を参照し、当該アクセスされたファイルのファイル名をキーとして各テーブルエントリ104をサーチする。そして、ファイル名とファイル名フィールド101の値が一致したテーブルエントリ104について、ローカルアドレスリスト102を取得する(動作204)。さらに動作205のとおり、それぞれ取得したアドレスを元にローカル接続ストレージ110をアクセスする。以降、アクセス種類が読出しの場合、動作が継続し、動作206のとおり、当該アクセス結果を受け取る。ノードB内の並列ファイルシステム107およびノードC内の並列ファイルシステム107は、動作207のとおり、このアクセス結果をノードA内の並列ファイルシステム107に集約し、さらに、ノードA内の並列ファイルシステム107は、動作208のとおり、その集約されて1つになったファイルをファイルアクセス元のノードA内プロセスに引き渡す。以上の動作中、総てのノード間のやり取りと、ファイルアクセスタイプが書込みの場合の動作203ならびにファイルアクセスタイプが読出しの場合の動作207におけるファイルデータの転送は、ノード間ネットワーク112を介して行われる。
【0029】
続いて図3では、並列計算機システム113と汎用サーバ116間でのファイル共有に係わる処理動作を示す。ここで、図2の時と同様に、ノードB、ノードCは、当該ファイルが分割されて格納されているローカル接続ストレージ110に直結しているノードである。
【0030】
まず、動作301に示すとおり、汎用サーバ116上で動作する何らかのプロセスが、同サーバ上で動作するファイル共有ミドルウェア108に対してファイルアクセス要求を出し、同汎用サーバ116上のファイル共有ミドルウェア108は、動作302で当該ファイルが並列計算機システム113によって管理されているファイルであると判定した後、並列計算機システム113のノード117上で動作するファイル共有ミドルウェア108に対して当該ファイルの格納場所(SANアドレスリスト)を問い合わせる。要求を受け取ったノード117上のファイル共有ミドルウェア108は、動作303で当該ファイルを実際に管理しているノード117上で稼動する並列ファイルシステム107に同要求を伝える。当該ノード117上の並列ファイルシステム107は、アドレス変換処理部106の動作により、ファイル管理テーブル105を参照し、当該アクセスされたファイルのファイル名をキーとして各テーブルエントリ104をサーチする。そして、ファイル名とファイル名フィールド101の値が一致したテーブルエントリ104について、図示していないファイル分割格納先ノード群を示す情報フィールドを参照し、ファイルの管理元ノードを検出し(動作304)、動作305のとおり、ノードB内の並列ファイルシステム107およびノードC内の並列ファイルシステム107に対して、並列に当該ファイルの格納場所(SANアドレスリスト)問合せ要求を伝える。要求を受けたノードB内の並列ファイルシステム107およびノードC内の並列ファイルシステム107では、それぞれアドレス変換処理部106が動作して、ファイル管理テーブル105を参照し、当該アクセスされたファイルのファイル名をキーとして各テーブルエントリ104をサーチする。そして、ファイル名とファイル名フィールド101の値が一致したテーブルエントリ104について、SANアドレスリスト103を取得する(動作306)。さらにノードB内の並列ファイルシステム107およびノードC内の並列ファイルシステム107は、動作307のとおり、それぞれ取得したSANアドレスリストをノード117内の並列ファイルシステム107に集約し、さらに、動作308のとおり、ノード117内の並列ファイルシステム107は、その集約されたSANアドレスリストをノード117上のファイル共有ミドルウェア108に引き渡す。同アドレスリストは、ローカルエリアネットワーク115を経由して汎用サーバ116内ファイル共有ミドルウェア108に転送される。次に、汎用サーバ116内ファイル共有ミドルウェア108は、図4に示す動作309によって、受け取ったSANアドレスリストを元に、ストレージエリアネットワーク114を介してノードBおよびノードCが専有使用している複数のローカル接続ストレージ110から順次分割されたファイル断片を読出し(動作401)、読出し結果をストレージエリアネットワーク114を介して受取り(動作402)、これらを統合して1個のファイルとしてファイルアクセス元の汎用サーバ116内プロセスに引き渡す(動作310)。
【0031】
なお、図3の処理フローにおいては、アクセス対象であるファイルが格納されているローカル接続ストレージ110に直結していないノードのテーブルエントリ104のアドレス情報には、実際のストレージアドレス情報が存在しないと仮定したが、少なくともSANアドレスリスト103のフィールドについては、当該ファイルの格納場所を示すSANアドレス情報を格納しておくように実装することも可能である。この場合、図3の処理305以降処理307までは不要となり、処理304でノード117で稼動する並列ファイルシステム107が直接SANアドレスを取得し、処理308に移行する。
【0032】
以上が本発明に係わる第1の実施の形態である。
(第2の実施の形態)
本発明の第2の実施の形態を図12、図13を用いながら説明する。図12は、本発明に係わるシステム全系の概略構成を示す。また、図13は、本システムにおけるデータ(ファイル)共有を実現するための処理フローを説明する図である。
【0033】
図12は、本発明の第1の実施の形態に係わるシステム全系の概略構成を示す図1と比較して、以下の5点が主に異なっている。
(1)並列ストレージシステム111が並列計算機システム113にのみ接続しており、ストレージエリアネットワーク114には接続されていない。
(2)並列計算機システム113と汎用サーバ116間で共有するデータ(ファイル)を格納するための共有ストレージ1201が用意され、これがストレージエリアネットワーク114に接続されている。
(3)並列計算機システム113を構成するノードの内、ローカルエリアネットワーク115に接続するノード117が、ローカル接続ストレージ110に接続すると同時に別の接続インタフェースL3を介してストレージエリアネットワーク114に接続している。
(4)同ノード117がローカルファイルシステム1203を介して共有ストレージ1201を制御する。
(5)ノード109およびノード117上で稼動する並列ファイルシステム107において、ローカルアドレスとSANアドレスの対応づけを行うアドレス変換機能が無くなり、かつ、図5で示した従来例と同様に、アドレス参照部504が管理するファイル管理テーブル503のテーブルエントリ502が保持する情報の内、アドレス情報がローカルアドレスのリスト102のみとなっている。
【0034】
以下、本システムの構成について説明を行う。並列計算機システム113は、当該並列計算機システム113が生成する計算結果データを参照する汎用サーバ116とローカルエリアネットワーク115で結合されている。並列計算機システム113は、ノード間ネットワーク112で相互に結合される複数のノード109およびノード117を有する。その複数のノード109およびノード117の内、少なくとも1つのノード117がローカルエリアネットワーク115に接続されることで、並列計算機システム113とローカルエリアネットワーク115の結合は実現されている。また、各ノード109およびノード117は、それぞれ専有使用するローカル接続ストレージ110に接続インタフェースL1で直結する。さらに、各ノード109およびノード117上には、上記複数のローカル接続ストレージ110を並列ストレージシステム111として運用・管理するための並列ファイルシステム107が稼動している。この並列ファイルシステム107は、それぞれ、ファイルアクセス処理を実行・管理するためのアドレス参照部504を有し、当該アドレス参照部504は、それぞれ並列ストレージシステム111上におけるファイルの所在を管理するためのファイル管理テーブル503を保持する。ファイル管理テーブル503は、複数のテーブルエントリ502で構成され、それぞれのテーブルエントリ502で、少なくともファイル名101とローカルアドレスのリスト102を保持する。
【0035】
さらに、並列計算機システム113と汎用サーバ116の間でデータ共有を実現するために、共有ストレージ1201が設けられ、当該共有ストレージ1201、汎用サーバ116、並列計算機システム113がストレージエリアネットワーク114によって結合される。この時、並列計算機システム113とストレージエリアネットワーク114の接続は、並列計算機システム113のノード117が接続インタフェースL3を介してストレージエリアネットワーク114に接続することによって実現され、さらに、並列計算機システム113からの共有ストレージ1201へのアクセスは、同ノード117上で稼動するローカルファイルシステム1203によって制御される。この構成によって、並列計算機システム113と汎用サーバ116は双方とも共有ストレージ1201にアクセスできる。ただし、これはハードウェア的に繋がっているだけであって、このままでは並列計算機システム113と汎用サーバ116間でのファイル共有は実現されない。当該計算機システム間でファイル共有を実現するために、ローカルエリアネットワーク115に接続する並列計算機システム113のノード117と、汎用サーバ116上には、ファイル共有ミドルウェア108が稼動している。
【0036】
次に、図13を用いて図12の並列計算機システム113と汎用サーバ116間でのデータ(ファイル)共有を実現するための処理フローを説明する。処理は大きく2つの部分に分かれる。1つは、並列計算機システム113による並列ストレージシステム111から共有ストレージ1201への共有すべきファイルのコピー処理1306、もう1つは、汎用サーバ116による共有ストレージ1201アクセスによる共有ファイル参照処理である。
【0037】
まず、共有ファイルコピー処理1306について述べる。並列計算機システム113のノード117は、ストレージエリアネットワーク114との接続を持ち、並列計算機システム113からの共有ストレージ1201アクセス制御処理を受け持つ。同ノード117上では、並列計算機システム113と汎用サーバ116間で共有すべきファイルを並列ファイルシステム107を介して並列ストレージシステム111から読出し、当該ファイルをローカルファイルシステム1203を介して、ストレージエリアネットワーク114経由で共有ストレージ1201に書き込む処理を行うプロセスが適時稼動する。当該プロセスが、処理1301のようにノード117で稼動する並列ファイルシステム107に対してファイル読出し要求を出すと、処理1302において、本発明の第1の実施の形態の説明で用いた図2と同じ形で並列ファイル読出しが行われる。処理1303で当該読出し結果のファイルを引き渡された上記プロセスは、次に、処理1304で同ノード117で稼動するローカルファイルシステム1203に対して、当該ファイルを引き渡し、その共有ストレージ1201への書込みを要求する。当該ローカルファイルシステム1203は、処理1305において、当該ファイルを接続インタフェースL3を介してストレージエリアネットワーク114経由で共有ストレージ1201に書き込む。
【0038】
続いて、当該共有ファイルの参照処理について述べる。当該共有ファイルを参照する必要のある汎用サーバ116上のプロセスは、その必要が生じた時点で、処理1307によって、汎用サーバ116で稼動するファイル共有ミドルウェア108に対して、当該共有ファイルのアクセス要求を出す。汎用サーバ116で稼動するファイル共有ミドルウェア108は、同要求を受けると、処理1308で並列計算機システム113のノード117で稼動するファイル共有ミドルウェア108に対して、当該共有ファイルの格納場所(ストレージエリアネットワーク114で一意に定められるSANアドレス)を問い合わせる。問合せを受けたノード117で稼動するファイル共有ミドルウェア108は、処理1309において、同ノード117で稼動するローカルファイルシステム1203に対して当該共有ファイルの格納場所(SANアドレス)を問合せ、処理1310において、当該ローカルファイルシステム1203からSANアドレスを得て、これを汎用サーバ116で稼動するファイル共有ミドルウェア108に返答する。SANアドレスを得た汎用サーバ116で稼動するファイル共有ミドルウェア108は、処理1311において、当該SANアドレスを用いてストレージエリアネットワーク114経由で共有ストレージ1201をアクセスし、処理1312において、所望のデータ(ファイル)を受け取る。当該データ(ファイル)は、処理1313において、共有ファイルアクセス元である汎用サーバ116内のプロセスに引き渡される。以上のような処理により、並列計算機システム113で生成され、並列ストレージシステム111に格納された計算結果ファイルは、同並列計算機システム113外部の汎用サーバ116によって参照される。
【0039】
なお、図13の処理フローにおいては、ノード117のローカルファイルシステム1203のみが共有ファイルの格納場所を管理しており、ファイル共有ミドルウェア108は共有ファイルアクセス要求がある度に常にローカルファイルシステム1203に対して格納場所問合せを実施する。この構成方法に対して、ローカルファイルシステム1203によるファイル書込み処理1305が実施される毎に当該書込み先のアドレスをファイル名等の情報と共にローカルファイルシステム1203からノード117のファイル共有ミドルウェア108に伝達するという構成方法も可能である。この場合、図13の処理1309ならびに処理1310の前半(ノード117内ローカルファイルシステム1203からノード117内ファイル共有ミドルウェア108へのSANアドレス返答処理)は不要となる。さらに、複数(ノード117上と汎用サーバ116上)のファイル共有ミドルウェア108間でのファイル格納場所管理についての主従(マスタースレーブ)関係を上記とは逆転させ、上記ローカルファイルシステム1203からノード117のファイル共有ミドルウェア108に伝達されたファイル格納場所情報を常に汎用サーバ116上のファイル共有ミドルウェア108に集約するように構成することも可能である。この場合、図13の処理1308以降、処理1310までは不要となる。
【0040】
【発明の効果】
本発明によって、並列計算機システムが生成し、同システムが専有管理する並列ストレージシステムに格納された計算結果データ(ファイル)を、安価な構成のストレージ用ネットワークを介して周辺計算機システムから高速に参照できるようになる。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態の計算機システムの構成を示す図。
【図2】上記第1の実施の形態における並列計算機システム内でのストレージアクセスの流れを示す図。
【図3】上記第1の実施の形態における汎用サーバからのストレージアクセスの流れを示す図である。
【図4】上記第1の実施の形態における汎用サーバからのストレージアクセスの流れの中でのSANアドレスでのストレージアクセスの流れを示す図である。
【図5】従来技術であるネットワークファイルシステムによってファイル共有を実現する計算機システムの構成を示す図である。
【図6】上記従来技術における汎用サーバからのストレージアクセスの流れを示す図である。
【図7】従来技術であるストレージエリアネットワークによってファイル共有を実現する計算機システムの構成を示す図である。
【図8】上記従来技術における並列計算機システムからのストレージアクセスの流れを示す図である。
【図9】図5の従来技術における並列計算機システム内でのストレージアクセスの流れを示す図である。
【図10】図7の従来技術における汎用サーバからのストレージアクセスの流れを示す図である。
【図11】図7の従来技術における汎用サーバからのストレージアクセスの流れの中でのSANアドレスでのストレージアクセスの流れを示す図である。
【図12】本発明の第2の実施の形態の計算機システムの構成を示す図である。
【図13】上記第2の実施態様において並列計算機システムと汎用サーバ間でファイル共有を実現するための処理流を示す図である。
【符号の説明】
101・・・ファイル名フィールド、102・・・ローカルアドレスリストフィールド、103・・・SAN(ストレージエリアネットワーク)アドレスリストフィールド、104・・・テーブルエントリ、105・・・ファイル管理テーブル、106・・・アドレス変換処理部、107・・・並列ファイルシステム、108・・・ファイル共有ミドルウェア、109・・・ノード、110・・・ローカル接続ストレージ、111・・・並列ストレージシステム、112・・・ノード間ネットワーク、113・・・並列計算機システム、114・・・ストレージエリアネットワーク、115・・・ローカルエリアネットワーク、116・・・汎用サーバ、117・・・ローカルエリアネットワーク115に接続する並列計算機システム113内ノード、201・・・ファイルアクセス要求処理、202・・・ファイル管理元ノード検出処理、203・・・並列ファイルアクセス処理、204・・・ファイル格納先ローカルアドレス取得処理、205・・・ローカル接続ストレージ110アクセス処理、206・・・ローカル接続ストレージ110アクセス結果転送処理、207・・・アクセス結果集約処理、208・・・ファイル引渡し処理、301・・・ファイルアクセス要求処理、302・・・ファイル格納場所問い合わせ処理、303・・・ファイル格納場所問合せ処理、304・・・ファイル管理元ノード検出処理、305・・・ファイル格納先アドレス問合せ処理、306・・・ファイル格納先SANアドレス取得処理、307・・・SANアドレス返答処理、308・・・SANアドレス返答処理、309・・・SANアドレスでのストレージ110アクセス処理、310・・・ファイル引渡し処理、401・・・SANアドレスでのストレージ110アクセス処理、402・・・ストレージ110アクセス結果転送処理、501・・・ネットワークファイルシステム、502・・・テーブルエントリ、503・・・ファイル管理テーブル、504・・・アドレス参照部、601・・・ファイルアクセス要求処理、602・・・ファイル管理元ノード検出処理、603・・・並列ファイルアクセス処理、604・・・ファイル格納先ローカルアドレス取得処理、605・・・ローカル接続ストレージ110アクセス処理、606・・・アクセス結果集約処理、607・・・ファイル引渡し処理、608・・・ローカルエリアネットワーク115経由のファイル転送処理、609・・・ファイル引渡し処理、701・・・ストレージエリアネットワーク、702・・・ストレージ、703・・・並列ストレージシステム、704・・・SANアドレスリストフィールド、705・・・テーブルエントリ、706・・・ファイル管理テーブル、707・・・アドレス参照部、708・・・並列計算機システム、801・・・ファイル格納先SANアドレス取得処理、802・・・SAN経由ストレージ702アクセス処理、803・・・SAN経由ストレージ702アクセス結果転送処理、901・・・ファイル格納先ローカルアドレス取得処理、1001・・・ファイル格納先SANアドレス取得処理、1002・・・SANアドレスでのストレージ702アクセス処理、1101・・・SANアドレスでのストレージ702アクセス処理、1201・・・共有ストレージ、1203・・・ローカルファイルシステム、1301・・・ファイル読出し要求処理、1302・・・並列ファイル読出し処理、1303・・・ファイル引渡し処理、1304・・・ファイル書込み要求処理、1305・・・ファイル書込み処理、1306・・・共有ファイルコピー処理、1307・・・共有ファイルアクセス要求、1308・・・共有ファイル格納場所問合せ処理、1309・・・共有ファイル格納場所問合せ処理、1310・・・SANアドレス返答処理、1311・・・SANアドレスでのストレージアクセス処理、1312・・・ファイル転送処理、1313・・・ファイル引渡し処理。
Claims (8)
- 複数の計算機と、複数の接続インタフェースの各々が直接もしくはストレージ用ネットワークを介して前記複数の計算機にそれぞれ接続されるストレージシステムとを備えた計算機システムであって、
前記複数の計算機の内の第1の計算機は、前記ストレージシステムとの間でのみ定められるローカルな第1のストレージアドレスにより前記ストレージシステムをアクセスし、
第2の計算機は第1のストレージとは独自の第2のストレージアドレスにより前記ストレージシステムをアクセスし、
前記第1、第2の計算機は互いにファイルを共有するためのファイル共有手段を有するとともに、前記第1の計算機には第1のストレージアドレスと第2のストレージアドレスとの相互変換を行うアドレス変換処理部を有することを特徴とする計算機システム。 - 前記第1の計算機は、前記ストレージシステムと直結形態で接続され、前記第1のストレージアドレスによってファイルを管理するローカルなファイルシステムを有し、該ファイルシステムを介して前記ストレージシステム上のデータアクセスを行い、
前記第2の計算機は、前記ストレージ用ネットワークを介して前記ストレージシステムと接続され、前記ファイル共用手段を介した通信により前記第1の計算機よりアクセス対象データの第2のストレージアドレスを取得して前記ストレージシステム上のデータアクセスを行う請求項1記載の計算機システム。 - 前記アドレス変換処理部は前記第1の計算機のローカルなファイルシステム内に設けられ、該アドレス変換処理部には、前記ストレージシステムに格納するファイルのファイル名と第1のストレージアドレスと2のストレージアドレスとの組情報を管理するファイル管理表と、前記第2の計算機からのストレージアドレスの問い合わせに対して前記第2のストレージアドレスを返答するインタフェース手段とを備え、前記第1の計算機自身が前記ストレージをアクセスする際には前記ファイル管理表の組情報が示すアクセス対象ファイル名と第1のストレージアドレスの対応を用いてアクセスを実現し、前記第2の計算機が前記ストレージをアクセスする際には、前記第2の計算機からのストレージアドレスの問い合わせに対し、前記ファイル管理表の組情報が示すアクセス対象ファイル名と第2のスレージアドレスの対応を用いて指定すべき第2のストレージアドレスを取得し、前記インタフェース手段を介して前記第2の計算機に伝えることにより前記ストレージ用のネットワークを介したアクセスを実現させることを特徴とする請求項2記載の計算機システム。
- 前記ストレージシステムが複数のストレージで構成される並列ストレージシステムであり、前記第1の計算機が複数の演算ノードからなる並列計算機システムであり、前記複数のストレージはそれぞれ2つ以上の接続インタフェースを有し、各ストレージは、前記2つ以上の接続インタフェースの内の1つの接続インタフェースによって前記第1の計算機の複数の演算ノードのいずれかと直結形態で接続され、他の一つの接続インタフェースは、第2の計算機に対して直結あるいはストレージ用ネットワークを介する形で接続され、前記アドレス変換処理手段は前記複数の演算ノードの少なくとも1つが有することを特徴とする請求項3の計算機システム。
- ノード間ネットワークで相互接続された複数の計算機ノードと、各々が前記複数の計算機ノードの内の対応するものにローカルに直結されたストレージ群を構成要素とする並列ストレージシステムとを有し、各計算機ノードに設けた並列ファイルシステムにより前記並列ストレージシステムに格納するファイルの管理を行う並列計算機システムであって、
前記並列ストレージシステムのストレージ群は、更に該並列ストレージシステムに格納されたファイルを利用する少なくとも1つの汎用サーバにストレージ用ネットワークを介して接続され、
もって該汎用サーバからは前記並列計算機システム内で用いる第1のストレージアドレスとは異なる前記ストレージ用ネットワークで一意に定められる第2のストレージアドレスの指定により前記ストレージシステムのデータアクセスが行われように構成された並列計算機システムにおけるストレージの管理方法であって、
ファイルを生成して前記並列ストレージシステムに格納する際に、格納対象ファイルのファイル名と第2のストレージアドレスとの組情報を作成して前記並列計算機システムの内部に保存し、
前記汎用サーバからアクセスするファイルのアドレスの問い合わせを受けた時には前記保存された組情報から該アクセスするファイルの第2のストレージアドレスを取得して前記汎用サーバに返送し、
もって、前記汎用サーバが前記並列ストレージシステム内のファイルのアクセスを該ファイルの第2のストレージアドレスの指定により実行できるようにしたことを特徴とする並列計算機システムのストレージシ管理方法。 - 前記格納対象ファイルのファイル名と第2のストレージアドレスとの組情報は、前記並列計算機システムの複数の計算機ノードのうち格納対象ファイルを格納するストレージが直結された計算機ノードに保存することを特徴とする請求項5記載の並列計算機システムのストレージシ管理方法。
- 前記格納対象ファイルのファイル名と第2のストレージアドレスとの組情報は、前記並列計算機の複数の演算計算機ノードの全てに保存することを特徴とする請求項5記載の並列計算機システムのストレージシ管理方法。
- ノード間ネットワークで相互接続された複数の計算機ノードと、各々が前記複数の計算機ノードの内の対応するものにローカルに直結され、全体で並列ストレージシステムとして管理されるストレージ群とを有する並列計算機システムと、
前記並列ストレージシステムに格納されるデータを利用する汎用サーバとを含む計算機システムであって、
前記並列計算機の複数の計算機ノードの内の少なくとも1つの計算機ノードがストレージ用ネットワークに接続され、
さらに該ストレージ用ネットワークには前記汎用サーバと、前記汎用サーバで利用すべきデータを保存するための共有ストレージとが接続され、
前記ストレージ用ネットワークに接続された計算機ノードには、前記汎用サーバで利用すべきデータを前記並列ストレージシステムから読み出して前記共有ストレージに格納する手段を有し、
もって前記汎用サーバが前記ストレージ用ネットワークに格納されるデータを利用することを可能にした計算機システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002369175A JP2004199535A (ja) | 2002-12-20 | 2002-12-20 | 計算機システムおよびそのストレージの管理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002369175A JP2004199535A (ja) | 2002-12-20 | 2002-12-20 | 計算機システムおよびそのストレージの管理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004199535A true JP2004199535A (ja) | 2004-07-15 |
Family
ID=32765471
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002369175A Pending JP2004199535A (ja) | 2002-12-20 | 2002-12-20 | 計算機システムおよびそのストレージの管理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004199535A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008507771A (ja) * | 2004-07-21 | 2008-03-13 | ビーチ・アンリミテッド・エルエルシー | ブロックマップキャッシングおよびvfsスタック可能なファイルシステムモジュールに基づく分散型のストレージアーキテクチャ |
JP2013527524A (ja) * | 2010-04-14 | 2013-06-27 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 動的なブロック・サイズ粒度を使用して、計算クラスタ内の異なるタイプのアプリケーションについてファイル・システムを最適化する方法、システム及びコンピュータ・プログラム |
-
2002
- 2002-12-20 JP JP2002369175A patent/JP2004199535A/ja active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008507771A (ja) * | 2004-07-21 | 2008-03-13 | ビーチ・アンリミテッド・エルエルシー | ブロックマップキャッシングおよびvfsスタック可能なファイルシステムモジュールに基づく分散型のストレージアーキテクチャ |
JP4663718B2 (ja) * | 2004-07-21 | 2011-04-06 | ビーチ・アンリミテッド・エルエルシー | ブロックマップキャッシングおよびvfsスタック可能なファイルシステムモジュールに基づく分散型のストレージアーキテクチャ |
JP2013527524A (ja) * | 2010-04-14 | 2013-06-27 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 動的なブロック・サイズ粒度を使用して、計算クラスタ内の異なるタイプのアプリケーションについてファイル・システムを最適化する方法、システム及びコンピュータ・プログラム |
US9021229B2 (en) | 2010-04-14 | 2015-04-28 | International Business Machines Corporation | Optimizing a file system for different types of applications in a compute cluster using dynamic block size granularity |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Cai et al. | Efficient distributed memory management with RDMA and caching | |
US7890529B1 (en) | Delegations and caching in a distributed segmented file system | |
US10789217B2 (en) | Hierarchical namespace with strong consistency and horizontal scalability | |
TW544589B (en) | Loosely coupled-multi processor server | |
US6640289B2 (en) | Software controlled cache line ownership affinity enhancements in a multiprocessor environment | |
JP3836838B2 (ja) | マルチプロセッサ・システムでのプロセッサ相互接続を使用するマイクロプロセッサ通信の方法およびデータ処理システム | |
TWI431475B (zh) | 用於在本地代理者之記憶體鏡像及遷移之裝置、系統及方法 | |
JP3836840B2 (ja) | マルチプロセッサ・システム | |
US20090089537A1 (en) | Apparatus and method for memory address translation across multiple nodes | |
US6711559B1 (en) | Distributed processing system, apparatus for operating shared file system and computer readable medium | |
JP2004280283A (ja) | 分散ファイルシステム、分散ファイルシステムサーバ及び分散ファイルシステムへのアクセス方法 | |
JPH11272636A (ja) | ネットワーク接続ディジタルデータプロセッシングシステム上のメモリデバイスへの高速アクセスおよび共用方法および装置 | |
JPH1185710A (ja) | サーバ装置およびファイル管理方法 | |
JP2004227127A (ja) | 複数の環境情報を持つプログラムおよびこのプログラムを持つ情報処理装置 | |
US10031682B1 (en) | Methods for improved data store migrations and devices thereof | |
JP5640151B2 (ja) | 計算機及び計算機によるデータ管理方法 | |
US20040158764A1 (en) | Storage system | |
CN109302448A (zh) | 一种数据处理方法及装置 | |
JP3836837B2 (ja) | マルチプロセッサ・システムでのマイクロプロセッサ通信の方法、処理ユニット、およびデータ処理システム | |
JP3836839B2 (ja) | クラスタベースのマルチプロセッサ・システムでのマイクロプロセッサ通信の方法およびデータ処理システム | |
JP3848268B2 (ja) | 計算機システム、計算機装置、計算機システムにおけるデータアクセス方法及びプログラム | |
JP2007287180A (ja) | 分散ファイルシステム、分散ファイルシステムサーバ及び分散ファイルシステムへのアクセス方法 | |
JP2002297429A (ja) | 分散トランザクション処理システム、分散トランザクション処理方法及び分散トランザクション処理プログラム | |
JP2004199535A (ja) | 計算機システムおよびそのストレージの管理方法 | |
US7707263B1 (en) | System and method for associating a network address with a storage device |