JP2003296039A - クラスタ構成記憶システム及び制御方法 - Google Patents

Abstract

(57)【要約】 【課題】 管理者が、ノード毎のリソース使用状況を把
握して管理することを可能とし、クラスタ構成の記憶シ
ステムの管理コストの削減を図る。 【解決手段】 管理サーバは、各ノードのデータ物理位
置情報を統合して有し、クラスタ構成記憶システムの構
成及び各ノードの構成と関連付けて提示する手段を備え
る。ノードは、処理に際し使用するリソースの量や負荷
を取得する手段を備え、管理サーバは、のリソース使用
状況を各サーバから収集して集計する手段と、リソース
使用状況と前記データ情報と前記構成情報とを関連付け
て、階層を設けて提示する手段を備える。さらに、論理
ボリュームをノード間においてホストコンピュータには
透過に移動する手段を備える。管理サーバは、情報表示
により移動元データと移動先物理位置との選択を支援す
る手段と、前記移動の指示を受領し、前記クラスタ構成
記憶システムに移動を指示する手段を備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、記憶システム及び
その制御方法に係り、特に、複数の記憶システムノード
を１つの記憶システムとして運用可能とするクラスタ構
成の記憶システム及びその制御方法に関する。

【０００２】

【従来の技術】記憶システムに関する従来技術として、
例えば、特開平１１−１６７５２１号公報等に記載され
た技術が知られている。この従来技術は、記憶システム
を使用する上位装置であるホストコンピュータに対する
インタフェースとしてのホストアダプタ、記憶システム
内の磁気ディスク装置等の記憶装置に対するインタフェ
ースとしてのディスクアダプタ、キャッシュメモリ、管
理メモリの相互間をコモンバス方式で接続して、記憶シ
ステム（ストレージシステム）を構成したものである。

【０００３】前述したような構成の記憶システムのシス
テム構成を拡張する場合、ホストアダプタ、ディスクア
ダプタ、キャッシュメモリ、管理メモリ、記憶システム
等の構成要素が新たに追加される。例えば、ホストコン
ピュータとの接続数を増加させる場合、ホストアダプタ
が新たにコモンバスに接続される。また、記憶システム
の記憶容量を増加させる場合、記憶装置を追加する、ま
たは、ディスクアダプタを新たにコモンバスに接続して
記憶装置を追加する。

【０００４】一方、格納されるデータを記憶装置に柔軟
に配置するため、ホストコンピュータがアクセスする論
理記憶領域と記憶装置の記憶領域を示す物理記憶領域と
の対応づけるためのアドレス変換を行う記憶システムに
関する従来技術として、例えば、特開平９−２７４５４
４号公報に記載された技術が知られている。この従来技
術は、ホストコンピュータからの論理記憶領域に対する
Ｉ／Ｏアクセスについての情報を取得する手段と、論理
記憶領域の物理記憶領域への対応づけを変更して物理的
再配置を行う手段とにより、格納されたデータの最適配
置を実現するというものである。

【０００５】前述した従来技術は、記憶システムのシス
テム拡張にあたり、ホストアダプタ、ディスクアダプ
タ、キャッシュメモリ、管理メモリ、記憶装置などの記
憶システムの構成要素を増設することにより対応してい
るため、記憶システムの拡張性が、記憶システムの構成
要素の最大搭載数に制限されている。このため、前述の
従来技術は、記憶システムの大規模化の要求に応じるた
めに、記憶システムの構成要素の最大搭載数を大きくす
ると、小規模な記憶システムの要求時にコストや筐体体
積や設置面積が大きくなってしまうという問題点を有し
ている。

【０００６】前述のような問題点を解決することのでき
る従来技術として、クラスタ構成の記憶システムがあ
る。クラスタ構成の記憶システムは、複数の前述したよ
うな記憶システムを接続して構成され、しかも、ホスト
コンピュータからは１つの記憶システムとして運用可能
なものであり、ユーザによって１つの記憶システムとし
て管理可能とした記憶システムである。以下では、この
ようなクラスタ構成の記憶システムを構成する小規模な
記憶システムを記憶システムノードと呼ぶ。

【０００７】クラスタ構成の記憶システムは、小規模な
記憶システムが要求されたとき、少数の記憶システムノ
ードを用いてクラスタ構成記憶システムを構成し、大規
模な記憶システムが要求されたとき、より多数の記憶シ
ステムノードを用いてクラスタ構成記憶システムを構成
することができ、ユーザの要求する規模に最適なコスト
や筐体体積や設置面積で対応することができる。このよ
うに、クラスタ構成の記憶システムは、小規模なシステ
ムから大規模なシステムまで対応することが可能であ
る。また、クラスタ構成の記憶システムは、例えば、あ
るノードに格納されているデータに対し他のノードが有
するインタフェースからアクセスを可能にするといった
手段を有し得る。このように、ホストコンピュータから
は１つの記憶システムとして運用可能であり、このため
記憶システムの管理及びホストコンピュータを含めた計
算機システム全体の容易になり、複数の記憶システムを
使用する場合に比べ、管理コストを削減できるという利
点を有している。

【０００８】前述のようなクラスタ構成の記憶システム
において、記憶システムノードは、それぞれ独立にプロ
セッサ、メモリ、記憶装置、キャッシュ等のリソースを
有している。さらに、記憶システムノードは、配下の記
憶装置へのＩ／Ｏ処理や、その他の記憶装置に格納され
ているデータについての処理を、前記ノード自身が有す
るリソースを用いて行うことにより、ノード内の処理や
リソース管理を容易にし、また、システム管理者による
システム構成の計画立案やシステム管理を容易にするこ
とができる。

【０００９】

【発明が解決しようとする課題】しかし、前述したよう
な従来技術によるクラスタ構成の記憶システムは、クラ
スタ構成の記憶システム自身が１つの記憶システムとし
て運用されるため、ホストコンピュータでの処理、また
は、システム管理者やユーザは、あるデータについて前
記クラスタ構成の記憶システムのどのノードのインタフ
ェースからアクセス可能かといった点は考慮できても、
前記データが実際にどのノードの記憶装置に格納されて
どのノードのリソースをどれだけ使用して処理されるか
という点については把握し考慮することができず、以下
に説明するような問題を生じさせることがる。

【００１０】すなわち、前述のクラスタ構成の記憶シス
テムは、特定の記憶システムノードが格納しているデー
タに対して処理が集中した場合、前記ノードにおけるリ
ソースの量や処理能力が不足し、この結果、前記ノード
においてプロセッサボトルネック、キャッシュ過負荷、
ライトバックキャッシュデータの記憶装置への反映待ち
によるライト性能低下、キャッシュヒット率低下、内部
バスボトルネック、記憶装置過負荷によるボトルネック
などが発生して、前記ノードにおいてのみ処理性能が低
下するという問題点を生じさせる。

【００１１】また、前述のクラスタ構成の記憶システム
は、前記ノードにおいて特定のデータの処理によってキ
ャッシュが占有されて、他のより高速な応答が求められ
るデータの処理に対してキャッシュヒット率が低下する
といった、ある処理により他の処理の実行が阻害されて
各種処理の性能が低下することがあるという問題点を有
している。

【００１２】さらに、前述のクラスタ構成の記憶システ
ムは、あるノードが高速な記憶装置や大量のキャッシュ
メモリといった潤沢なリソースを持つにもかかわらず、
処理優先度が高く高速なＩ／Ｏ性能が要求されるデータ
が、より低速な記憶装置や少量のキャッシュメモリとい
った乏しいリソースを持つノードで処理され、前記デー
タに要求されるＩ／Ｏ性能を満たすことができないとい
った、格納データと使用リソースとの最適でない配置に
よる処理性能低下が生じることがあるという問題点を有
している。

【００１３】本発明の目的は、前述した従来技術による
クラスタ構成の記憶システムの問題点を解決し、システ
ム管理者や保守員やユーザ等の管理者が、論理ボリュー
ムと、前記論理ボリュームのデータを格納し処理するノ
ードとの関係を容易に認識し、これにより、ノード毎の
リソース使用状況を把握して管理することを可能とし、
処理負荷集中やリソース使用の集中等の問題の発生に対
して効率よく分析調査を行うことを可能にして、管理コ
ストの削減を図ることのできるクラスタ構成の記憶シス
テムを提供することにある。

【００１４】具体的にいえば、本発明の第１の目的は、
１つの記憶システムとして運用可能なクラスタ構成記憶
システムにおいて、システム管理者やユーザに対し、前
記クラスタ構成記憶システムに記憶され使用されるデー
タ、特に、論理ボリュームと、前記データを処理するノ
ードとを対応付けて管理する手段を提供することにあ
る。

【００１５】本発明の第２の目的は、前述のクラスタ構
成記憶システムにおいて、システム管理者やユーザに対
し、ノード毎のリソース使用状況を把握して管理するこ
とができる手段を提供すると共に、処理負荷集中やリソ
ース使用の集中等の問題の発生に対して警告などにより
注意を促し、また、前述の問題の発生の検出及びその分
析調査を支援する手段を提供することにある。

【００１６】さらに、本発明の第３の目的は、前述のク
ラスタ構成記憶システムにおいて、前記クラスタ構成記
憶システムに格納されるデータの物理位置をホストコン
ピュータには透過に、特に、ノード間で移動し、特定の
ノードにおける処理負荷集中やリソース使用集中を解消
し、また、処理の分散／配置の最適化による処理相互間
の阻害を回避し、また、リソースの量や性能や属性を考
慮したデータ物理位置最適化や処理分担最適化を実現す
る手段を提供することにある。

【００１７】

【課題を解決するための手段】本発明によれば前記目的
は、複数の記憶システムを１つの記憶システムとして運
用するクラスタ構成記憶システムにおいて、前記記憶シ
ステムが有し、前記記憶システムに格納されるデータに
関する処理に使用する前記記憶システムのリソースの構
成、及び、リソースの使用量、使用負荷の少なくとも一
方を取得する手段と、データを使用する計算機に対して
クラスタ構成記憶システムが提供するアドレス情報と、
各記憶システムの前記リソース情報との関連を提示する
手段と、前記関連に基づいて前記リソース情報を提示す
る手段とを備えることにより達成される。

【００１８】また、前記目的は、複数の記憶システムを
１つの記憶システムとして運用するクラスタ構成記憶シ
ステムの制御方法において、前記記憶システムが有し、
前記記憶システムに格納されるデータに関する処理に使
用する前記記憶システムのリソースの構成、及び、リソ
ースの使用量、使用負荷の少なくとも一方を取得し、デ
ータを使用する計算機に対してクラスタ構成記憶システ
ムが提供するアドレス情報と、各記憶システムの前記リ
ソース情報との関連を提示し、前記関連に基づいて前記
リソース情報を提示し、データを使用する計算機からの
使用を停止させることなく、前記記憶システム間での前
記データの再配置を行うことにより達成される。

【００１９】前述において、クラスタ構成記憶システム
を管理するサーバが備えられ、該サーバは、クラスタ構
成記憶システムを構成する各記憶システムとしてのノー
ドのデータ物理位置情報を統合して有し、クラスタ構成
記憶システムの構成及び各ノードの構成と関連付けて提
示する手段を備える。また、前記ノードは、処理に際し
使用するリソースの量や負荷を取得する手段を備え、前
記管理サーバは、前記のリソース使用状況を各サーバか
ら収集して集計する手段と、前記リソース使用状況と前
記データ情報と前記構成情報と関連付けて、階層を設け
て提示する手段を備える。また、前記クラスタ構成記憶
システムは格納しているデータをノード間においてもホ
ストコンピュータには透過にオンラインのまま移動する
手段を備え、前記管理サーバは前記情報表示により移動
元データと移動先物理位置の選択を支援する手段と、前
記移動の指示を受領し、前記クラスタ構成記憶システム
に移動を指示する手段を備える。

【００２０】

【発明の実施の形態】以下、本発明によるクラスタ構成
の記憶システムの実施形態を図面により詳細に説明す
る。

【００２１】図１は本発明の一実施形態によるクラスタ
構成の記憶システムを用いた計算機システムの構成を示
すブロック図、図２は図１におけるノードの構成を示す
ブロック図である。図１、図２において、１００はクラ
スタストレージ、１１０（１１０−１〜１１０−３）は
ノード、１２０はキャッシュ、１３０は物理ディスク、
１４０はバス、１５０は内部接続インタフェース（Ｉ／
Ｆ）、１６０は内部接続スイッチ、１７０は内部接続バ
ス、１８０はポート、２００はチャネルプロセッサ（Ｃ
ＨＰ）、２０１はポート情報、２０２は物理位置情報、
２０３はキャッシュ管理情報、２０４、３０１、４０２
はリソース使用情報、２０５、３０２、４０３はリソー
ス情報、２０６、３１０、４０５は閾値情報、２１０、
３１０はローカルメモリ、３００はディスクプロセッサ
（ＤＫＰ）、４００は管理サーバ、４０１はボリューム
情報、４０４は空き領域情報、４９０は管理ネットワー
ク、５００はホスト、５９０はネットワーク、６００は
Ｉ／Ｏパスである。

【００２２】図１に示す計算機システムは、クラスタ構
成の記憶システムであるクラスタストレージ１００、管
理サーバ４００、１または複数のホスト５００から構成
される。クラスタストレージ１００は、複数のノード１
１０から構成される。ノード１１０は、１つの記憶シス
テムとして機能し、ＣＨＰ２００、キャッシュ１２０、
ＤＫＰ３００、１または複数の物理ディスク１３０、内
部接続Ｉ／Ｆ１５０を備え、相互にバス１４０により接
続されて構成されている。クラスタストレージ１００内
の各ノード１１０は、内部接続Ｉ／Ｆ１５０と内部接続
スイッチ１６０とを介して内部接続バス１７０により相
互に接続されている。ホスト５００は、Ｉ／Ｏパス６０
０を介して、クラスタストレージ１００においてＣＨＰ
２００が提供するポート１８０に接続されている。

【００２３】Ｉ／Ｏパス６００で用いられるプロトコル
及び規格の例としては、ファイバチャネル（ＦＣ）やＩ
ＰやInfini Band 等を挙げることができる。管理サーバ
４００とホスト５００とはネットワーク５９０で接続さ
れている。管理サーバ４００とＣＨＰ２００とＤＫＰ３
００とは、管理ネットワーク４９０により接続されてい
る。管理ネットワーク４９０やネットワーク５９０で用
いられるプロトコル及び規格の例としては、ＩＰを挙げ
ることができる。

【００２４】ＣＨＰ２００、ＤＫＰ３００、管理サーバ
４００、ホスト５００は、処理を行うためのメモリやＣ
ＰＵ等の計算機において必ず存在する構成要素を備えて
いるが、以下では説明を簡単にするため、ここでは必ず
しも明記しない。

【００２５】物理ディスク１３０は、各ノード１１０に
１つまたは複数存在する、例えば、磁気ディスク等の記
憶装置であり、ホスト５００が使用するデータの記憶や
再生を行う機能を有する。物理ディスク１３０は、単一
の磁気ディスクでもよく、またＲＡＩＤとして知られて
いるストライピングやパリティやミラーによる冗長性付
加等の構成をとっていてもよい。ＣＨＰ２００は、後述
する物理位置情報２０２に基づいて物理ディスク１３０
上の記憶領域から論理ボリュームを構成し、仮想的な記
憶デバイスとしてホスト５００に提供する。前述の論理
ボリュームの提供において、ＣＨＰ２００は、論理ボリ
ュームをポート１８０に関係付け、ホスト５００は、前
述のポート１８０を介して前記論理ボリュームにアクセ
スする。

【００２６】一般に、ＣＨＰ２００は、論理ボリューム
に、ポート１８０の他、前記ポート１８０におけるター
ゲットＩＤ、論理ユニット番号といったＩ／Ｏパス６０
０上のアドレスを関係付け、ホスト５００は、前述のア
ドレスを指定して前記論理ボリュームにアクセスする
が、以下では、説明を簡単にするためにこれらについて
の説明を省略し、ポート情報２０１及びボリューム情報
４０１が前記アドレスに関する情報も含んでいて、ＣＨ
Ｐ２００や管理サーバ４００は、前記情報に含まれる前
記アドレスを使用して処理を行うものとする。１つの論
理ボリュームに関係付けられるポート１８０及び前記ア
ドレスは複数あり得る。

【００２７】前述した図１に示す計算機システムは、ク
ラスタストレージを１台だけ示しているが、本発明は、
複数のクラスタストレージを複数台設けて１台の管理サ
ーバに管理させるように構成することもできる。また、
１台のクラスタストレージ内に備えられるノードの数
も、さらに多数であってよい。さらに、各ホストと各ノ
ード内のＣＨＰとを接続するＩ／Ｏパスの数も、図示例
に限らず任意に設定することができる。

【００２８】ノード１１０は、図２に示すように、ＣＨ
Ｐ２００内に、ローカルメモリ２１０を有し、ローカル
メモリに２１０に、ポート情報２０１、物理位置情報２
０２、キャッシュ管理情報２０３、リソース使用情報２
０４、リソース情報２０５、閾値情報２０６を格納し、
また、ＤＫＰ３００内に、ローカルメモリ３１０を有
し、ローカルメモリに、リソース使用情報３０１、リソ
ース情報３０２、閾値情報３０３を格納して構成されて
いる。

【００２９】図３はポート情報２０１の例について説明
する図、図４は物理位置情報２０２の例を説明する図、
図５はキャッシュ管理情報２０３の例を説明する図であ
り、次に、ＣＨＰ２００のローカルメモリ２１０内に格
納されるこれらの情報について説明する。

【００３０】ポート情報２０１は、図３に示すように、
論理ボリューム番号とポート番号との対により構成され
る。論理ボリューム番号は、論理ボリュームを示す番号
であり、クラスタストレージ１００において一意の番号
である。ポート番号は、論理ボリュームが関係付けられ
ているポート１８０を示す番号である。

【００３１】物理位置情報２０２は、図４に示すよう
に、論理ボリューム番号、ノード番号、物理ディスク番
号、物理アドレス、容量、移動先ノード番号、移動先物
理ディスク番号、移動先物理アドレス、状態により構成
される。図４において、論理ボリューム番号は、ポート
情報２０１に関して説明した図３の場合と同一の番号で
ある。ノード番号は、論理ボリュームのデータを格納し
ている物理ディスク１３０が存在するノードを示す番号
である。物理ディスク番号は、前記の物理ディスク１３
０を示す番号である。物理アドレスは、前記物理ディス
ク１３０において前記論理ボリュームのデータの格納領
域の開始位置を示すアドレスである。容量は、前記物理
ディスク１３０において前記格納領域の大きさを示す値
である。移動先ノード番号、移動先物理ディスク番号及
び移動先物理アドレスは、後述の論理ボリュームの移動
処理における移動先を示す情報であり、これらについて
は後述する。状態（ステータス）は、論理ボリュームの
状態を示し、「正常」は使用可能であることを、「障
害」は使用不可であることを、「移動中」は後述の移動
処理を実行中であることを示す。

【００３２】前述したような物理位置情報２０２の１つ
の論理ディスク番号のエントリにおいて、複数のノード
番号、物理ディスク番号、物理アドレス、容量のエント
リが存在する場合、１つの論理ボリュームが複数の格納
領域から構成されていることを示し、図４に示す例の場
合、上から順に前記格納領域が結合されていることを示
す。ポート情報２０１と物理位置情報２０２とに存在す
る論理ボリュームのエントリは、前記情報を保持するＣ
ＨＰ２００がリード／ライトコマンド受領処理を担当す
る論理ボリュームであり、論理ボリュームの構成（生
成）／解放（削除）によって物理位置情報２０２が更新
され、論理ボリュームのポートへの関係付け／関係解除
によりポート情報２０１が更新される。

【００３３】キャッシュ管理情報２０３は、図５に示す
ように、物理ディスク番号、物理アドレス、メモリアド
レス及びダーティフラグから構成される。図５におい
て、物理ディスク番号、物理アドレスは、キャッシュ１
２０に格納しているデータを格納すべき物理ディスク１
３０及びその格納領域（一定長からなるセグメント）を
示す。メモリアドレスは、データのキャッシュ１２０上
のアドレスを示す。ダーティフラグは、データが物理デ
ィスク１３０に反映済みであるか、未反映（ダーティ）
であるかを示す。キャッシュ管理情報２０３のエントリ
は、キャッシュ管理情報２０３が存在するノードの物理
ディスクに対応しており、キャッシュ１２０上に領域が
確保されてデータが格納された場合や、キャッシュ１２
０の領域不足により格納しているデータが物理ディスク
１３０に書き出され領域が解放された場合に更新され
る。キャッシュ管理情報２０３は、一般には、例えば、
ハッシュテーブル等を用いて高速に検索することがで
き、また、ダーティフラグがダーティなエントリについ
てはリスト構造が設けられて物理ディスク１３０に未反
映のデータを高速に検索できるような工夫がなされてい
る。

【００３４】図６、図７はホスト５００が論理ボリュー
ムにリード／ライトする際の処理動作を説明するフロー
チャートであり、次に、図６、図７に示すフローを参照
して、ホスト５００がクラスタストレージ１００の提供
する論理ボリュームにアクセス（リード／ライト）する
際の処理について説明する。リード／ライト処理では、
前述で説明したポート情報２０１と物理位置情報２０２
とキャッシュ管理情報２０３とが使用される。

【００３５】（１）ホスト５００は、アクセス対象の論
理ボリュームが関係付けられているポート１８０に対し
Ｉ／Ｏパス１６０を介して、リードコマンドまたはライ
トコマンドを発行する（ステップ１００１）。

【００３６】（２）前述のポートを提供しているＣＨＰ
２００（ここでは、ノードＡ１１０−１のＣＨＰ２００
とする）は、前記ポート１８０を介してホスト５００か
らのリード／ライトコマンドを受領し、アクセス対象の
論理ボリューム及びアドレス、リード／ライト要求種
別、リード／ライト長などを取得する（ステップ１００
２）。

【００３７】（３）ノードＡ１１０−１のＣＨＰ２００
は、前記コマンドの受領ポートとアクセス対象の論理ボ
リュームとが正しいか否かをポート情報２０１を用いて
調べ、正しくない場合、ホスト５００にエラーを報告し
て処理を終了する（ステップ１００３、１００４）。

【００３８】（４）ステップ１００３の調べで、コマン
ドの受領ポートとアクセス対象の論理ボリュームとが正
しかった場合、ノードＡ１１０−１のＣＨＰ２００は、
リード／ライト要求種別を判別し、要求がリード要求で
あった場合、物理位置情報２０２を参照して前記論理ボ
リュームのステータスが何かを調べ、「正常」または
「移動中」ではなく、「障害」であった場合、ホスト５
００にエラーを報告して処理を終了する（ステップ１０
０５、１００６、１０１４）。

【００３９】（５）ステップ１００６の調べで、ステー
タスが「正常」または「移動中」であった場合、ノード
Ａ１１０−１のＣＨＰ２００は、物理位置情報２０２の
前記論理ボリュームのエントリのノード番号、物理ディ
スク番号、物理アドレスを参照して、前記論理ボリュー
ムの存在するノード番号、物理ディスク番号、物理アド
レスを取得し、前記論理ボリュームの存在するノードの
ＣＨＰ（ここではノードＢ１１０−２のＣＨＰ２００と
する）に前記物理ディスク番号、リード対象アドレス、
リード長などを内部接続バス１７０を介して通知してリ
ード対象データを要求する（ステップ１００７）。

【００４０】（６）前記要求を受領したノードＢ１１０
−２のＣＨＰ２００は、キャッシュ管理情報２０３を参
照して、対象データがノード１１０−２のキャッシュ１
２０上に存在するか否かを調べ、存在する場合、後述す
るリソース使用情報２０４のキャッシュヒット率を更新
して、対象データを前記キャッシュ１２０からノードＡ
１１０−１のＣＨＰ２００にバス１４０を介して転送す
る（ステップ１００８、１００９）。

【００４１】（７）ステップ１００８での調べで、対象
データがノードＢ１１０−２のキャッシュ１２０に存在
しなかった場合、ノードＢ１１０−２のＣＨＰ２００
は、ノードＢ１１０−２のＤＫＰ３００に前記物理ディ
スク番号、リード対象アドレス、リード長などをバス１
４０を介して通知して対象データのキャッシュ１２０へ
の読み出しを要求する（ステップ１０１０）。

【００４２】（８）前記要求を受けたノードＢのＤＫＰ
３００は、通知された物理ディスク１３０から対象デー
タを読み出して前記キャッシュ１２０に格納して、キャ
ッシュ管理情報２０３を更新し、ノードＢ１１０−２の
ＣＨＰ２００に読み出し完了をバス１４０を介して通知
する。前述の処理においてＤＫＰ３００は、ＣＨＰ２０
０のキャッシュ管理情報２０３をバス１４０を介して排
他的に参照／更新可能である。すなわち、キャッシュ管
理情報２０３は、ＣＨＰ２００とＤＫＰ３００とにより
共有される情報である（ステップ１０１１）。

【００４３】（９）前記通知を受けたノードＢのＣＨＰ
２００は、キャッシュ管理情報２０３を参照して前記キ
ャッシュ１２０から対象データを読み出して内部接続バ
ス１７０を介してノードＡ１１０−１のＣＨＰ２００へ
転送し、後述するリソース使用情報２０４のキャッシュ
ヒット率を更新する（ステップ１０１２）。

【００４４】（10）ステップ１０１２の処理またはステ
ップ１００９の処理の後、対象データを受領したノード
Ａ１１０−１のＣＨＰ２００は、前記ホスト５００へ前
記対象データをＩ／Ｏパス１６０を介して転送し、リー
ド完了を通知し、リード処理を終了する（ステップ１０
１３）。

【００４５】（11）ステップ１００５の調べで、ホスト
５００からの要求がライト要求であった場合、ノードＡ
１１０−１のＣＨＰ２００は、物理位置情報２０２を参
照してライト対象の論理ボリュームのステータスを調べ
る（ステップ１１０１）。

【００４６】（12）ステップ１１０１の調べで、ステー
タスが「正常」であった場合、ノードＡ１１０−１のＣ
ＨＰ２００は、物理位置情報２０２から前記論理ボリュ
ームの存在するノード番号、物理ディスク番号、物理ア
ドレスを取得し、前記論理ボリュームの存在するノード
のＣＨＰ（ノードＢ１１０−２のＣＨＰ２００とする）
に前記物理ディスク番号、ライト対象アドレス、ライト
長等を通知すると共に、ライト対象データの転送開始を
通知し、前記対象データをホスト５００から受領してノ
ードＢ１１０−２のＣＨＰ２００に内部接続バス１７０
を介して転送する（ステップ１１０２）。

【００４７】（13）前記通知を受けたノードＢ１１０−
２のＣＨＰ２００は、前記対象データを受領してキャッ
シュ１２０に格納し、キャッシュ管理情報２０３を更新
し、前記キャッシュ管理情報２０３のダーティフラグを
ダーティに設定し、ノードＡ１１０−１のＣＨＰ２００
にライト完了を通知する。キャッシュ１２０は、例え
ば、バッテリバックアップによる不揮発化及び２重化等
により耐障害性が確保されている（ステップ１１０
３）。

【００４８】（14）前記通知を受けたノードＡ１１０−
１のＣＨＰ２００は、ホスト５００にライト完了を通知
し、ライト処理を終了する（ステップ１１０４）。

【００４９】（15）ステップ１１０１の調べで、ステー
タスが「障害」であった場合、ノードＡ１１０−１のＣ
ＨＰ２００は、ホスト５００にライト失敗を通知してラ
イト処理を終了する。また、前記ステータスが「移動
中」であった場合、後述するように、ライトの二重化を
行った後、ライト処理を終了する（ステップ１１０５、
１１０６）。

【００５０】ノードＢ１１０−２のＤＫＰ３００は、非
同期にキャッシュ管理情報２０３を参照して、ダーティ
フラグがダーティのデータを検索し、ダーティのデータ
を物理ディスク１３０に書き込み、前記ダーティフラグ
を反映済みに設定する。この処理によりライト対象デー
タが物理ディスク１３０に格納される。

【００５１】１つの論理ボリュームが物理ディスク１３
０上の複数の格納領域から構成されている場合、ノード
Ａ１１０−１のＣＨＰ２００は、前述したの処理を個々
の格納領域について行う。例えば、前述の格納領域が複
数のノード１１０に存在する場合、ノードＡ１１０−１
のＣＨＰ２００は、それぞれのノード１１０に対して処
理の要求を行い、前記各ノードから処理結果の通知を受
領してリード／ライト処理を進める。

【００５２】前述で説明した処理において、各ＣＨＰ２
００及び各ＤＫＰ３００は、処理に使用したリソースの
使用状況に関する情報を計測し、ＣＨＰ２００のリソー
ス使用情報２０４及びＤＫＰ３００のリソース使用情報
３０１に記録する。

【００５３】図８はＣＨＰ２００のリソース使用情報２
０４の例を説明する図、図９はＤＫＰ３００のリソース
使用情報３０１の例を説明する図であり、次に、これら
の情報について説明する。

【００５４】リソース使用情報２０４は、図４に示すよ
うに、全体／論理ボリューム番号毎に、キャッシュ使用
量（ＭＢ）、キャッシュ転送頻度（ＭＢ／ｓ）、キャッ
シュヒット率（％）、プロセッサ１、２のそれぞれのプ
ロセッサ使用率、バス使用率（％）、バス転送頻度（Ｍ
Ｂ／ｓ）、メモリ使用量（ＭＢ）の各情報を有して構成
される。このように構成されるリソース使用情報２０４
において、キャッシュ使用量は、キャッシュ１２０の使
用量であり、ライト処理でデータを格納することにより
増加する。また、キャッシュ使用量は、データをキャッ
シュ１２０に常駐化することによっても増加する。キャ
ッシュ転送頻度は、キャッシュ１２０における単位時間
当たりの流入量及び流出量であり、単位はＭＢ／ｓ等で
ある。キャッシュヒット率は（（ヒットしたコマンド
数）／（全コマンド数））から計算されるキャッシュヒ
ット率である。プロセッサ使用率は、単位時間当たりの
ＣＨＰのプロセッサ使用時間である。バス使用率は、単
位時間当たりのバス１４０の使用時間である。バス転送
頻度は、バス１４０に関する単位時間当たりの流入量及
び流出量であり、単位はＭＢ／ｓ等である。メモリ使用
量は、ＣＨＰのローカルメモリの使用量である。ＣＨＰ
２００は、図８に示す前述の情報の値について、それぞ
れ論理ボリューム毎の値とその総和の２種類の値を集計
する。ある論理ボリュームについての処理に使用したリ
ソースの使用量が、前記論理ボリュームに関する値に集
計される。

【００５５】ＤＫＰ３００のリソース使用情報３０１
は、図９にその一例を示すように、全体／論理ボリュー
ム番号毎に、プロセッサ使用率、バス使用率（％）、バ
ス転送頻度（ＭＢ／ｓ）、メモリ使用量（ＭＢ）、ディ
スク使用率を有して構成される。そして、プロセッサ使
用率、バス使用率、バス転送頻度、メモリ使用量は、前
述したリソース使用情報２０４の例の説明と同様であ
る。ディスク使用率は、単位時間当たりの物理ディスク
１３０の使用時間であり物理ディスク番号毎のシーケン
シャルリード（％）、シーケンシャルライト（％）、ラ
ンダムリード（％）、ランダムライト（％）、合計
（％）の各使用率として示される。

【００５６】ＤＫＰ３００は、先に説明したリード／ラ
イト処理において、リード／ライト種別やシーケンシャ
ル／ランダムアクセス種別毎に前記ディスク使用率を集
計する。ＤＫＰ３００は、前述の値についてＣＨＰ２０
０と同様に、論理ボリューム毎の値とその総和の２種類
の値を集計するが、ディスク使用率については物理ディ
スク１３０毎にも集計する。物理ディスク番号は、論理
ボリュームまたは全体が使用する物理ディスク１３０の
番号である。

【００５７】ＣＨＰ２００は、前述したリソース使用情
報２０４に集計された結果のいずれかが、閾値情報２０
６に予め設定された各リソースの使用状況に関する閾値
を超えた場合、管理サーバ４００に管理ネットワーク４
９０を介して警告を通知する。同様に、ＤＫＰ３００
は、前述のリソース使用状況３０１に集計された結果の
いずれかが、閾値情報３０３に予め設定された各リソー
スの使用状況に関する閾値を超えた場合、管理サーバ４
００に管理ネットワーク４９０を介して警告を通知す
る。前述により各ＣＨＰ２００及び各ＤＫＰ３００は、
プロセッサやキャッシュ１２０やメモリやバス１４０や
物理ディスク１３０等のそれぞれのノード１１０のリソ
ースについて処理負荷の過大を検出することができる。
前記閾値情報２０６及び閾値情報３０３は、システム管
理者や保守員やユーザなどが設定するが、クラスタスト
レージ１００に直接設定してもよく、また、管理サーバ
４００を介して設定してもよい。各ノード１１０に同様
の閾値を設定することにより、特定のノードへの負荷の
集中を検出することができる。

【００５８】図１０は管理サーバが持つボリューム情報
４０１の例を説明する図、図１１は管理サーバが持つ空
き領域情報４０４の例を説明する図であり、次に、これ
らの情報について説明する。

【００５９】管理サーバ４００は、ボリューム情報４０
１、リソース使用情報４０２、リソース情報４０３、空
き領域情報４０４、閾値情報４０５を有し、計算機シス
テムの初期化時や構成変更時に、各ノード１１０のＣＨ
Ｐ２００からポート情報２０１と物理位置情報２０２及
び物理ディスク１３０の空き領域に関する情報を収集し
てボリューム情報４０１と空き領域情報４０４とを作成
する。

【００６０】ボリューム情報４０１は、その一例を図１
０に示すように、論理ボリューム番号、ポート番号、ポ
ートノード番号、ノード番号、物理ディスク番号、物理
アドレス、容量の各情報により構成される。論理ボリュ
ーム番号は、論理ボリュームを示す番号であり、各ノー
ド１１０の物理位置情報２０２の論理ボリューム番号と
同一の番号である。ポート番号は、論理ボリュームが関
係付けられているポートを示す番号であり、ポート情報
２０１のポート番号と同一の番号である。ポートノード
番号は、前記ポートが存在するノード１１０を示す番号
である。ノード番号、物理ディスク番号、物理アドレ
ス、容量は、物理位置情報２０２のノード番号、物理デ
ィスク番号、物理アドレス、容量と同一である。

【００６１】空き領域情報４０４は、その一例を図１１
に示すように、各ノード１１０において使用されていな
い物理ディスクの格納領域を、ノード番号、物理ディス
ク番号、物理アドレス、容量の各情報により示したもの
であり、管理サーバ４００は、空き領域情報４０４を用
いて各ノード１１０に存在する格納領域の空き領域を検
索することができる。

【００６２】管理サーバ４００は、各ＣＨＰ２００及び
各ＤＫＰ３００からリソース使用情報２０４及びリソー
ス使用情報３０１を管理ネットワーク４９０を介して収
集し、リソース使用情報４０２を集計する。リソース使
用情報４０２は、各ノードのリソース使用情報２０４及
びリソース使用情報３０１の集合であり、例えば、前述
で説明したリソース使用情報２０４及びリソース使用情
報３０１にノード番号を付与して管理したものである。
管理サーバ４００は、リソース使用情報４０２をさらに
時系列的に蓄積して保持することにより、クラスタスト
レージ１００のリソースの使用状況の履歴を記録する。
このような時系列的な保持は、管理サーバ４００が各Ｃ
ＨＰ２００及び各ＤＫＰ３００から単位時間毎にリソー
ス使用情報２０４及びリソース使用情報３０１を収集し
て蓄積して行ってもよいし、各ＣＨＰ２００及び各ＤＫ
Ｐ３００がリソース使用情報２０４またはリソース使用
情報３０１をそれぞれ時系列的に蓄積し、蓄積した情報
を管理サーバ４００が収集することにより行ってもよ
い。

【００６３】さらに、管理サーバ４００は、各ＣＨＰ２
００及び各ＤＫＰ３００からリソース情報２０５及びリ
ソース情報３０２を管理ネットワーク４９０を介して収
集し、リソース情報４０３を作成する。ＣＨＰ２００が
有するリソース情報２０５の内容の例としては、キャッ
シュ１２０の容量、キャッシュ１２０の最大転送速度、
バス１４０の最大転送速度、ＣＨＰ２００のローカルメ
モリの容量等を挙げることができる。また、ＤＫＰ３０
０の有するリソース情報３０２の例としては、各物理デ
ィスク１３０の型名、容量、最大転送速度、物理アドレ
スによる物理ディスク１３０の最大転送速度分布、物理
ディスク１３０の平均回転待ち時間、バス１４０の最大
転送速度、ＤＫＰ３００のローカルメモリの容量等を挙
げることができる。管理サーバ４００が有するリソース
情報４０３は、リソース情報２０５及びリソース情報３
０２の集合であり、管理サーバ４００は、リソース情報
４０３を用いてリソース使用情報４０２の内容を負荷の
程度や比率の観点から評価することができる。リソース
使用情報４０２との対応を保持するため、管理サーバ４
００は、リソース情報４０３についても履歴を保持す
る。

【００６４】管理サーバ４００は、閾値情報４０５にシ
ステム管理者や保守員やユーザ等が予め設定したリソー
スの使用状況に関する閾値と、前述のリソース使用情報
４０２に集計された結果とを比較して、プロセッサやキ
ャッシュ１２０やメモリやバス１４０や物理ディスク１
３０等の各ノード１１０のリソースについて処理負荷の
過大を検出することができる。

【００６５】次に、管理サーバ４００がシステム管理者
や保守員やユーザなどの管理者に対してクラスタストレ
ージ１００の性能低下の検出や性能低下原因の分析のた
めに提供する情報提示方法について説明する。管理者
は、管理サーバ４００が画面表示などで提供する情報を
元にクラスタストレージ１００の性能低下や原因を調査
することができ、特に、特定のノード１１０における負
荷集中やリソース使用集中などについて調査することが
できる。管理サーバ４００は、システム管理者や保守員
やユーザなどの管理者が前記調査を行う以下の２種類の
手順に沿って情報の提示を行う。

【００６６】図１２は管理サーバ４００が行うリソース
使用情報の収集と表示の処理との動作を説明する第１の
手順によるフローチャートであり、まず、図１２を参照
して第１の手順について説明する。第１の手順は、前述
の各ノード１１０によるリソース使用過大の警告や管理
サーバ４００による前記警告に対応する手順である。

【００６７】（１）管理サーバ４００は、管理者の指示
に基づいて、画面表示等の情報提示手段において、ま
ず、最初の段階として管理サーバ４００が管理している
１つまたは複数のクラスタストレージ１００の名前など
のリストを表示する（ステップ１２０１）。

【００６８】（２）管理サーバ４００は、次の段階とし
て、前記クラスタストレージ１００の中から警告の対象
となっているクラスタストレージ１００の名前やプロパ
ティ等の情報と、前記クラスタストレージ１００を構成
する複数のノード１１０の名前等のリストとを表示する
（ステップ１２０２）。

【００６９】（３）管理サーバ４００は、さらに次の段
階として、前記複数のノード１１０の中から前記警告の
対象となっているノード１１０の名前やプロパティ等の
情報と、前記ノード１１０が有する各種リソースの種別
や名前等のリストを表示する（ステップ１２０３）。

【００７０】（４）管理サーバ４００は、さらに次の段
階として、前記各種リソースの中から前記警告の対象と
なっているリソースの名前やプロパティ等の情報と、前
記リソースの使用状況とを表示する。前述の表示情報
は、リソース使用情報４０２やリソース情報４０２の前
記リソースに関する情報及び前記情報から計算等により
導かれる値であり、例えば、前記リソースがキャッシュ
１２０の場合、キャッシュ１２０の名前、容量、最大転
送速度、使用量、使用率＝使用量／容量、転送頻度等が
含まれ、物理ディスク１３０の場合、名前、型名、容
量、最大転送速度、最大転送速度分布、平均回転待ち時
間、使用率（アクセス種別毎）等が含まれる（ステップ
１２０４）。

【００７１】（５）管理サーバ４００は、さらに次の段
階として、前記表示情報に関し、ボリューム情報４０１
とリソース使用情報４０２とを用いて前記リソースを使
用する論理ボリュームと、前記論理ボリューム毎の前記
リソース使用状況とを表示する。これにより管理者はど
の論理ボリュームについての処理が前記リソースをどれ
だけ使用しているかを知ることができる（ステップ１２
０５）。

【００７２】（６）管理サーバ４００は、さらに次の段
階として、ボリューム情報４０１に基づき前記の論理ボ
リュームが関係付けられているポート１８０の名前や属
性やプロパティやノードなどの情報を表示する（ステッ
プ１２０６）。

【００７３】前述したような表示を行うことにより、管
理者は、図１に示す計算機システムの構成に関する一般
的な情報であり、ホスト５００がクラスタストレージ１
００の論理ボリュームを使用する上で一般的な情報であ
る、前記論理ボリュームが関係付けられているポート
名、ノード名、ポート１８０の属性やその他アドレスな
どの情報と、前記リソースを使用している論理ボリュー
ムとを結びつけて、前記論理ボリュームについての処理
の負荷やリソース使用状況を把握することができ、例え
ば、ホスト５００で測定した前記論理ボリュームの性能
と照らしあわせるといったことを行うことができる。

【００７４】図１３は管理サーバ４００が行うリソース
使用情報の収集と表示の処理との動作を説明する第２の
手順によるフローチャートであり、次に、図１３を参照
して第２の手順について説明する。第２の手順は、シス
テム管理者や保守員やユーザが性能低下を検出したなど
の理由で特定の論理ボリュームに関して調査を行う場合
の手順である。管理者は前記論理ボリュームに関するポ
ート名、ノード名、ポート１８０の属性などの情報を元
に前記調査を始める。

【００７５】（１）管理サーバ４００は、管理者の指示
に基づいて、画面表示などの情報提示手段において、ま
ず最初の段階として、管理サーバ４００が管理している
１つまたは複数のクラスタストレージ１００の名前等の
情報を表示する（ステップ１３０１）。

【００７６】（２）管理者が前記論理ボリュームが存在
するクラスタストレージ１００を指定することにより、
管理サーバ４００は、次の段階として、前記クラスタス
トレージ１００を構成する複数のノード１１０の名前等
のリストを表示する（ステップ１３０２）。

【００７７】（３）管理サーバ４００は、さらに次の段
階として、管理者が前記論理ボリュームのポートが存在
するノード１１０を指定することにより、前記ノード１
１０が有する複数のポート１８０の名前等のリストを表
示する（ステップ１３０３）。

【００７８】（４）さらに次の段階として、管理者が前
記論理ボリュームのポート１８０を指定することによ
り、管理サーバ４００は、前記ポート１８０に関係付け
られている論理ボリュームの名前等のリストを表示する
（ステップ１３０４）。

【００７９】（５）さらに次の段階として、管理者が関
心のある前記論理ボリュームを指定することにより、管
理サーバ４００は、前記論理ボリュームのデータを格納
している物理ディスク１３０があるノード１１０の名前
等のリストを表示する（ステップ１３０５）。

【００８０】（６）さらに次の段階として、管理サーバ
４００は、管理者が関心のある前記ノード１１０を指定
することにより、前記ノード１１０において前記論理ボ
リュームの処理に使用されている各種リソースの種別や
名前及び使用状況を表示する。ここで表示する使用状況
は、第１の手順で説明したものと同様である（ステップ
１３０６）。

【００８１】前述したような表示を行うことにより、管
理者は、前記論理ボリュームが関係付けられているポー
ト名、ノード名、ポート１８０の属性やその他アドレス
等の情報から、前記リソースを使用している論理ボリュ
ームを導き、さらに前記論理ボリュームについての処理
の負荷やリソース使用状況を把握することができる。管
理サーバ４００は、前述の各表示情報をボリューム情報
４０１に基づき作成して表示する。なお、前述の説明に
おける名前は、文字列で示されてもよく、番号等の識別
子であってもよい。

【００８２】図１４は前述した図１２、図１３による手
順に従って表示された情報の画面例を示す図である。こ
の画面例において、画面の左部は、前述した手順で説明
した段階に基づく階層を示すツリーである。すなわち、
第１の手順の場合、ルート（管理サーバ４００の管理対
象全体）−クラスタストレージ１００−ノード１１０−
プロセッサ、メモリ、キャッシュ１２０、物理ディスク
１３０、バス１４０等のリソース−前記リソースの各モ
ジュール（例えば、物理ディスク１３０なら特定の物理
ディスク１３０）−前記リソースやモジュールを使用し
ている論理ボリューム−ポート１８０といったオブジェ
クトの階層としてツリー構造で表示される。また、第２
の手順の場合、ルート（管理サーバ４００の管理対象全
体）−クラスタストレージ１００−ノード１１０−ポー
ト１８０−論理ボリューム−ノード１１０−プロセッ
サ、メモリ、キャッシュ１２０、物理ディスク１３０、
バス１４０などのリソース−前記リソースの各モジュー
ル（例えば、物理ディスク１３０なら特定の物理ディス
ク１３０）といったオブジェクトの階層としてツリー構
造で表示される。

【００８３】選択されたオブジェクトは、例えば表示色
を変えたり、マークを変えたり、マークを表示するなど
の方法で表現される。画面の右上部は、前記ツリーで選
択されているオブジェクトの名前やプロパティや使用状
況などの情報を示す。画面の右下部は、詳細情報を表示
する部分であり、例えば、前記オブジェクトが複数の構
成要素を有する場合、前記構成要素についての名前や使
用状況等の情報のリストを表示し、前記オブジェクトが
単一のものの場合、前記オブジェクトに関する情報を表
示する。また、管理者が指定した期間に対し、使用状況
の履歴をグラフ表示することよって管理者の作業効率を
向上させることができる。

【００８４】前述で説明した第１の手順の場合、管理サ
ーバ４００は、負荷やリソース使用量が過大であるとい
う警告を得ているが、管理サーバ４００は、前記警告の
対象となるクラスタストレージ１００、ノード１１０、
各種リソース、各モジュールは前記ツリー及びリスト上
において表示色を変えたり、マークを表示したり、点滅
させることにより、システム管理者や保守員やユーザに
注意を促し誘導することができる。

【００８５】システム管理者や保守員やユーザは、前述
の警告または自分の関心に基づいて前述ツリーを追って
オブジェクトを選択することにより、前述の手順に従っ
て情報を取得し、クラスタストレージ１００の性能低下
や原因を解析することができ、特に、特定のノード１１
０における処理負荷集中やリソース使用集中等について
調査することができる。

【００８６】図１５は前述した図１２による第１の手順
に従って表示された情報の他の画面例を示す図である。
前述した第１の手順の場合に対して、図１４に例示した
ツリーの代わりに、図１５に例示するような前記警告対
象のみを表示した一本道のツリーを用いることができ
る。このような表示により、不慣れなユーザが混乱する
可能性を削減することができる。また、本発明は、前述
したようなツリーによる誘導の代わりに、対話式の画面
遷移を用いて前述の手順に基づいて情報を提供するよう
にしてもよい。

【００８７】本発明の実施形態は、前述したように、段
階的、階層的に情報を提示することによって、システム
管理者や保守員やユーザ等が多種かつ多数の情報を同時
に分析する必要がなくなり、図１に示すような構成の計
算機システム及びクラスタストレージ１００の管理を効
率的かつ容易に行うことが可能となり、管理コストを削
減することができる。

【００８８】次に、管理サーバ４００がシステム管理者
や保守員やユーザ等の管理者に対して、他ノード１１０
へ移動する論理ボリュームの決定及び前記論理ボリュー
ムの移動先の決定を支援する情報提示方法について説明
する。システム管理者や保守員やユーザは、管理サーバ
４００が後述する画面表示等により提供する情報を元
に、特定のノード１１０における負荷集中やリソース使
用集中などの性能低下原因を解消するような上記移動元
ボリューム及び移動先を選択することができる。

【００８９】移動元ボリュームの決定については、管理
者は、管理サーバ４００が提供する前述の情報提示方法
や画面を用いて、負荷集中やリソース使用集中をもたら
している論理ボリュームを特定し、移動すべき論理ボリ
ュームを選択することができる。さらに、前述した手順
において、管理者が指定した論理ボリュームについて、
前記論理ボリュームのデータを格納する物理ディスク４
００についての名前、型名、容量、最大転送速度、最大
転送速度分布、平均回転待ち時間、使用率（アクセス種
別毎）等の情報を管理サーバ４００が表示することによ
り、管理者は、前記論理ボリュームについての処理負荷
やリソース使用状況のみならず、前記物理ディスク１３
０の性能や容量使用の最適化を考慮して、移動元ボリュ
ームを選択することができる。

【００９０】移動先物理ディスク１３０の決定について
は、管理サーバ４００は、管理者が行う以下の移動先選
択手順に沿って情報提示を行う。

【００９１】図１６は移動先選択の手順を説明するフロ
ーチャートであり、次に、これについて説明する。

【００９２】（１）管理サーバ４００は、まず最初の段
階として、移動元ボリュームが存在するクラスタストレ
ージ１００を構成する複数のノード１１０の名前などの
リストを表示する（ステップ１４０１）。

【００９３】（２）次の段階として、管理者が移行先候
補として関心のあるノード１１０を指定することによ
り、管理サーバ４００は、前記ノード１１０が有する各
種リソースの種別や名前の一覧を表示する（ステップ１
４０２）。

【００９４】（３）さらに次の段階として、管理者が関
心のあるリソースを指定することにより、そのリソース
の使用状況を表示する。表示される情報は、前述で説明
した第１の手順で説明したものと同様である（ステップ
１４０３）。

【００９５】（４）管理者は、前述の表示から、処理負
荷が小さくリソース使用の小さいノード１１０を検索す
ることができる。さらに、管理サーバは、物理ディスク
１３０について、空き領域情報４０４に基づいて空き領
域も表示する。前記物理ディスク１３０に関する表示情
報には、名前、型名、容量、最大転送速度、最大転送速
度分布、平均回転待ち時間、使用率（アクセス種別毎）
等の情報が含まれるため、管理者は、前記ノード１１０
における処理負荷やリソース使用状況のみならず、前記
物理ディスク１３０の性能や容量使用の最適化を考慮し
て、移動先の物理ディスク１３０を選択することができ
る。また、空き領域を物理ディスク１３０などと同様に
リソースの一種として、上記の物理ディスク１３０に関
する情報と共に表示するようにしてもよい（ステップ１
４０４）。

【００９６】（５）さらに次の段階として、管理サーバ
４００は、前述の物理ディスク１３０にデータを格納し
ている論理ボリュームを、前記論理ボリュームが関係付
けられているポート１８０の名前や属性やプロパティや
ノード１１０等の情報と共に表示する（ステップ１４０
５）。

【００９７】管理者は、前述の処理での表示情報から、
移動先のノード１１０の選択の際に他の論理ボリューム
に関する処理に与える影響を考慮することができる。最
終的に、管理者は、移動先のノード１１０及び前記ノー
ド１１０の物理ディスク１３０を選択して決定する。

【００９８】図１７は図１６で説明した手順に従って表
示され、管理者による移動先の決定を得る画面の例を示
す図であり、次に、これについて説明する。

【００９９】図１７に示す画面例は、大きく上下２部分
に分かれており、選択されているオブジェクトは、上画
面と下画面とに１つずつ存在し、管理者は、上画面を使
用して移動元論理ボリュームを選択する。上画面は、前
述で説明したリソース使用状況調査の第２の手順に対す
る情報表示画面の例と基本的に同様であるので、以下で
は、下画面について説明する。

【０１００】下画面の左部は、図１６により説明した移
動先選択手順で示した段階に基づく階層を示すツリーで
あり、上画面で現在選択されているクラスタストレージ
１００の構成要素及びリソースを示す。すなわち、前記
ツリーは、ルート（上画面で現在選択されているクラス
タストレージ１００）−ノード１１０−プロセッサ、メ
モリ、キャッシュ１２０、物理ディスク１３０、バス１
４０等のリソース−前記リソースやモジュールを使用し
ている論理ボリューム−ポート１８０及び前記ノード１
１０から分岐して−空き領域−物理ディスク１３０とい
った階層を示している。下画面の右部は、前述したリソ
ース使用状況調査の情報表示画面と同様であり、右上部
は、名前やプロパティや使用状況等を表示し、右下部に
は、詳細情報が表示される。

【０１０１】管理者は、上画面で論理ボリュームを示す
オブジェクトやリスト項目を選択し、下画面の物理ディ
スク１３０を示すオブジェクトやリスト項目にドラック
アンドドロップすることにより、移動元と移動先とを決
定し、論理ボリュームの移動を指示することができる。
また、管理者は、メニューを選択することにより、設定
のためのダイアログボックスを表示し、リストボックス
やテキストボックスを用いて入力することにより、前述
の決定及び指示を行ってもよい。前記物理ボリューム１
３０における移動先の物理アドレスは、管理サーバ４０
０がボリューム情報４０１の移動元論理ボリュームの容
量と空き領域情報４０４とを参照して自動的に割り当て
てもよいし、前述のような方法で管理者が入力してもよ
い。管理サーバ４００は、ボリューム情報４０１と空き
領域情報４０４とを参照して、移動先の物理ディスク１
３０の空き領域不足等により指示された移動が不可能で
ある場合、その旨を管理者に通知する。

【０１０２】次に、クラスタストレージ１００が論理ボ
リュームの移動処理を行う際の処理について説明する。
論理ボリュームの移動処理は、図１８〜図２１に示すフ
ローを実行することにより行われる。

【０１０３】図１８はデータコピー指示の処理動作につ
いて説明するフローチャートであり、まず、これについ
て説明する。

【０１０４】（１）前述したように、システム管理者や
保守員やユーザ等の管理者は、管理サーバ４００に対し
移動元の論理ボリュームと移動先の物理ディスク１３０
とを決定し、データの移動を指示する（ステップ１５０
１）。

【０１０５】（２）前述の指示を受けた管理サーバ４０
０は、移動先に指定された領域を空き領域情報４０４か
ら退避し、ボリューム情報４０１を参照して、移動元論
理ボリュームが存在するクラスタストレージ１００にお
いて移動元論理ボリュームが関係付けられているポート
１８０及び前記ポート１８０が存在するノード１１０
（ここではノードＡ１１０−１とする）を取得し、前記
ノードＡ１１０−１のＣＨＰ２００に対して、移動元ボ
リュームの移動先物理ディスク１３０への移動を管理ネ
ットワーク４９０を介して指示する。移動元論理ボリュ
ームが関係付けられているポート１８０が複数存在する
場合、管理サーバ４００は、前記ポート１８０が存在す
る全てのノード１１０に前記指示を行う。前記指示に
は、移動元の論理ボリューム番号、移動先のノード番
号、移動先の物理ディスク番号、移動先の物理アドレス
が含まれる（ステップ１５０２、１５０３）。

【０１０６】（３）前記指示を受けた前記ノードＡ１１
０−１のＣＨＰ２００は、物理位置情報２０２の移動元
論理ボリューム番号のエントリに、移動先ノード番号、
移動先物理ディスク番号、移動先物理アドレスを設定
し、ステータスを「移動中」に設定する（ステップ１５
０４）。

【０１０７】（４）次に、前記ノードＡ１１０−１のＣ
ＨＰ２００は、物理位置情報２０２を参照して移動元論
理ボリュームのデータを格納しているノード１１０（こ
こではノードＢ１１０−２とする）を取得し、ノードＢ
１１０−２のＣＨＰ２００及びＤＫＰ３００に移動元の
物理ディスク番号、移動元の物理アドレス、容量、移動
先のノード番号、移動先の物理ディスク番号、移動先の
物理アドレス等のパラメータを内部接続バス１７０を介
して通知すると共にデータコピーを指示する（ステップ
１５０５）。

【０１０８】図１９はノードＢ１１０−２及びノードＣ
１１０−３のＤＫＰ３００が行うデータコピーの処理動
作を説明するフローチャートであり、次に、これについ
て説明する。

【０１０９】（１）図１８の処理でコピーの指示を受領
したノードＢ１１０−２のＤＫＰ３００は、前述のパラ
メータで示された移動先のノード１１０（ここではノー
ドＣ１１０−３とする）のＤＫＰ３００に容量、移動先
の物理ディスク番号、移動先の物理アドレス等を通知す
ると共に、コピー開始を内部接続バス１７０を介して通
知し、前記パラメータで示された物理ディスク１３０上
の移動元の領域からデータを読み出し、ノードＣ１１０
−３のＤＫＰ３００へ内部接続バス１７０を介して転送
する（ステップ１６０１）。

【０１１０】（２）前述の通知を受けたノードＣ１１０
−３のＤＫＰ３００は、通知された物理ディスク１３０
上の移動先の領域へ転送された前記データを書き込む
（ステップ１６０２）。

【０１１１】（３）全てのデータを転送したノードＢ１
１０−２のＤＫＰ３００は、ノードＣ１１０−３のＤＫ
Ｐ３００から書き込み完了の通知を受け取った後、デー
タコピーの完了をノードＡ１１０−１のＣＨＰ２００に
内部接続バス１７０を介して通知する（ステップ１６０
３、１６０４）。

【０１１２】図２０はノードＢ１１０−２及びノードＣ
１１０−３のＣＨＰ２００が行うデータコピーの処理動
作を説明するフローチャートであり、次に、これについ
て説明する。

【０１１３】（１）図１８での処理で前記コピー指示を
ノードＡ１１０−１から受領したノードＢ１１０−２の
ＣＨＰ２００は、前述のパラメータに示されているノー
ドＣ１１０−３のＣＨＰ２００に、容量、移動先の物理
ディスク番号、移動先の物理アドレスなどを通知すると
共に、コピー開始を内部接続バス１７０を介して通知
し、キャッシュ管理情報２０３を参照してキャッシュ１
２０上に存在する移動元のデータを検索し、存在したデ
ータの物理ディスク番号及び物理アドレスをノードＣ１
１０−３のＣＨＰ２００に通知する（ステップ１７０
１）。

【０１１４】（２）前述の通知を受領したノードＣ１１
０−３のＣＨＰ２００は、物理ディスク番号と物理アド
レスとの情報を保持し、後述するライト処理があった場
合に、ライト対象範囲について更新済みであることを記
録する（ステップ１７０２）。

【０１１５】（３）次に、ノードＢ１１０−２のＣＨＰ
２００は、キャッシュ１２０上の前記データを物理ディ
スク番号及び物理アドレスと共にノードＣ１１０−３の
ＣＨＰ２００に内部接続バス１７０を介して転送する
（ステップ１７０３）。

【０１１６】（４）前記データを受領したノードＣのＣ
ＨＰ２００は、前記物理ディスク番号／物理アドレス情
報を参照し、前記データが未更新の場合、キャッシュ管
理情報２０３を更新してキャッシュ１２０に前記データ
を格納する。しかし、前記データが既に更新されている
場合、転送されたデータをキャッシュ１２０に格納しな
い（ステップ１７０４、１７０５）。

【０１１７】（５）データを全て転送したノードＢ１１
０−２のＣＨＰ２００は、ノードＣ１１０−３のＣＨＰ
２００から反映完了の通知を受け取った後、データコピ
ーの完了をノードＡ１１０−１のＣＨＰ２００に内部接
続バス１７０を介して通知する（ステップ１７０６、１
７０７）。

【０１１８】図２１はＣＨＰ２００での物理位置情報の
更新の処理動作を説明するフローチャートであり、次
に、これについて説明する。

【０１１９】（１）ノードＡ１１０−１のＣＨＰ２００
は、ノードＢ１１０−２のＣＨＰ２００及びＤＫＰ３０
０から前述のデータコピー完了通知を受領した後、ホス
ト５００から移動元論理ボリュームへのリード／ライト
コマンド受け付けを一時保留しておく（ステップ１８０
１、１８０２）。

【０１２０】（２）ノードＡ１１０−１のＣＨＰ２００
は、物理位置情報２０２のノード番号に移動先ノード番
号を設定し、物理ディスク番号に移動先物理ディスク番
号を設定し、物理アドレスに移動先物理アドレスを設定
する（ステップ１８０３）。

【０１２１】（３）その後、ノードＡ１１０−１のＣＨ
Ｐ２００は、移動完了を管理サーバ４００に管理ネット
ワーク４９０を介して報告し、前記論理ボリュームへの
リード／ライトコマンド受け付けを再開する（ステップ
１８０４、１８０５）。

【０１２２】（４）ノードＡ１１０−１を含む移動を指
示した全てのノード１１０のＣＨＰ２００から移動完了
報告を受領した管理サーバ４００は、ノードＡ１１０−
１のＣＨＰ２００にステータス回復を管理ネットワーク
４９０を介して指示する。前記移動元論理ボリュームが
関係付けられているポート１８０が複数存在する場合、
管理サーバ４００は、前記ポート１８０が存在する全て
のノード１１０に前述の指示を行う（ステップ１８０
６）。

【０１２３】（５）前記指示を受領したノードＡ１１０
−１のＣＨＰ２００は、物理位置情報２０２のステータ
スに「正常」を設定し、管理サーバ４００にステータス
回復完了を管理ネットワーク４９０を介して報告する
（ステップ１８０７、１８０８）。

【０１２４】（６）ノードＡ１１０−１を含む移動を指
示した全てのノード１１０のＣＨＰ２００から前記完了
報告を受領した管理サーバ４００は、ボリューム情報４
０１の移動元ボリュームのエントリのノード番号に、移
動先ノード番号を設定し、物理ディスク番号に移動先物
理ディスク番号を設定し、物理アドレスに移動先物理ア
ドレスを設定し、空き領域情報４０４から移動先の領域
を削除し、移動元の領域を加えて更新する（ステップ１
８０９、１８１０）。

【０１２５】前述した処理において、物理位置情報２０
２のステータスが「移動中」の間にノードＡ１１０−１
のＣＨＰ２００がリードコマンドを受領した場合、既に
説明した通常のリード処理をノードＢ１１０−２に対し
行う。また、物理位置情報２０２のステータスが「移動
中」の間にノードＡ１１０−１のＣＨＰ２００がライト
コマンドを受領した場合、ノードＡのＣＨＰ２００は、
前記物理位置情報２０２を参照して、ノードＢ１１０−
２と移動先であるノードＣ１１０−３との両方に対し
て、前述のライト処理を行う。ノードＣ１１０−３のＣ
ＨＰ２００は、前述の更新領域管理を行う。前述のよう
な処理を行うことによって、移動元であるノードＢ１１
０−２と移動先であるノードＣ１１０−３の両方にライ
トデータが反映され、コピーの整合性を保持することが
できる。

【０１２６】前述した本発明の実施形態による各処理
は、処理プログラムとして構成することができ、この処
理プログラムは、ＨＤ、ＤＡＴ、ＦＤ、ＭＯ、ＤＶＤ−
ＲＯＭ、ＣＤ−ＲＯＭ等の記録媒体に格納して提供する
ことができる。

【０１２７】前述で説明した本発明の実施形態は、前述
のような処理を行うことによって、ホスト５００からア
クセス可能のまま透過的に論理ボリュームの物理位置を
移動し、前記論理ボリュームについての処理負荷及びリ
ソース使用負荷を他のノード１１０に移動することがで
きる。

【０１２８】前述した本発明の実施形態における処理
は、ノード１１０のリソースを使用する処理として論理
ボリュームのリード／ライト処理を説明したが、本発明
は、論理ボリュームのデータのキャッシュ１２０への常
駐や、内部でのコピー作成（スナップショット作成）や
他のストレージシステムへのコピー処理などについて
も、各ノード１１０のＣＨＰ２００及びＤＫＰ３００が
リソースの使用状況を取得し、これを管理サーバ４００
が収集して、前述と同様の処理を行うこともできる。

【０１２９】また、前述した本発明の実施形態は、管理
サーバ４００がクラスタストレージ１００の外部にある
として説明したが、本発明は、クラスタストレージ１０
０が管理サーバ４００を内部に含み、ユーザには一体の
装置として提供してもよい。また、前述した本発明の実
施形態は、各種リソースに関する情報を物理的に独立し
たノード１１０毎に収集し、集計し、提示するとして説
明したが、本発明は、ノード１１０のリソースが論理的
に分割され、前記分割された単位がそれぞれ独立した仮
想的処理装置として動作する場合、前記の収集、集計、
提示の単位を前記分割単位毎としてもよい。

【０１３０】前述した本発明の実施形態によれば、前述
のような処理を行うことにより、システム管理者や保守
員やユーザなどの管理者は、論理ボリュームと、前記論
理ボリュームのデータを格納し処理するノードとの関係
を認識し、ノード毎のリソース使用状況を把握して管理
し、処理負荷集中やリソース使用の集中等の問題の発生
に対して効率よく分析調査を行うことができ、これによ
り、計算機システム及びクラスタストレージ１００の管
理を容易にし、管理コストを削減することができる。

【０１３１】さらに、本発明の実施形態によれば、シス
テム管理者や保守員やユーザなどの管理者は、ホストに
は透過な論理ボリュームの移動により、前述の問題を解
決し、計算機システム及びクラスタストレージの性能を
向上させることができる。

【０１３２】

【発明の効果】以上説明したように本発明によれば、管
理者が、ノード毎のリソース使用状況を把握して管理す
ることが可能となり、処理負荷集中やリソース使用の集
中等の問題の発生に対して効率よく分析調査を行うこと
ができ、クラスタ構成の記憶システムの管理コストの削
減を図ることができる。

【０１３３】

【図面の簡単な説明】

【図１】本発明の一実施形態によるクラスタ構成の記憶
システムを用いた計算機システムの構成を示すブロック
図である。

【図２】図１におけるノードの構成を示すブロック図で
ある。

【図３】ポート情報の例について説明する図である。

【図４】物理位置情報の例を説明する図である。

【図５】キャッシュ管理情報の例を説明する図である。

【図６】ホストが論理ボリュームにリード／ライトする
際の処理動作を説明するフローチャートである。

【図７】ホストが論理ボリュームにライトする際の処理
動作を説明するフローチャートである。

【図８】ＣＨＰのリソース使用情報の例を説明する図で
ある。

【図９】ＤＫＰのリソース使用情報の例を説明する図で
ある。

【図１０】管理サーバが持つボリューム情報の例を説明
する図である。

【図１１】管理サーバが持つ空き領域情報の例を説明す
る図である。

【図１２】管理サーバが行うリソース使用情報の収集と
表示の処理との動作を説明する第１の手順によるフロー
チャートである。

【図１３】管理サーバが行うリソース使用情報の収集と
表示の処理との動作を説明する第２の手順によるフロー
チャートである。

【図１４】図１２、図１３による手順に従って表示され
た情報の画面例を示す図である。

【図１５】図１２による第１の手順に従って表示された
情報の他の画面例を示す図である。

【図１６】移動先選択の手順を説明するフローチャート
である。

【図１７】図１６で説明した手順に従って表示され、管
理者による移動先の決定を得る画面の例を示す図であ
る。

【図１８】データコピー指示の処理動作について説明す
るフローチャートである。

【図１９】ノードＢ１１０−２及びノードＣ１１０−３
のＤＫＰ３００が行うデータコピーの処理動作を説明す
るフローチャートである。

【図２０】ノードＢ１１０−２及びノードＣ１１０−３
のＣＨＰ２００が行うデータコピーの処理動作を説明す
るフローチャートである。

【図２１】ＣＨＰ２００での物理位置情報の更新の処理
動作を説明するフローチャートである。

【符号の説明】

１００ クラスタストレージ １１０（１１０−１〜１１０−３） ノード １２０ キャッシュ １３０ 物理ディスク １４０ バス １５０ 内部接続インタフェース（Ｉ／Ｆ） １６０ 内部接続スイッチ １７０ 内部接続バス １８０ ポート ２００ チャネルプロセッサ（ＣＨＰ） ２０１ ポート情報 ２０２ 物理位置情報 ２０３ キャッシュ管理情報 ２０４、３０１、４０２ リソース使用情報 ２０５、３０２、４０３ リソース情報 ２０６、３１０、４０５ 閾値情報 ２１０、３１０ ローカルメモリ ３００ ディスクプロセッサ（ＤＫＰ） ４００ 管理サーバ ４０１ ボリューム情報 ４０４ 空き領域情報 ４９０ 管理ネットワーク ５００ ホスト ５９０ ネットワーク ６００ Ｉ／Ｏパス

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｆ 12/08 ５５７ Ｇ０６Ｆ 12/08 ５５７ (72)発明者 松並 直人 神奈川県川崎市麻生区王禅寺1099番地 株 式会社日立製作所システム開発研究所内 (72)発明者 荒井 弘治 神奈川県小田原市中里322番地２号 株式 会社日立製作所ＲＡＩＤシステム事業部内 Ｆターム(参考） 5B005 JJ13 KK03 KK13 MM11 VV01 5B065 BA01 ZA01 ZA15 5B082 CA11

Claims (9)

【特許請求の範囲】
1. 【請求項１】 複数の記憶システムを１つの記憶システ
   ムとして運用するクラスタ構成記憶システムにおいて、
   前記記憶システムが有し、前記記憶システムに格納され
   るデータに関する処理に使用する前記記憶システムのリ
   ソースの構成、及び、リソースの使用量、使用負荷の少
   なくとも一方を取得する手段と、データを使用する計算
   機に対してクラスタ構成記憶システムが提供するアドレ
   ス情報と、各記憶システムの前記リソース情報との関連
   を提示する手段と、前記関連に基づいて前記リソース情
   報を提示する手段とを備えることを特徴とするクラスタ
   構成記憶システム。
2. 【請求項２】 前記２つの提示手段による提示に際し、
   先に前記クラスタ構成記憶システムに関する情報を提示
   し、次に任意の記憶システムに関する情報を提示し、次
   に前記記憶システムが有するリソースに関する情報を提
   示する手段を備えることを特徴とする請求項１記載のク
   ラスタ構成記憶システム。
3. 【請求項３】 前記記憶システムにおけるリソース使用
   量またはリソース使用負荷、処理負荷が、予め設定され
   た閾値を超えた場合に警告を通知する手段を備えること
   を特徴とする請求項１、２記載のクラスタ構成記憶シス
   テム。
4. 【請求項４】 データを使用する計算機からの使用を停
   止させることなく、前記記憶システム間での前記データ
   の再配置を行う手段を備えることを特徴とする請求項
   １、２または３記載のクラスタ構成記憶システム。
5. 【請求項５】 複数の記憶システムを１つの記憶システ
   ムとして運用するクラスタ構成記憶システムの制御方法
   において、前記記憶システムが有し、前記記憶システム
   に格納されるデータに関する処理に使用する前記記憶シ
   ステムのリソースの構成、及び、リソースの使用量、使
   用負荷の少なくとも一方を取得し、データを使用する計
   算機に対してクラスタ構成記憶システムが提供するアド
   レス情報と、各記憶システムの前記リソース情報との関
   連を提示し、前記関連に基づいて前記リソース情報を提
   示することを特徴とするクラスタ構成記憶システムの制
   御方法。
6. 【請求項６】 情報提示に際して、先に前記クラスタ構
   成記憶システムに関する情報を提示し、次に任意の記憶
   システムに関する情報を提示し、次に前記記憶システム
   が有するリソースに関する情報を提示することを特徴と
   する請求項５記載のクラスタ構成記憶システムの制御方
   法。
7. 【請求項７】 複数の記憶システムを１つの記憶システ
   ムとして運用するクラスタ構成記憶システムの制御方法
   において、前記記憶システムが有し、前記記憶システム
   に格納されるデータに関する処理に使用する前記記憶シ
   ステムのリソースの構成、及び、リソースの使用量、使
   用負荷の少なくとも一方を取得し、データを使用する計
   算機に対してクラスタ構成記憶システムが提供するアド
   レス情報と、各記憶システムの前記リソース情報との関
   連を提示し、前記関連に基づいて前記リソース情報を提
   示し、データを使用する計算機からの使用を停止させる
   ことなく、前記記憶システム間での前記データの再配置
   を行うことを特徴とするクラスタ構成記憶システムの制
   御方法。
8. 【請求項８】 複数の記憶システムを１つの記憶システ
   ムとして運用するクラスタ構成記憶システムの制御を実
   現する処理プログラムであって、前記記憶システムが有
   し、前記記憶システムに格納されるデータに関する処理
   に使用する前記記憶システムのリソースの構成、及び、
   リソースの使用量、使用負荷の少なくとも一方を取得す
   る処理プログラムと、データを使用する計算機に対して
   クラスタ構成記憶システムが提供するアドレス情報と、
   各記憶システムの前記リソース情報との関連を提示する
   処理プログラムと、前記関連に基づいて前記リソース情
   報を提示する処理プログラムと、データを使用する計算
   機からの使用を停止させることなく、前記記憶システム
   間での前記データの再配置を行う処理プログラムとによ
   り構成されたことを特徴とする処理プログラム。
9. 【請求項９】 複数の記憶システムを有するクラスタ構
   成記憶システムにおいて、前記記憶システムのうち、い
   ずれか１つの記憶システムに格納されるデータに関する
   処理に使用される前記１つの記憶システムのリソース構
   成及び前記リソースの使用量、並びに使用負荷に関する
   情報のうちいずれかを取得する手段と、前記データを使
   用する計算機に対して、前記リソースと前記取得手段に
   よって取得された情報との対応関係を提示する手段とを
   有することを特徴とするクラスタ構成記憶システム。