JP2003131818A - クラスタ構成ストレージにおけるクラスタ間ｒａｉｄ構成 - Google Patents

Abstract

(57)【要約】 【課題】クラスタ構成ストレージにおいて、その特性を
生かしたクラスタ間負荷分散を実現する。 【解決手段】複数のクラスタ配下のディスク装置複数台
を用いて、複数クラスタにまたがるＲＡＩＤを構成す
る。ミラーデータやパリティなど冗長データの作成およ
び書き出し時には、クラスタ間を接続するネットワーク
を介して、各クラスタのキャッシュメモリに保持された
データの更新値や更新前の値を直接用いる。キャッシュ
メモリ上で更新データの複製を作成しないため、キャッ
シュメモリの利用効率の低下を回避できる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ホストコンピュー
タと記憶装置を接続してなる計算機システム、特に複数
クラスタで構成されるストレージ間での負荷分散方法に
関する。

【０００２】

【従来の技術】近年、計算機で取り扱われるデータ量は
飛躍的に増大し、それに従ってストレージの大容量化が
進んでいる。ストレージの大容量化は機器導入コストお
よび管理コストの増大をまねき、各ストレージベンダは
コスト低減が必須命題となっている。大容量ストレージ
のコスト低減を実現する方法の一つとして、近年提唱さ
れているＳＡＮ(Ｓｔｏｒａｇｅ Ａｒｅａ Ｎｅｔｗｏ
ｒｋ）やＮＡＳ（Ｎｅｔｗｏｒｋ Ａｔｔａｃｈｅｄ Ｓ
ｔｏｒａｇｅ）といった、複数のストレージ機器を組合
せて大規模なストレージシステムを構築する方法があ
る。異なるベンダのストレージ機器を接続、統合管理で
きるなど、導入コストおよび管理コスト低減に効果的な
ソリューションである。ただ、異なるベンダのストレー
ジ機器を扱う都合上、互換性検証や統合管理のための基
準策定など実現にはいくつかの課題がある。

【０００３】これとは別の実現方法として、従来汎用機
用として用いられてきた大型ストレージを採用する方法
も考えられる。大型ストレージは、汎用機用ストレージ
としての実績より培った高性能性、高信頼性、高可用性
を基本要素とし、市場の大容量化に合わせて、記憶容量
の増大、接続ホストインタフェースの拡張を行ってき
た。ユーザが必要とする大規模な記憶容量を一台の機器
で提供できるため、複数台のストレージ機器でシステム
構築する場合と比較し、より少ない設置面積で、かつス
トレージの管理コストを低減可能である。また、ＳＡＮ
やＮＡＳと比べて、高信頼なストレージシステムとして
の長い実績が大きな長所となる。

【０００４】ただ、一台のストレージ機器で大容量かつ
多ホスト接続性を実現させようとする場合、内部に実装
するプロセッサや記憶装置数の増大が必要となり、それ
ら機器間での高速連携のため、内部バスや共用メモリな
どの高速化や、プロセッサ間での競合回避などが、ハー
ドウェアおよびソフトウェア上での技術面およびコスト
面での大きな課題となる。この課題を解決し、大規模か
つ低コストな大型ストレージを構築する方法として、ク
ラスタ技術の適用が考えられる。クラスタ技術はこれま
で主にサーバなどホストコンピュータの分野で、大量の
処理能力を実現する実装方式として用いられてきたが、
これをストレージに適用することで、大規模なストレー
ジを比較的低コストで実装することが可能となる。

【０００５】クラスタ構成大型ストレージでは、各クラ
スタ毎にホストインタフェース、コントローラ、記憶装
置、キャッシュメモリなどを搭載し、各クラスタが独立
したストレージとして動作することが可能となる。クラ
スタ構成ストレージが一台のストレージとして動作する
ためには、クラスタ間を相互接続するネットワークが別
途必要となる。各クラスタの持つホストインタフェース
の上位にスイッチを実装し、各クラスタの記憶装置への
アクセスを振り分けてもよいし、クラスタ間を相互接続
し、互いのキャッシュメモリなどを相互アクセス可能な
ネットワークを実装してもよい。ただ、ストレージアク
セスの傾向にも依存するが、比較的ヒット率の高いアク
セスなどの場合、記憶媒体自体よりもアクセスを制御す
るコントローラの処理能力自体が性能上ボトルネックと
なることが多い。このようなケースでの性能向上のため
にシステムに実装された資源を有効利用するには、クラ
スタ間コントローラでの処理分散を実現することが望ま
しい。そのためには、後者の、クラスタ間相互接続ネッ
トワークを具備することが望ましいと考えられる。ま
た、クラスタ間データコピーなど各種機能をサポートす
るにも、同ネットワークの具備は必須である。よって、
以降では、クラスタ構成ストレージにはクラスタ間での
相互アクセスを可能とするネットワークが実装されてい
ることを前提とする。

【０００６】クラスタ構成ストレージでは複数クラスタ
間での負荷分散を実現可能である。

【０００７】ストレージの負荷分散については、ＵＳＰ
５８３２２２２において、異なるストレージに搭載され
た複数のディスク装置間でＲＡＩＤ(Ｒｅｄｕｎｄａｎ
ｔ Ａｒｒａｙ ｏｆ Ｉｎｄｅｐｅｎｄｅｎｔ Ｄｉｓ
ｋ)を構成する技術が開示されている。複数ストレージ
にまたがるＲＡＩＤへデータを格納することで、データ
アクセス時の起動ディスク装置数および動作するコント
ローラ数を増加し、負荷分散を図ることが可能となる。

【０００８】

【発明が解決しようとする課題】クラスタ構成ストレー
ジの負荷分散のため、ＵＳＰ５８３２２２２で開示され
ている技術を単純に適用しても、クラスタ構成の特性を
有効に利用できないと考えられる。理由は次の通りであ
る。

【０００９】ＵＳＰ５８３２２２２で開示されている技
術では、独立した複数台のストレージ間でＲＡＩＤを構
成しているため、ストレージ間でのデータの授受では、
ストレージ間を接続するネットワークを介して、送信側
のキャッシュメモリへデータを書き込む必要がある。例
えば、２台のストレージ配下のディスク装置各１台、計
２台でＲＡＩＤレベル１のＲＡＩＤを構築した場合、当
該ディスク装置へのデータ更新を受けた一方のストレー
ジ甲から、他方のストレージ乙へ当該更新データを転送
する必要がある。このとき、ストレージ甲から転送され
たデータはストレージ乙のキャッシュメモリへ格納され
るため、システム全体で見ると、一時的にキャッシュ上
でデータが二重に保持され、キャッシュメモリの使用効
率が低下する。特に、ストレージ乙側で受信した更新デ
ータを一定期間保持した後、ディスク装置に反映するよ
うな制御を行う場合、キャッシュメモリ使用効率の低下
が著しいと予想される。

【００１０】また、ＵＳＰ５８３２２２で開示されてい
る技術で、ＲＡＩＤレベル５のＲＡＩＤを構成する場
合、更新データに対してパリティ(冗長データ)を生成す
るために必要なデータを、当該データに対応するパリテ
ィを格納しているストレージへ転送する必要がある。Ｒ
ＡＩＤレベル５のＲＡＩＤでは、一定の単位(ストライ
プ)毎にデータを分割し、複数のディスク装置に格納し
(ストライピング)、一列のデータストライプに対して、
１つ以上のパリティを生成し、データとは別のディスク
装置へ格納する。パリティを格納するディスク装置はス
トライプ列毎に変えることで、データ更新時のパリティ
更新による特定ディスク装置への負荷集中を回避する。
例えば、ＲＡＩＤが４台のディスク装置で構成され、デ
ータストライプＡ、Ｂ、Ｃに対して、パリティＰが保持
されている場合に、データストライプＡに対してデータ
更新が行われた場合を考える。このとき、データストラ
イプＡ、Ｂを格納する２台のディスク装置はストレージ
甲に、データストライプＣとパリティＰを格納する２台
のディスク装置はストレージ乙に搭載されているとす
る。データストライプＡに更新があると、パリティＰの
更新値作成に必要なデータ、すなわち、データストライ
プＡの更新前の値および更新値か、またはデータストラ
イプＡの更新値およびデータストライプＢの更新前の値
を、ストレージ甲から乙へ転送する必要がある。このた
め、ＲＡＩＤレベル１のＲＡＩＤの場合と同様、キャッ
シュメモリ使用効率の低下をまねいてしまう。

【００１１】本発明の目的は、クラスタ構成ストレージ
においてクラスタ間での負荷分散を実現することであ
る。

【００１２】本発明の別の目的は、クラスタ間負荷分散
を行う際にクラスタ間のデータ転送量を削減すること
で、システム性能の向上を図ることである。

【００１３】

【課題を解決するための手段】クラスタ構成ストレージ
では、異なるクラスタのキャッシュメモリや制御情報を
格納する制御用メモリへアクセスが可能なため、クラス
タ間の緊密な連携を行うことができる。この特徴を生か
し、本発明では、クラスタ構成ストレージの複数クラス
タ配下のディスク装置間でＲＡＩＤを構成する。

【００１４】まず、構成されたＲＡＩＤがＲＡＩＤレベ
ル１であり、ホストからのデータ更新はホスト要求に同
期して実行されるものとする。ＲＡＩＤ内のあるデータ
が更新されると、当該データは、当該データを格納する
第一のディスク装置を搭載した第一のクラスタのキャッ
シュメモリへ保持される。そして、当該データは、第一
のディスク装置と当該データのミラー(冗長データ)ディ
スクである第二のクラスタの第二のディスク装置に書き
込まれる。このとき第二のディスク装置への書き込みに
おいては、第一のクラスタより第二のクラスタに対し
て、当該データの第二のディスク装置への書き込み要求
が送信される。そして、第二のクラスタにより第一のク
ラスタのキャッシュメモリ上の当該データを用いて書き
込み処理が行われる。

【００１５】また、構成されたＲＡＩＤがＲＡＩＤレベ
ル５であり、ホストからのデータ更新は更新データをキ
ャッシュメモリに格納した時点で完了し、ホスト要求と
は非同期にディスク装置へ反映されるものとする。キャ
ッシュメモリに格納された更新データがディスク反映対
象に選ばれると、当該データのパリティ生成に必要なデ
ータがキャッシュメモリに読み上げられる。具体的に
は、当該データの更新前値およびパリティの更新前値、
もしくは当該データ以外の同ストライプ列データの更新
前値が、各データの属するクラスタのキャッシュメモリ
へ格納される。読み上げ対象データが当該データが属す
るクラスタとは別クラスタに属する場合、別クラスタ側
へ別クラスタのキャッシュメモリへの対象データの読み
上げ要求を送信し、別クラスタ側で読み上げ処理が行わ
れる。必要なデータが各クラスタのキャッシュメモリ上
に準備できたら、排他的論理和演算によりパリティを生
成する。この排他論理和演算はプロセッサで実行しても
よいし、演算用の専用ハードウェアを搭載しても構わな
い。このとき、排他論理和演算対象の各データを演算実
行ユニット(プロセッサか専用ハード)へ転送する必要が
あるが、クラスタ間のデータ転送量が最小となるように
パリティ生成実行クラスタを決定する。

【００１６】以上のような手段により、クラスタ構成ス
トレージにおいて、クラスタ間でのＲＡＩＤ構成を可能
とし、クラスタ間での負荷分散を実現できる。

【００１７】また、クラスタ間での負荷分散実行時に、
クラスタ間のデータ転送量を抑えて、ストレージのアク
セス性能を向上させることが可能となる。

【００１８】

【発明の実施の形態】以下、本発明の実施形態について
説明する。実施形態では、クラスタ構成ストレージにお
いてクラスタ間で構成したＲＡＩＤにデータ更新が発生
した場合の処理を例に説明する。なお、説明の簡略化の
ためにクラスタ数を２とするが、３クラスタ以上のディ
スク装置を用いてＲＡＩＤを構成しても構わない。ま
た、本実施形態ではＲＡＩＤレベルは１と５を用いる。
ＲＡＩＤレベル１は８台のディスク装置で構成し、ミラ
ーディスク側にデータの複製を保持する。ＲＡＩＤレベ
ル５も８台のディスク装置で構成し、各ストライプ列毎
に７つのデータストライプと１つのパリティで構成され
るものとする。なお、ＲＡＩＤの構成ディスク数、ＲＡ
ＩＤレベル５のパリティ数はこれ以外の値であって構わ
ない。

【００１９】また、説明の簡略化のため、ホストからの
データアクセス単位をＲＡＩＤレベル５のＲＡＩＤのス
トライプサイズと同じとしているが、現実には両者のサ
イズは必ずしも一致しない。その場合、ストライプに満
たないデータが更新されたり、複数ストライプにまたが
るデータ更新が発生する場合があるが、それぞれの場合
のパリティ生成方法は従来公知の技術であり、本明細書
では詳細は述べない。

【００２０】本発明の実施形態は第１から第２の実施形
態がある。第１の実施形態はクラスタ間でＲＡＩＤレベ
ル１のＲＡＩＤを構成し、更新データはホストからのラ
イト要求と同期してディスク装置に反映する場合を示
す。第２の実施形態はクラスタ間でＲＡＩＤレベル５の
ＲＡＩＤを構成、更新データはホスト要求とは非同期に
ディスク装置に反映する場合を示す。

【００２１】まず第一に、図１から図５を参照して、第
１の実施形態を説明する。

【００２２】図１は本発明の第１の実施形態の対象とな
る計算機システムの構成を示すブロック図である。

【００２３】１台のホストコンピュータ１００がチャネ
ル１０１を介して２クラスタ１０２からなるストレージ
システムに接続している。ホストコンピュータから見て
ストレージシステムは１台のストレージであり、２本の
チャネル１０１のどちらからでもストレージシステム内
の任意のデータにアクセスすることが可能である。

【００２４】ストレージシステムを構成する２つのクラ
スタ１０２は、各々が従来のストレージシステムに当
る。独立したストレージシステムと同様に、クラスタ１
０２内部には、１つ以上のチャネルコントローラ１０３
や１つ以上のディスクコントローラ１０４、キャッシュ
メモリ１０６、共用メモリ１０７、パリティ生成器１０
８を実装し、各コンポーネントは内部ネットワークによ
り互いに交信可能である。また、ディスクコントローラ
１０４には複数台のディスク装置１０５が接続される。
これらのコンポーネントおよび内部ネットワークや電源
などは可用性向上のため多重化することが望ましい。さ
らに、クラスタ１０２間には、双方のコントローラから
互いのキャッシュメモリ１０６や共用メモリ１０７がア
クセスできるよう、クラスタ間ネットワーク１０９で接
続されている。

【００２５】ホストコンピュータ１００では、各種アプ
リケーションプログラムが動作し、その実行に伴いスト
レージシステムへのデータアクセスを要求する。このと
き、ホストコンピュータ１００はストレージシステムが
提供する論理ディスクに対してアクセスを行う。論理デ
ィスクはストレージシステムがホストコンピュータ１０
０に提供する見かけ上の記憶媒体で、ストレージシステ
ム内で実際のディスク装置１０５への格納場所、格納方
法を管理している。

【００２６】チャネルコントローラ１０３は、ホストコ
ンピュータ１００から論理ディスクに対するアクセス要
求を受け取り、各要求に見合ったディスク装置１０５を
特定し、当該ディスク装置１０５へのリード/ライト要
求をディスクコントローラ１０４へ送信する。

【００２７】ディスクコントローラ１０４は、チャネル
コントローラ１０４からのリード/ライト要求に応じ
て、ディスク装置１０５へアクセスする。リード要求時
は対象データまたはパリティをディスク装置１０５から
キャッシュメモリ１０６へ読み上げ、ライト要求時はキ
ャッシュメモリ１０６に格納された更新データまたは更
新パリティを対応するディスク装置１０５へ書き出す。
また、ディスク装置１０５への書き込みをホストコンピ
ュータ１００からのライト要求とは非同期に実行する第
２の実施例では、ディスクコントローラ１０４はキャッ
シュメモリ１０６に保持した複数の更新データのディス
ク装置１０５への反映スケジュールを決定する。すなわ
ち、キャッシュメモリ１０６における更新データの占有
率や、各更新データの滞留時間などを考慮して、周期的
にディスク装置１０５への書き出し要否の判定、および
書き出し対象データの決定を実施する。対象と決定され
た更新データはディスクコントローラ１０４にて処理さ
れディスク装置１０５へ書き出される。

【００２８】キャッシュメモリ１０６は、ホストコンピ
ュータ１００とディスク装置１０５との間の転送を仲介
する記憶媒体であり、保持されるデータはチャネルコン
トローラ１０３およびディスクコントローラ１０４にて
協同管理される。ホストコンピュータ１００からのライ
トデータは一旦キャッシュメモリ１０６に格納され、然
る後ディスク装置１０５へ書き出される。逆にホストコ
ンピュータ１００からのリード要求に対して、ディスク
装置１０５から当該データを一旦キャッシュメモリ１０
６へ読み上げ、然る後、ホストコンピュータ１００へ転
送される。このとき、ホストコンピュータ１００は論理
ディスクに対してアクセスするため、キャッシュメモリ
１０６上では論理ディスク内のアドレスによりデータを
管理し、ディスク装置へのアクセス時には、当該データ
の対応するディスク装置１０５、および当該ディスク装
置１０５内のアドレスを特定する必要がある。

【００２９】キャッシュメモリ１０６の管理方法として
は様々な方式が考えられ、現在様々な方式が各社製品に
採用されている。管理方法の一例としては、キャッシュ
メモリ１０６を特定サイズ毎に分割し、このデータ単位
毎に管理する方法がある。データ単位としては、例えば
ＲＡＩＤのストライプサイズなどが適している。このデ
ータ単位を便宜上セグメントと呼ぶ。全キャッシュ領域
はセグメント単位に管理され、最初は全セグメントが未
割当ての状態である。ホストコンピュータ１００から論
理ディスクの特定領域にアクセスが生じた場合、特定領
域の対応するデータストライプに対して未割当てのセグ
メントの一つを割当て、ライト/リードデータを格納す
る。セグメントとデータストライプ間の対応はキャッシ
ュ管理情報として管理され、共用メモリ１０７上に保持
される。

【００３０】本実施形態では、キャッシュメモリ１０６
上でのデータ保持は、当該データセグメントが格納され
るディスク装置１０５を搭載するクラスタ１０２のキャ
ッシュメモリ１０６に一元的に保持するものとする。こ
の場合、アクセスデータにセグメントを割当てる処理に
おいて、当該データストライプが属するクラスタを算出
する必要がある。別の方法としては、論理ディスク毎に
使用するキャッシュメモリ１０６を決める方法も考えら
れる。このような管理の場合、各論理ディスク毎に対応
するディスク装置１０５の所属クラスタ１０２などを考
慮して、当該論理ディスクの所属クラスタ１０２を決定
し、対応情報を共用メモリ１０７に保持する必要があ
る。

【００３１】各セグメントは、格納データがディスク装
置１０５へ反映済みか否かで区別され管理される。前者
をクリーン状態、後者をダーティ状態と呼ぶ。また、各
セグメント内の情報が有効であるかを示す情報もキャッ
シュ制御情報として保持する。例えば、リード用に新規
に割当てられたセグメントはその時点ではクリーン状態
であるが、ディスク装置１０５からのデータ読み込みが
完了しない限り、内部に保持するデータは無効である。
また、セグメントの割当てについては、仮に新規にセグ
メントが必要なときに未割当てのセグメントが無い場合
には、クリーンセグメントの一つを転用する。クリーン
セグメントも存在しない場合は、ダーティセグメントの
未反映データをディスク装置１０５へ反映後、転用す
る。さらに、更新データがＲＡＩＤに属する場合、ディ
スク装置１０５への未反映状態には二つの状態が存在す
る。ＲＡＩＤレベル１のＲＡＩＤの場合、データディス
クへもミラーディスクへも未反映な状態、ミラーディス
クへのみ反映済みの状態がある。ＲＡＩＤレベル５のＲ
ＡＩＤの場合、パリティ未生成の状態、パリティ生成済
みの状態がある。本実施形態では、ホストコンピュータ
１００からキャッシュメモリ１０６へ書き込まれた状態
をホストダーティ状態、ＲＡＩＤレベル１のミラーディ
スクへ反映済み状態またはＲＡＩＤレベル５のパリティ
生成済み状態を物理ダーティ状態と呼ぶことにする。な
お、ＲＡＩＤレベル１のディスク装置１０５への反映順
序はミラーディスク、データディスクの順とするが、こ
の順序が逆であっても構わない。また、各更新データ毎
に任意の順序でデータディスク又はミラーディスクへ反
映しても構わない。ただし、その場合、データディスク
とミラーディスクそれぞれ独立にダーティ状態を管理す
る必要がある。また、ＲＡＩＤレベル５の場合、更新デ
ータに対する更新前のデータをキャッシュメモリ１０６
上へ読み上げる必要があるため、同一データストライプ
に対してニ値を保持する必要がある。このためには、各
データストライプについて更新データと更新前のデータ
を管理する最大２つのセグメントを割当てられるよう制
御し、これら２つのセグメントを同一のデータストライ
プに対応づけて管理する。

【００３２】共用メモリ１０７は、チャネルコントロー
ラ１０３やディスクコントローラ１０４がＩ／Ｏ制御を
行うのに必要な制御情報を保持している。制御情報の例
としては、各コントローラで動作する処理単位であるジ
ョブの管理情報や、ディスク装置１０５の管理情報、キ
ャッシュメモリ１０４上でのデータ管理情報などが挙げ
られる。また、先述した論理ディスクとディスク装置１
０５との対応情報も保持している。

【００３３】図３に論理ディスクとディスク装置１０５
との対応情報の例を示す。対応情報は各論理ディスク毎
のエントリを持ち、各論理ディスク毎にＲＡＩＤ情報、
構成ディスク装置リストなどで構成される。ＲＡＩＤ情
報はＲＡＩＤレベル、ストライプサイズ、データストラ
イプ数、パリティストライプ数、そしてパリティ格納デ
ィスク装置がいくつのストライプ列毎に変わるかを示す
パリティサイクルからなる。構成ディスク装置リスト
は、各構成ディスク装置のクラスタ番号とクラスタ内デ
ィスク番号のリストからなる。

【００３４】パリティ生成器１０８は、ＲＡＩＤレベル
５のＲＡＩＤにおいてパリティを演算するのに用いられ
る。パリティを生成するのに必要な情報とは、更新デー
タに対する更新値と更新前値および対応するパリティの
更新前値、もしくは更新データの更新値および同じスト
ライプ列の他の全てのデータの更新前値である。本実施
形態では、前者の情報を用いたパリティ生成で説明す
る。必要な情報をパリティ生成器に入力し、排他的論理
和演算を行い、演算結果であるパリティの更新値をキャ
ッシュメモリ１０６に格納する。

【００３５】ディスク装置１０５は、ホストコンピュー
タ１００から見た見掛けのディスク装置である論理ディ
スクのデータを格納する。論理ディスクとディスク装置
１０５の対応は図３に示す情報で管理され、論理ディス
クへのアクセスに対して当該制御情報を用いてディスク
装置１０５を算出して、対応するディスク装置１０５へ
アクセスが行われる。

【００３６】クラスタ間ネットワーク１０９は、２つの
クラスタ間を接続するネットワークであり、両クラスタ
の各コントローラは互いのキャッシュメモリ１０６およ
び共用メモリ１０７へアクセスすることが可能である。
ただ、通常、クラスタ内で各コンポーネントを接続する
内部ネットワークと比較すれば、転送能力は低く、スト
レージシステムの性能向上には、極力クラスタ間のデー
タ交信量を抑制する必要がある。

【００３７】次に第１の実施形態におけるデータ更新時
の処理の流れについて説明する。

【００３８】図２は第１の実施形態においてクラスタ間
にまたがるＲＡＩＤに対してデータ更新が行われた場合
の処理の流れを示すものである。２つのクラスタで構成
されるストレージにおいて、両クラスタに搭載されたデ
ィスク装置４台ずつ、計８台でＲＡＩＤレベル１のＲＡ
ＩＤを構成する。当該ＲＡＩＤデータへの更新を受けた
一方のストレージは当該データが属する第一のクラスタ
のキャッシュメモリに当該更新データを格納し、ミラー
ディスク側の第二のクラスタへ当該更新データのディス
ク装置への書き込み要求を送信する。当該要求を受けた
第二のクラスタでは、第一のクラスタのキャッシュメモ
リ上の当該更新データを用いて、ミラーディスクに当る
第二のディスク装置へ書き込みを行う。その後、当該更
新データを格納先である第一のディスク装置に書き込
み、ホストへライト処理の完了を報告する。

【００３９】次に第１の実施形態における各処理につい
てフロー図を用いて詳細に説明する。

【００４０】図４はチャネルコントローラ１０３におけ
るチャネルコマンド処理の処理フロー図である。当処理
はホストコンピュータ１００からのＩ／Ｏ要求を受けつ
け、要求処理内容に応じて、ディスクコントローラ１０
４に処理要求を送信する。

【００４１】ステップ４０１で、ホストアクセス対象の
データが格納されるディスク装置１０５の属するクラス
タを特定する。クラスタの特定には、図３に示した論理
ディスクとディスク装置１０５の対応情報を用いる。ま
ず、論理ディスクの特定領域に対するアクセスを受信し
たら、対応情報を元に当該論理ディスクの当該領域がＲ
ＡＩＤ内のいくつ目のディスク装置に格納されるかを算
出する。それから、そのディスク装置がどのクラスタの
どのディスク装置１０５であるかを対応情報内のディス
ク装置リストを参照して求める。ここで特定したクラス
タを第１のクラスタ、ディスク装置を第１のディスク装
置とする。

【００４２】ステップ４０２でホスト要求を判定し、リ
ード要求であるならステップ４０９へ、ライト要求であ
るならステップ４０３へ遷移する。ホスト要求にはその
他の要求も考えられるが、本実施形態では簡単のため省
略している。

【００４３】ステップ４０３からステップ４０７はライ
ト要求時の処理である。ステップ４０３では、アクセス
対象のデータストライプに対してステップ４０１で特定
した第一のクラスタ１０２のキャッシュメモリ１０６か
ら空きセグメントを割当て、ホストからライトデータを
受け取り、当該セグメントへ格納する。セグメントの割
当て時には、対象となるクラスタ１０２の共用メモリ１
０７に保持されているキャッシュ管理情報を参照/更新
する。具体的には、第一のクラスタのキャッシュ管理情
報のアクセス排他をかけた状態で、空きセグメントの管
理情報から任意の空きセグメントを獲得し、当該セグメ
ントを当該データストライプへ対応付け、セグメント状
態を空き(未割当て)状態から割当て状態かつホストダー
ティ状態へ変更する。

【００４４】ステップ４０４では、当該データストライ
プに対応するミラーディスクがどのクラスタ１０２のど
のディスク装置１０５であるかを特定する。ここで特定
したクラスタを第２のクラスタ、ディスク装置を第２の
ディスク装置とする。

【００４５】ステップ４０５では、第２のクラスタのデ
ィスクコントローラ１０４に対して、第２のディスク装
置に対する当該データストライプのライト要求を送信す
る。本実施形態では、コントローラ間の処理要求は要求
内容を示す数バイト程度の情報を直接送信先クラスタ１
０２の共用メモリ１０７へ書き込むことで行う。当該送
信情報をＭＳＧと呼ぶことにする。ＭＳＧ内の情報とし
ては、例えば処理要求種別、処理対象データ/パリティ
ストライプアドレス情報など、場合によってはセグメン
トの特定情報や対応するディスク装置１０５アドレス情
報を送信してもよい。ＭＳＧの管理には様々な方式が考
えられるが、例えば共用メモリ１０７上に対象コントロ
ーラ単位、さらに要求処理単位にＭＳＧを管理するキュ
ーのようなものを設け、このキューにＭＳＧを登録する
方式が考えられる。各コントローラは各自の担当するキ
ューを周期的に監視することでＭＳＧを受信することが
できる。また、要求ＭＳＧの完了報告も同様に送信元へ
のＭＳＧとして送信することもできるし、あるいは送信
元ジョブの管理情報内に直接処理結果を書き込んでも構
わない。第２のクラスタのディスクコントローラ１０４
からのライト処理完了報告を受けたら、ステップ４０６
で第１のクラスタのディスクコントローラ１０５に対し
て、第１のディスク装置に対する当該データストライプ
のライト要求を送信する。ディスクコントローラ１０５
からのライト完了報告を受けたら、ステップ４０７でホ
ストコンピュータ１００に当該ライト要求の完了報告を
行う。

【００４６】次に、ステップ４０８からステップ４１０
でリード要求時の処理について説明する。

【００４７】ステップ４０８では、ステップ４０３と同
様、リード対象データセグメントに対して、第１のクラ
スタのキャッシュメモリ１０６のセグメントを割当て
る。ステップ４０３と異なるのは、割当てたセグメント
はクリーン状態となる点である。

【００４８】ステップ４０９では、第１のクラスタのデ
ィスクコントローラ１０４に対して、第１のディスク装
置に対する当該データストライプのリード要求を送信す
る。当該要求の完了報告を受け取ったら、ステップ４１
０で対象セグメント内のデータをホストコンピュータ１
００へ転送し、ステップ４０７で完了報告を行う。

【００４９】図５はディスクコントローラ１０４で動作
するディスクコマンド処理の処理フロー図である。第１
の実施形態では、当処理はチャネルコマンド処理より送
信されるディスク装置１０５へのリード/ライト処理を
受信し、処理する。

【００５０】まず、ステップ５０１で受信した処理要求
ＭＳＧ内の処理要求種別を判定し、リード要求時はステ
ップ５０６へ、ライト要求時はステップ５０２へそれぞ
れ遷移する。

【００５１】ステップ５０２では、処理要求ＭＳＧ内の
データストライプアドレスやセグメント状態などの整合
性をチェックする。セグメント状態のチェックでは、例
えばミラーディスクへの書き込みである場合は対象セグ
メントがホストダーティ状態であること、データディス
クへの書き込みである場合は物理ダーティ状態であるこ
とを確認する。ＭＳＧ内にディスク装置１０５アドレス
などが含まれない場合には、図３で示した論理ディスク
とディスク装置１０５の対応情報を用いてディスク装置
１０５を算出する。また、指定されたデータストライプ
のセグメントアドレスがＭＳＧに含まれない場合には、
キャッシュ管理情報の対応情報を用いて、セグメントア
ドレスを特定する。

【００５２】ステップ５０３では、対象となるディスク
装置１０５へ対象セグメント内データを書き込む。書き
込みが正常に完了したら、当該セグメントのキャッシュ
管理情報を更新する。具体的には、当該ライトがミラー
ディスクに対するライトの場合は当該セグメントを物理
ダーティ状態に、データディスクに対するライトの場合
は当該セグメントをクリーン状態にそれぞれ変更する。
これらの処理が完了したら、ステップ５０５で当該処理
の要求元へ処理の完了を報告する。

【００５３】次にステップ５０６からステップ５０８を
用いてリード処理について説明する。

【００５４】ステップ５０６では、ステップ５０２と同
様、処理要求ＭＳＧのアドレスやセグメント状態などの
整合性チェックを行う。リード要求の場合、対象となる
セグメントが割当てられていてかつ、クリーン状態であ
る、もしくはダーティ状態でかつ更新前データ/パリテ
ィ用のセグメントが確保されているかを確認する。ダー
ティ状態でかつ更新前データ用セグメントが割当てられ
ていない場合は上位にエラー報告してもよいし、当該処
理にて当該データストライプにセグメントを追加割当て
しても構わない。

【００５５】ステップ５０７では、対象となるディスク
装置１０５から当該セグメントへ対象データを読み上
げ、データが読み上げられたらステップ５０８で当該セ
グメント内のデータが有効であるよう制御情報を変更す
る。全ての処理が完了したらライト要求と同様にステッ
プ５０５で上位へ要求処理の完了を報告する。

【００５６】第二に、図６から図１０を参照して、第２
の実施形態を説明する。

【００５７】図６に第２の実施形態においてクラスタ間
にまたがるＲＡＩＤに対してデータ更新が行われた場合
の処理の流れを示す。２つのクラスタで構成されるスト
レージにおいて、両クラスタに搭載されたディスク装置
４台ずつ、計８台でＲＡＩＤレベル５のＲＡＩＤを構築
する。当該ＲＡＩＤデータへの更新を受けた一方のクラ
スタは当該データが属する第一のクラスタのキャッシュ
メモリに当該更新データを格納し、ホストへライト処理
の完了を報告する。なお、本図ではホスト要求を受けた
クラスタと当該データが属する第一のクラスタが同一で
ある場合を想定している。当該更新データは、キャッシ
ュメモリ上での更新データの保持数などを考慮しながら
非同期にディスク装置へ書き込まれる。当該更新データ
がディスク装置への反映対象となった場合、対応するパ
リティを生成するために必要なデータをディスク装置か
ら対応するクラスタのキャッシュメモリ１０６へそれぞ
れ読み上げる。簡単のため、更新されたデータストライ
プの更新前の値と、対応するパリティの更新前の値を読
み上げるものとする。このとき、パリティがデータスト
ライプが属する第一のクラスタでなく第二のクラスタに
属する場合、第二のクラスタに対して第二のクラスタの
キャッシュメモリへパリティの更新前値を読み上げる要
求を送信する。当該要求を受けた第二のクラスタでは、
キャッシュメモリへパリティの更新前値を読み上げる。
これと並行して第一のクラスタでは当該キャッシュメモ
リに当該更新データストライプの更新前値が読み上げら
れる。必要なデータが全て揃ったら、データおよびパリ
ティの配置から最適なパリティ生成クラスタを決定し、
そのクラスタにてパリティ更新値を生成する。その後、
当該更新データおよび当該更新パリティを各々が属する
クラスタにより各ディスク装置へ書き込む。

【００５８】次に第２の実施形態における各処理につい
てフロー図を用いて詳細に説明する。

【００５９】図７はチャネルコントローラ１０３上で動
作するチャネルコマンド処理の処理フロー図である。処
理フローは第１の実施形態のチャネルコマンド処理のフ
ロー図である図４と共通部分が多い。よって、相違部分
であるライト処理部分について説明する。

【００６０】ステップ７０２でホスト要求がライト要求
であると判定したら、ステップ７０３でステップ４０３
と同様に対象クラスタのキャッシュメモリ１０６からセ
グメントを割当て、ライトデータを格納する。当該セグ
メントをダーティ状態にし、格納するデータが有効であ
る旨、制御情報を変更したら、その時点でホストコンピ
ュータ１００へ要求処理の完了を報告する。このとき、
データ消失を避けるためには、キャッシュメモリ１０６
はバッテリを用いるなどの手段により不揮発化する必要
がある。

【００６１】このようにホストコンピュータ１００から
の更新データはキャッシュメモリ１０６に保持され、以
降、ディスクコントローラ１０４の非同期ディスク反映
処理により、ホスト要求とは非同期にディスク装置１０
５へ反映される。

【００６２】図８はディスクコントローラ１０４上で動
作する非同期ディスク反映処理の処理フロー図である。
本処理はキャッシュメモリ１０６内の更新データ量やデ
ィスクコントローラ１０４の負荷を考慮しながら起動要
否を判定され、更新されてからの経過時間などを元に対
象となるデータを選出され起動される。この起動要否判
定、および対象データの選出は既存論理であるため、詳
細説明は省略する。

【００６３】ステップ８０１で、処理対象である更新デ
ータストライプのパリティが所属するクラスタを特定す
る。クラスタ特定には図３で示した論理ディスクとディ
スク装置１０５の対応情報を用いる。本実施形態では、
パリティが所属クラスタはデータの所属クラスタとは異
なる場合について説明する。以後、パリティ所属クラス
タを第２のクラスタ、データ所属クラスタを第１のクラ
スタと呼ぶ。また、各ディスク装置を第２のディスク装
置、第１のディスク装置と呼ぶ。

【００６４】ステップ８０２で、パリティ生成が必要な
データが既に各クラスタ１０２のキャッシュメモリ１０
６に存在するかどうかをチェックする。本実施形態で
は、更新データスプライトの更新前の値と、対応するパ
リティの更新前の値のヒットミス判定を行う。必要なデ
ータのヒットミス状態によりステップ８０３で分岐し、
必要なデータのうちミスしているものがあれば、ステッ
プ８０４にて不足データをキャッシュメモリ１０６に読
み上げるよう、各クラスタのディスクコントローラ１０
４に処理要求を送信する。例えば、更新データスプライ
トとパリティの更新前の値が共にミスである場合には、
第１クラスタのディスクコントローラ１０４へ当該デー
タの更新前の値を第１のディスク装置からリードする要
求を、第２クラスタのディスクコントローラ１０４へ当
該パリティの更新前の値を第２のディスク装置からリー
ドする要求をそれぞれ送信する。各要求はそれぞれのデ
ィスクコマンド処理にて処理される。要求処理の完了報
告を受けたら、ステップ８０５へ遷移する。

【００６５】ステップ８０５では、各クラスタのキャッ
シュメモリ１０６に準備したデータ/パリティ値からパ
リティ生成を行うクラスタ１０２を決定する。ここで決
定されたパリティ生成クラスタを第３のクラスタと呼
ぶ。もちろん、第３のクラスタは第１のクラスタもしく
は第２のクラスタと同じである場合が多い。

【００６６】ステップ８０６では、第３のクラスタのデ
ィスクコントローラ１０４に対して、当該更新データの
パリティ生成要求を送信する。当該要求の完了報告を受
けたら、ステップ８０７で生成したパリティおよび当該
更新データを各々第２および第１のディスク装置へ書き
出す要求を第２および第１クラスタのディスクコントロ
ーラへ送信する。当該要求処理の完了報告を受けたら、
本処理は終了する。

【００６７】図９は非同期ディスク反映処理の一部であ
るパリティ生成クラスタ決定処理の処理フロー図であ
る。本処理では、パリティ生成に関与しているデータス
トライプ数やパリティ生成方式より、クラスタ間ネット
ワーク１０９を介したデータ通信が少なくなるようパリ
ティ生成を行うクラスタを決定する。

【００６８】まずステップ９０１で、当該更新データス
トライプとパリティを共通にするデータストライプのう
ち、同じく更新されたものの数を算出する。複数のデー
タストライプが同時に更新されている場合、これらを同
時にパリティ生成することで、処理コストを削減するこ
とができる。

【００６９】ステップ９０２で、１つ以上の対象更新デ
ータストライプおよびパリティについて、パリティ生成
時に用いるデータ量を各クラスタ毎に算出する。例え
ば、図６の場合、左側の第１のクラスタに当該更新デー
タストライプの更新値と更新前の値が、第２のクラスタ
には当該パリティの更新前の値に加えてパリティ生成後
に更新値をキャッシュメモリ１０６に書き込む処理が発
生する。よって、図６の例ではパリティ生成に際して転
送が必要となるデータ量は共に２ストライプ分で等し
い。だが、複数の更新データストライプを同時にパリテ
ィ生成する場合や、更新データストライプの更新値と他
の全てのデータストライプの更新前値からパリティ生成
する場合などには、クラスタ毎にデータ転送量の大小関
係が生じる。

【００７０】ステップ９０３で、ステップ９０２で求め
た値が最大となるクラスタを特定する。複数のクラスタ
が同じ値で最大になる可能性もある。

【００７１】ステップ９０４では、ステップ９０３で特
定した１つ以上のクラスタにパリティが属するクラスタ
が存在するかを判定する。パリティクラスタが含まれる
場合はパリティクラスタをパリティ生成を実行するクラ
スタ１０２に決定する(ステップ９０５)。パリティクラ
スタが含まれない場合は、ステップ９０３で特定した１
つ以上のクラスタから任意の一つをパリティ生成クラス
タに選定する。

【００７２】図１０はディスクコントローラ１０４上で
動作するディスクコマンド処理の処理フロー図である。
第２の実施形態では、チャネルコマンド処理および非同
期ディスク反映処理より送信されたディスク装置１０５
へのリード/ライト/パリティ生成要求を受信し、処理す
る。フロー図のリード/ライト処理の部分は図５と共通
である。ただし、第１の実施形態ではＲＡＩＤレベル１
を想定していたため、ホストダーティ状態のデータをミ
ラーディスクへ書き込む処理が考えられたが、ＲＡＩＤ
レベル５のＲＡＩＤである第２の実施形態では、ライト
対象となるのは、パリティ生成を終えた物理ダーティ状
態のデータストライプとパリティである。従って、ステ
ップ１００４では、ライトを完了したデータストライプ
またはパリティのセグメント状態を物理ダーティ状態か
らクリーン状態に変更する。

【００７３】また、図１０ではパリティ生成要求に対す
る処理が追加されている。

【００７４】ステップ１００９では、パリティ生成対象
である更新データセグメントおよびパリティについて、
パリティ生成に必要なデータが既にキャッシュ状態に存
在するかを確認する。必要なデータが既に揃っていた
ら、ステップ１０１０でパリティ生成を実行する。パリ
ティ生成には、当該クラスタ１０２の実装するパリティ
生成器１０８を用いる。具体的には、各データおよびパ
リティのセグメントからパリティ生成器の持つバッファ
メモリへデータを転送し、出力データをパリティ更新値
を格納するためのセグメントへ転送する。

【００７５】ステップ１０１０では、パリティ生成が完
了した後、各データおよびパリティセグメントの状態を
変更する。ホストダーティ状態のデータは物理ダーティ
状態に変更し、パリティセグメントも物理ダーティ状態
に変更し、かつセグメント内データが有効である旨制御
情報を変更する。全ての処理が完了したら、パリティ生
成要求の完了を上位へ報告する(ステップ１００５)。

【００７６】なお、本発明は上記の実施形態に限定され
ず、その要旨の範囲内で数々の変形が可能である。 例
えば、第１の実施形態と第２の実施形態で更新データの
ディスク装置反映タイミングを入れ替えてもよい。すな
わち、第１の実施形態におけるＲＡＩＤレベル１のＲＡ
ＩＤへの更新に対して、非同期にディスク装置への反映
を行っても構わない。同様に第２の実施形態におけるＲ
ＡＩＤレベル５のＲＡＩＤへの更新に対して、ホスト更
新と同期してパリティを生成し、ディスク装置への反映
を行っても構わない。

【００７７】また、データ記憶媒体をディスク装置とし
ているが、ハードディスク装置だけでなく、ＤＶＤ−Ｒ
ＡＭやＤＶＤ−ＲＷ、ＣＤ−ＲＷ、ＭＯなどの書き込み
可能なディスク媒体や、バッテリ接続などの手段により
不揮発化されたメモリや、磁気テープであってもよい。

【００７８】また、本発明技術の導入を容易にするため
に、クラスタ内のディスク装置だけからなるＲＡＩＤ構
成と、本発明のクラスタ間をまたがるＲＡＩＤ構成との
間でホストコンピュータ１００からのリード/ライト要
求を受けながら構成を変更することが有効である。この
構成変更には、従来技術である二つの論理ディスク間で
データを入れ替える方法や、ホスト未使用の論理ディス
クに対して特定論理ディスクを移動する方法を適用すれ
ばよい。論理ディスクと各クラスタの各ディスク装置と
の対応が第３図のような制御情報で示されていれば、既
存の論理ディスクの移動方法をほぼそのまま適用するこ
とが可能である。

【００７９】

【発明の効果】本発明の計算機システムによれば、クラ
スタ構成ストレージを用いたクラスタ間負荷分散を実現
できる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態が対象とする計算機シ
ステムのブロック図である。

【図２】本発明の第１の実施形態におけるクラスタまた
がりＲＡＩＤへのデータ更新処理の流れを示す概要図で
ある。

【図３】本発明の第１の実施形態における論理ディスク
とディスク装置との対応を示す制御情報例である。

【図４】本発明の第１の実施形態におけるチャネルコマ
ンド処理のフロー図である。

【図５】本発明の第１の実施形態におけるディスクコマ
ンド処理のフロー図である。

【図６】本発明の第２の実施形態における論理ディスク
とディスク装置との対応を示す制御情報例である。

【図７】本発明の第２の実施形態におけるチャネルコマ
ンド処理のフロー図である。

【図８】本発明の第２の実施形態における非同期ディス
ク反映処理のフロー図である。

【図９】本発明の第２の実施形態におけるパイティ生成
クラスタ決定処理のフロー図である。

【図１０】本発明の第２の実施形態におけるディスクコ
マンド処理のフロー図である。

【符号の説明】

１００…ホストコンピュータ、１０１…チャネル、１０
２…ストレージクラスタ、１０３…チャネルコントロー
ラ、１０４…ディスクコントローラ、１０５…ディスク
装置、１０６…キャッシュメモリ、１０７…共用メモ
リ、１０８…パリティ生成器、１０９…クラスタ間ネッ
トワーク。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｆ 12/08 ５５７ Ｇ０６Ｆ 12/08 ５５７ (72)発明者 佐藤 孝夫 神奈川県小田原市中里322番地２号 株式 会社日立製作所ＲＡＩＤシステム事業部内 Ｆターム(参考） 5B005 JJ11 KK13 MM11 5B065 BA01 CA12 CA30 CC03 CE12 CH01 CS01 EA03 EA12

Claims (8)

【特許請求の範囲】
1. 【請求項１】 １台以上のホストコンピュータと複数の
   クラスタからなるストレージシステムを接続してなる計
   算機システムであって、 ストレージクラスタが１台以上の記憶装置と１つ以上の
   コントローラとキャッシュメモリと制御情報を格納する
   共用メモリを有し、クラスタ間を接続するネットワーク
   により各コントローラが他のクラスタ内のキャッシュメ
   モリや共用メモリの内容を利用可能である計算機システ
   ムにおいて、 複数のクラスタの１台以上の記憶装置からなる記憶装置
   アレイを構成し、 当該記憶装置アレイに対するデータ更新時には、第１の
   クラスタのキャッシュメモリに保持した更新データを用
   いて第２のクラスタの記憶装置に格納された冗長データ
   の更新を行うことを特徴とするストレージシステム。
2. 【請求項２】 請求項１記載の計算機システムにおい
   て、 第１のクラスタが有する１台以上の第１の記憶装置のデ
   ータの複製を、第２のクラスタが有する１台以上の第２
   の記憶装置へ格納し、 当該記憶装置アレイへのデータ更新時には、第１のクラ
   スタのキャッシュメモリに保持した更新データを第１の
   記憶装置と第２の記憶装置へ書き込むことを特徴とする
   ストレージシステム。
3. 【請求項３】 請求項１記載の計算機システムにおい
   て、 複数のクラスタが有する１台以上の記憶装置を集めた記
   憶装置（ｎ＋１)台に、一定単位のデータ毎にｎ個のデ
   ータと、対応するパリティを格納し、 当該記憶装置アレイへのデータ更新時には、第１のクラ
   スタのキャッシュメモリに保持した更新データの更新値
   と、第１の記憶装置から第１のクラスタのキャッシュメ
   モリに読み上げた当該データの更新前の値と、第２の記
   憶装置から第２のクラスタのキャッシュメモリに読み上
   げたパリティの更新前の値を用いてパリティの更新値を
   生成し、 当該データの更新値とパリティの更新値をそれぞれ第１
   の記憶装置と第２の記憶装置に書き込むことを特徴とす
   るストレージシステム。
4. 【請求項４】 請求項３記載のストレージシステムにお
   いて、 パリティ生成時に必要なデータを保持している量に従っ
   て、パリティ生成を行うクラスタを決定することを特徴
   とするストレージシステム。
5. 【請求項５】 請求項１記載の計算機システムにおい
   て、 １クラスタ内の１台以上の記憶装置からなる第１の記憶
   装置アレイと、 複数のクラスタの１台以上の記憶装置からなる第２の記
   憶装置アレイが存在し、 第１と第２の記憶装置アレイへのホストコンピュータか
   らのアクセスを受けたままの状態で、両アレイ間でデー
   タを入れかえることを特徴とするストレージシステム。
6. 【請求項６】 請求項１記載の計算機システムにおい
   て、 １クラスタ内の１台以上の記憶装置からなる第１の記憶
   装置アレイに対して、 複数のクラスタの１台以上の記憶装置からなるホスト未
   使用の第２の記憶装置アレイを作成し、 第１の記憶装置アレイへのホストコンピュータからのア
   クセスを受けたままの状態で、第１の記憶装置アレイの
   データを第２の記憶装置アレイへ移動することを特徴と
   するストレージシステム。
7. 【請求項７】 請求項１記載の計算機システムにおい
   て、 複数のクラスタの１台以上の記憶装置からなるホスト未
   使用の第１の記憶装置アレイを作成し、 １クラスタ内の１台以上の記憶装置からなる第２の記憶
   装置アレイに対して、 第１の記憶装置アレイへのホストコンピュータからのア
   クセスを受けたままの状態で、第１の記憶装置アレイの
   データを第２の記憶装置アレイへ移動することを特徴と
   するストレージシステム。
8. 【請求項８】 １台以上のホストコンピュータと複数の
   ストレージが接続してなる計算機システムであって、 ストレージが１台以上のディスク装置と１つ以上のコン
   トローラとキャッシュメモリと制御情報を格納する共用
   メモリを有し、ストレージ間を接続するネットワークに
   より各コントローラが他のストレージ内のキャッシュメ
   モリや共用メモリの内容を利用可能である計算機システ
   ムにおいて、 複数のストレージの１台以上のディスク装置からなるＲ
   ＡＩＤを構成することを特徴とするストレージシステ
   ム。