JP2005165702A - クラスタストレージのデバイス連結方法 - Google Patents

Abstract

【課題】
クラスタ構成ストレージ装置において、複数のストレージノードに分散した記憶領域を連結して、１つの記憶領域としてホスト計算機にアクセスさせる。
【解決手段】
各々ディスクとディスクへの入出力を制御する制御プロセッサとを有する第一のストレージノード及び第二のストレージノードと、第一のストレージノード及び第二のストレージノードを計算機と接続させるホスト接続ノードとを有するクラスタ構成ストレージシステムであって、第一のストレージノードは第一のストレージノード内に存在する第一の記憶領域と第二のストレージノード内に存在する第二の記憶領域とを有する記憶領域を論理デバイスとして管理し、ホスト接続ノードは計算機から論理デバイスに対応付けられた識別情報を有するアクセス要求を受信した場合に、アクセス要求を第一のストレージノードに送信する。
【選択図】図３

Description

本発明は、計算機システムにおいて計算機によって使用されるデータを格納するストレージ装置、特にクラスタ構成を採用したストレージ装置に関する。

近年、計算機で取り扱われるデータ量は飛躍的に増大し、これに応じてデータを格納するストレージの大容量化が進んでいる。大容量ストレージの管理コストを削減するアプローチの一つとして、大容量データを多数の小型ストレージに分散格納するのではなく、高性能、高信頼、高可用な大型ストレージ一台に大容量データを集約して格納するシステム設計が行われている。管理対象となるストレージの台数を抑えることで、障害保守などストレージの管理コストを低減することが可能となる。

だが、一台のストレージ装置が大容量データを格納し、かつ多数のホストコンピュータと接続する場合、ストレージ装置の内部に実装する制御プロセッサやディスク装置数が増加する。そしてそれら多数の制御プロセッサやディスク装置間で高速連携を行う必要があるため、内部バスや制御メモリの高速化、制御プロセッサ間での競合回避などが、ハードウェアおよびソフトウェア双方において、技術面およびコスト面での大きな課題となる。

この課題を解決し、大規模かつ低コストな大型ストレージを実現する方法として、特許文献１に開示されている技術のように、ストレージへのクラスタ技術の適用が考えられる。

クラスタ構成ストレージシステムは、比較的小構成のストレージノード複数台をスイッチ等の相互接続機構で相互に接続した構成を有し、係る構成によって大容量のストレージ装置が実現される。その構成方法には様々な形態が考えられるが、クラスタ構成ストレージシステムが受信した入出力要求は、入出力要求の対象デバイスを搭載するストレージノードへ振り分けられ、各ストレージノードで入出力要求が処理されるという点は同じである。一般に、各ストレージノードには通常のストレージ装置と同様、ホストインタフェース、ディスク装置、制御プロセッサ、メモリ、制御メモリ、ディスクキャッシュなどが搭載され、これらの部位がストレージノード内で内部ネットワークにより結合される。各ストレージノードでは、これら内部部位を用いてディスク装置への入出力要求処理を行う。

ここで、各ストレージノードのディスクキャッシュおよび制御メモリは、当該ノード内に存在する制御プロセッサ間でのみ共有されるため、クラスタ構成ストレージシステムでは、内部バスやメモリの性能要件を緩和することが可能となる。更に、ストレージノードを計算機システムが必要とする記憶容量に合わせて複数結合して、クラスタ構成ストレージシステムを構成することで、小容量から大容量まで様々な容量を持つストレージシステムをスケーラブルに実現できる。尚クラスタ構成ストレージシステムでは、データ複製や内部でのデータ再配置など、ディスク装置間でのデータ連携のために、各ストレージノード間で相互接続機構を介して、制御情報やディスク装置に格納されているデータがやりとりされる。

米国特許６、２５６、７４０号明細書

クラスタ構成ストレージでは、ディスク装置やディスクキャッシュなどの資源はストレージノード内の制御プロセッサでのみ制御され、ノード間で共用されることはない。そのため、各ストレージノードに分散配置されるディスク装置の記憶容量の管理、すなわち、各ストレージノードへのディスク装置の実装容量の設計、ホストコンピュータへのボリューム（ボリュームとは、クラスタ構成ストレージ内の記憶領域をホストコンピュータに割り当てる際の割り当て単位で、ホストコンピュータからは１ボリュームが１つのディスク装置と認識される。）割り当て時におけるストレージノード間での割り当て記憶容量の調整、ホストコンピュータに割り当てられておらず未使用な空き記憶領域の容量管理などが課題となる。

特に空き記憶領域の容量管理においては、ホストコンピュータを管理するユーザからボリューム割り当て要求に対して要求された容量のボリュームを割り当てる際には、空き領域を極力少数のストレージノードへ集めて各ストレージノードの空き領域サイズを大きくしておき、なるべく少数のストレージノード内の空き領域をホストコンピュータに割り当てることが好ましい（即ち、多数のストレージノード内の空き記憶領域を合わせて１つボリュームを構成してホストコンピュータに割り当てるより、なるべく少数のストレージノード内の空き記憶領域から１つのボリュームを構成してホストコンピュータに割り当てる方が好ましい。）。しかし、ストレージノード間での負荷の均衡化の観点では、割り当て済みの記憶領域容量にストレージノード間で偏りが発生しないようにすることが好ましく、すなわち、各ストレージノードに空き領域が偏り無く分散することが好ましい。また、動的にボリュームの割り当て、解除が行われる環境では空き領域が各ストレージノードに分散する傾向にあるが、空き領域を少数のストレージノードに集めるためには、それら少数ストレージノード内の使用中の記憶領域に格納されているデータを他のストレージノードの空き領域に移動する必要が生じ、データ移行処理がホストコンピュータからのI/O処理に影響を及ぼす可能性も高い。よって、クラスタ構成ストレージでは、複数のストレージノードに空き領域が分散する状況が容易に起こりうると考えられる。 これに対して、ホストコンピュータからのボリューム割り当て要求を受け付けた時点で、要求された容量の空き領域を持つストレージノードが存在しない場合には、割り当て要求を保留もしくは拒否したり、ストレージ保守員等により特定ストレージノードへディスク装置を増設してボリュームを割り当てるサービス形態も考えられる。しかし、この形態ではホストコンピュータからのボリューム割り当て要求に応えられなかったり、ボリュームを実際に割り当てるまでの期間が長くなり、ボリュームを即座に必要とするホストコンピュータのユーザの要求を満たせないことになる。

したがって、クラスタ構成ストレージにおいては、複数ストレージノードに分散した空き領域を結合して、一つのボリュームとしてユーザへ提供する機能（これを以下、ボリューム連結機能と呼ぶ。）が非常に重要となる。そこで、クラスタ構成ストレージ装置において、複数のストレージノードに分散した記憶領域を連結して、１つの記憶領域としてホスト計算機にアクセスさせる技術を開示する。また、複数のストレージ装置に存在する複数の記憶領域を、あるストレージ装置が連結して１つの記憶領域としてホスト計算機にアクセスさせる技術も開示する。

各々ディスクとディスクへの入出力を制御する制御プロセッサとを有する第一のストレージノード及び第二のストレージノードと、第一のストレージノード及び第二のストレージノードを計算機と接続させるホスト接続ノードとを有するクラスタ構成ストレージシステムであって、第一のストレージノードは第一のストレージノード内に存在する第一の記憶領域と第二のストレージノード内に存在する第二の記憶領域とを有する記憶領域を論理デバイスとして管理し、ホスト接続ノードは計算機から論理デバイスに対応付けられた識別情報を有するアクセス要求を受信した場合に、アクセス要求を第一のストレージノードに送信する。 若しくは、各々ディスクとディスクへの入出力を制御する制御プロセッサとを有する第一のストレージシステム及び第二のストレージシステムと、第一のストレージシステム及び第二のストレージシステムを計算機と接続するスイッチとを有する計算機システムであって、第一のストレージシステムは第一のストレージシステム内の第一の記憶領域と第二のストレージシステム内の第二の記憶領域とから構成される論理デバイスを管理しており、スイッチは論理デバイスと対応付けられた識別情報を有するアクセス要求を受信した場合に、アクセス要求を第一のストレージシステムに送信する。

本発明のクラスタ構成ストレージシステムによれば、ストレージ制御部で複数のストレージ制御部に存在する空き領域を結合して1つのデバイスとして管理することができる。また、本発明によれば、複数のストレージシステムに存在する空き記憶領域をあるストレージシステムが結合して１つの論理デバイスとして管理することができる。

本発明の実施形態の例として、第１から第３の実施形態を説明する。

第１の実施形態は、複数のストレージノード（以下、ストレージ制御部ともいう。）と、ホスト計算機に接続されるホスト接続ノード（以下、プロトコル変換部ともいう）と、複数のストレージ制御部及びプロトコル変換部を接続する相互接続網を有するクラスタ構成を有するストレージ装置において、複数のストレージ制御部に分散して存在する空き領域を代表のストレージ制御部（マスタストレージ制御部）が連結して１つの論理デバイスとして管理する例を示す。第１の実施形態においては、プロトコル変換部は論理デバイスへのアクセス要求をホスト計算機から受信して、これをマスタストレージ制御部に送信し、マスタストレージ制御部は受信したアクセス要求がいずれのストレージ制御部に対するアクセス要求か判断して、選択されたストレージ制御部にアクセス要求を送信する。

第２の実施形態は、第１の実施形態と同様のクラスタ構成を有するストレージ装置において、マスタストレージ制御部が空き領域を連結して作成した論理デバイスの連結境界をプロトコル変換部でも認識し、ホスト計算機から論理デバイスへのアクセス要求を受信したプロトコル変換部が、アクセス対象のアドレスに応じてアクセス対象のストレージ制御部を選択し、選択されたストレージ制御部にアクセス要求を振り分ける例を示す。

第３の実施形態は、他ストレージ装置のデバイスを自装置のデバイスとして仮想化するデバイス仮想化機能を搭載するストレージ装置を含む、複数ストレージ装置を、同じくデバイス仮想化機能を有するインテリジェントスイッチで接続した計算機システムにおいて、複数のストレージ装置に分散した空き領域を代表となるストレージ装置が連結してインテリジェントスイッチに対して提供する例を示す。

まず第１図から第３図、第５図から第１５図を参照して第１の実施形態を説明する。

第１図は本発明の第１の実施形態が適用される計算機システムのハードウェア構成の一例を示す図である。

計算機システムは、１台以上のホスト計算機（以下、ホストとも呼ぶ。）１００と、管理サーバ１１０と、ストレージ装置１３０と、管理端末１９０を有する。ホスト１００は一以上のポート１０７を、ストレージ装置１３０は一以上のポート１４１を有し、ホスト１００及びストレージ装置１３０は各々ポートを介して接続される。また、ホスト１００とストレージ装置１３０は、ＩＰネットワーク１７５を介して管理サーバ１１０に接続され、管理サーバ１１０で動作する図示しないストレージ管理ソフトウェアによって統合管理される。なお、本実施形態では、ストレージ１３０は管理端末１９０を介して管理サーバ１１０に接続する形態をとるものとするが、ストレージ装置１３０が直接ＩＰネットワークに接続される構成であっても良い。

ホスト１００は、ＣＰＵ１０１やメモリ１０２、記憶装置１０３などを有する計算機であり、ディスク装置や光磁気ディスク装置などの記憶装置１０３に格納されたオペレーティングシステムやアプリケーションプログラムなどのソフトウェアをメモリ１０２に読み上げ、ＣＰＵ１０１がこれらのソフトウェアをメモリ１０２から読み出して実行することで、様々な処理が実行され、所定の機能が達成される。ホスト１００はまた、キーボードやマウスなどの入力装置１０４やディスプレイ１０５等の出力装置を具備し、入出力装置１０４がホスト管理者などからの入力を受け付け、出力装置がＣＰＵ１０１から指示された情報を出力する。又、ホスト１００はストレージ１３０と接続するための一以上のポート１０７と、ＩＰネットワーク１７５と接続するための一以上のインタフェース制御部１０６を有する。

管理サーバ１１０は、ＣＰＵ１１１やメモリ１１２、記憶装置１１３、入力装置114、出力装置115、IPネットワーク175と接続するためのインタフェース制御部116を有する計算機であり、ディスク装置や光磁気ディスク装置等の記憶装置１１３に格納されたストレージ管理ソフトウェアなどをメモリ１１２に読み上げ、ＣＰＵ１１１がそれを読んで実行することで、計算機システム全体の運用・保守管理のための処理が実行され、所定の機能が達成される。ＣＰＵ１１１によってストレージ管理ソフトウエアが実行されると、管理サーバ１１０はインタフェース制御部１１６からＩＰネットワーク１７５を介して、計算機システム内の各機器から構成情報、リソース利用率、性能監視情報などを収集する。そして、管理サーバ１１０は収集したそれらの情報をディスプレイ１１５等の出力装置に出力してストレージ管理者に提示する。また、管理サーバは、キーボードやマウス等の入力装置１１４を介してストレージ管理者からの指示を受信し、受信した運用・保守指示をインタフェース制御部１１６を介して各機器に送信する。

ストレージ装置１３０はクラスタ構成を有し、具体的には、複数のプロトコル変換部１４０と複数のストレージ制御部１５０と構成管理部１６０を、相互接続網１７０で接続した構成を有する。

プロトコル変換部１４０には、ホストと接続される複数のポート１４１と、１つ以上の制御プロセッサ１４２と、メモリ１４３と、相互接続網１７０に接続される転送制御部１４４とが搭載されており、制御プロセッサ１４２がポート１４１から受信した入出力要求についてアクセス対象デバイスを特定し、転送制御部１４４が特定されたアクセス対象デバイスに基づいて、相互接続網１７０を介して適当なストレージ制御部１５０へ入出力要求やデータを転送する処理を行う。その際、制御プロセッサ１４２はホストから受信した入出力要求に含まれるポートＩＤおよびＬＵＮ（Ｌｏｇｉｃａｌ Ｕｎｉｔ Ｎｕｍｂｅｒ）からアクセス対象のデバイスを特定する。

第３図に、第１の実施形態のクラスタ構成ストレージ（即ちストレージ装置１３０）におけるデバイス階層の一例を示す。第１の実施形態のストレージ装置１３０では、複数のストレージ制御部１５０が提供するデバイスをまとめて、１つの論理デバイスとしてホスト１００へ提供するため、次のようなデバイス階層を有する。

まず、ストレージ制御部１５０内でディスク装置１５７複数台によるディスクアレイが構成され、このディスクアレイはストレージ制御部１５０によって物理デバイス３０４として管理される。さらに、ストレージ制御部１５０では、当該ストレージ制御部１５０内に搭載された物理デバイスに対して下位論理デバイス302が割り当てられる（即ち、ストレージ制御部１５０は物理デバイス304と下位論理デバイス302とを対応づける）。下位論理デバイスは各ストレージ制御部１５０内において管理される論理デバイスであり、その番号は各ストレージ制御部１５０毎に独立管理される。下位論理デバイスは、構成管理部１６０によって上位論理デバイス301と対応付けられ、さらにプロトコル変換部１４０によって各ポート１４１に割り当てられたＬＵＮ（Ｌｏｇｉｃａｌ Ｕｎｉｔ Ｎｕｍｂｅｒ）に対応付けられ、ストレージ装置１３０のデバイスとしてホスト１００に提供される。即ち、ホストを利用するユーザが認識するのはストレージ１３０の上位論理デバイスであり、ホスト１００は上位論理デバイスに対応するポート１４１のＬＵＮを用いて、ストレージ装置１３０に格納されているデータにアクセスする。

なお、本実施形態では、ストレージ制御部１５０は他のストレージ制御部１５０内で管理されている下位論理デバイスを仮想化して、あたかも自ストレージ制御部１５０内で管理されている物理デバイスの様に用いるデバイス仮想化機能を有する。この仮想化機能を用いて管理される他ストレージ制御部１５０の下位論理デバイスを仮想デバイス303と呼び、下位論理デバイスは、１つ以上の物理デバイス又は仮想デバイス（すなわち他ストレージ制御部１５０の下位論理デバイス）を連結して構成される。つまり、ストレージ制御部150は１以上の物理デバイス又は仮想デバイスを１つの下位論理デバイスと対応付けて管理する。なお、仮想デバイスも各ストレージ制御部１５０内で独立管理される。

以上のようなデバイス階層に従い、プロトコル変換部１４０では、入出力要求に含まれるポートＩＤとＬＵＮから、アクセス対象となる上位論理デバイス番号を算出し、さらに当該上位論理デバイスが対応するストレージ制御部１５０と下位論理デバイス番号を特定する。そしてプロトコル変換部１４０は、特定されたストレージ制御部１５０へ、特定された下位論理デバイス番号を算出するのに必要な情報を付加した入出力要求を送信する。

なお本実施形態では、ポート１４１としてＳＣＳＩ（Small Compuer System Interface）を上位プロトコルとしたファイバチャネルインタフェースに対応したポートを想定しているが、ＳＣＳＩを上位プロトコルとしたＩＰネットワークインタフェースなど、他のストレージ接続用ネットワークインタフェースに対応したポートであっても構わない。

図１に戻って、ストレージ制御部１５０は、1つ以上のポート１５６、各々ポートに接続される１台以上のディスク装置１５７、１つ以上の制御プロセッサ１５２と各々のプロセッサに対応する１つ以上のメモリ１５３、1つ以上のディスクキャッシュ１５４、1つ以上の制御メモリ１５５、及び相互接続網１７０に接続される転送制御部１５１を有する。

制御プロセッサ１５２は、相互接続網１７０を介して転送制御部１５１により受信した、同じストレージ制御部１５０内のディスク装置１５７への入出力要求を処理する。また制御プロセッサ１５２は、ディスク装置１５７と物理デバイス３０４との間の対応関係、物理デバイス３０４や仮想デバイス３０３と下位論理デバイス３０２との対応関係、仮想デバイス３０３と他のストレージ制御部に属する下位論理デバイス３０２との対応関係の管理や、下位論理デバイスに対するアクセス要求を物理デバイス若しくはディスク装置１５７へのアクセス要求に変換する処理などを行う。更に制御プロセッサ１５２はデータ複製やデータ再配置など、データ連携機能を実現する各種処理を実行する。

ディスクキャッシュ１５４は、ホスト１００からのアクセス要求に対する処理速度を高めるため、ディスク装置１５７から頻繁に読み出されるデータを予め格納しておいたり、ホスト１００から受信したライトデータを一時的に格納したりする。尚、ディスクキャッシュ１５４を用いたライトアフタ処理を行う場合、即ちホスト１００から受信したライトデータがディスクキャッシュ１５４に格納された後、ディスク装置１５７に実際に書き込まれる前にホスト１００に対しライト要求に対する応答をストレージ装置が返す場合には、ディスクキャッシュに格納されているライトデータがディスク装置１５７に書き込まれる前に消失することのないよう担保する必要がある。そこで、ディスクキャッシュ１５４をバッテリバックアップなどにより不揮発メモリとしたり、媒体障害への耐性向上のためディスクキャッシュを二重化するなど、ディスクキャッシュ１５４の可用性を向上させておくことが望ましい。

制御メモリ１５５は、ディスク装置１５７、一又は複数のディスク装置１５７を組み合わせて構成される物理デバイス３０４、若しくは他のストレージ制御部の下位論理デバイスであって仮想的に物理デバイスと同様に管理される仮想デバイス３０３の管理や、物理デバイス又は仮想デバイスと下位論理デバイスの対応関係の管理を行うための制御情報を格納する。なお、制御メモリ１５５に格納されている制御情報が消失すると、ディスク装置１５７に格納されているデータへアクセスできなくなるため、制御メモリはバッテリバックアップなどにより不揮発メモリとしたり、媒体障害への耐性向上のため二重化するなど、高可用化のための構成を有することが望ましい。

尚、本実施形態におけるストレージ装置１３０では、複数のディスク装置１５７をまとめて１つまたは複数の物理デバイスと定義し（即ち複数のディスク装置１５７をまとめて１つ又は複数の物理デバイスと対応付け）、１つ以上の物理デバイス若しくは仮想デバイスに１つの下位論理デバイスが割り当てられ、更に１つの下位論理デバイスに１つの上位論理デバイスが割り当てられて、上位論理デバイスがホスト１００からアクセスされる。しかしもちろん、個々のディスク装置１５７を１つの物理デバイスおよび１つの下位論理デバイス及び上位論理デバイスとしてホスト１００に提供し、ホストからアクセスさせてもよい。

構成管理部１６０は、一又は複数の制御プロセッサ１６２、各々の制御プロセッサに対応する一又は複数のメモリ１６３、一又は複数の制御メモリ１６４、記憶装置１６５、相互接続網１７０と接続される転送制御部１６１、及びインタフェース制御部１６６を有する。固定ディスク装置などの記憶装置１６５に格納された制御プログラムをメモリ１６３に読み上げ、これを制御プロセッサ１６２が実行することで、ストレージ装置１３０の構成管理や障害管理のための所定の処理が実行される。制御プロセッサ１６２は、インタフェース制御部１６６を介して接続される管理端末１９０に、ストレージ管理者へ提示する構成情報を送信したり、管理者から管理端末１９０に入力された保守・運用指示を受信して、受領した指示に従いストレージ装置１３０の構成変更処理などを行う。

ストレージ装置１３０の構成情報は、構成管理部160内の制御メモリ１６４に格納される。制御メモリ１６４上の構成情報はプロトコル変換部１４０の制御プロセッサ１４２やストレージ制御部１５０の制御プロセッサ１５２から参照したり更新したりすることができるので、ストレージ装置１３０内の各プロトコル変換部１４０及び各ストレージ制御部１５０間で、構成情報の共有を実現することができる。なお、構成管理部１６０が障害などにより動作不能に陥った場合、ストレージ１３０全体がアクセス不能となるため、構成管理部１６０内の各構成要素を二重化しておくか、もしくは構成管理部１６０自体をストレージ装置１３０内に複数搭載して構成管理部１６０自体の二重化をしておくことが望ましい。また、管理端末１９０から１つ以上のストレージ制御部１５０へのＩ／Ｆを別途設け、構成管理部が行う制御をストレージ制御部１５０と管理端末１９０で分担することで、構成管理部１６０を制御メモリ１６４のみの構成にすることも可能である。さらに、制御メモリ１６４内の情報を１つ以上のストレージ制御部１５０の制御メモリ１５５で保持することで、構成管理部１６０を省略することも可能である。

相互接続網１７０は、プロトコル変換部１４０、ストレージ制御部１５０、構成管理部１６０を接続し、これらの各部位間でのデータ、制御情報、及び構成情報の送受信を実行する。この相互接続網１７０により、構成管理部１６０が、ストレージ装置１３０内に存在するプロトコル変換部１４０及びストレージ制御部１５０にストレージ装置１３０の構成情報を配布したり、プロトコル変換部１４０やストレージ制御部１５０から構成情報を取得してストレージ装置１３０の構成を管理したりすることができる。また、相互接続網１７０がプロトコル変換部１４０とストレージ制御部１５０との間でアクセス要求を転送するので、ホスト１００はプロトコル変換部１４０の任意のポート１４１からストレージ制御部１５０に属するディスク装置にアクセスすることが可能となる。なお、可用性向上の観点から相互接続網も多重化されていることが望ましい。

管理端末１９０は、ＣＰＵ１９２、メモリ１９３、記憶装置１９４、構成管理部１６０と接続されるインタフェース制御部１９１、ＩＰネットワーク１７５と接続されるインタフェース制御部１９７、ストレージ管理者からの入力を受け付ける入力装置１９５及びストレージ管理者にストレージ１３０の構成情報や管理情報を出力するディスプレイ１９６等の出力装置を有する。ＣＰＵ１９２は記憶装置１９４に格納されているストレージ管理プログラムをメモリ１９３に読み出して、これを実行することにより、構成情報の参照、構成変更の指示、特定機能の動作指示などを行い、ストレージ装置１３０の保守運用に関して、ストレージ管理者もしくは管理サーバ１１０とストレージ装置１３０間のインタフェースとなる。なお、管理端末１９０を省略して、ストレージ１３０装置を直接管理サーバ１１０へ接続し、ストレージ装置１３０を管理サーバ１１０で動作する管理ソフトウェアを用いて管理してもよい。

次に、本発明の実施形態におけるストレージ装置１３０のソフトウェア構成について説明する。図２はストレージ装置１３０および管理端末１９０の制御メモリ又はメモリに格納される、制御情報とストレージ制御処理のためのプログラムの一例を示したソフトウェア構成図である。

なお、以降の説明では、表現の簡略化のため、プロトコル変換部１４０をＰＡ（Ｐｒｏｔｏｃｏｌ Ａｄａｐｔｏｒ）、ストレージ制御部１５０をＳＡ（Ｓｔｏｒａｇｅ Ａｄａｐｔｏｒ）、構成管理部１６０をＭＡ（Ｍａｎａｇｅｍｅｎｔ Ａｄａｐｔｏｒ）、管理端末１９０をＳＴ（Ｓｅｒｖｉｃｅ Ｔｅｒｍｉｎａｌ）と表記する。

ストレージ装置１３０の構成管理情報として、ＳＡ１５０の制御メモリ１５５に下位論理デバイス管理情報２０１と仮想デバイス管理情報２０２と物理デバイス管理情報２０３とキャッシュ管理情報２０４が、ＭＡ１６０の制御メモリ１６４に上位論理デバイス管理情報２０５とＬＵパス管理情報２０６が格納されている。

図５に上位論理デバイス管理情報２０５の一例を示す。上位論理デバイス管理情報２０５は、各上位論理デバイスにつき、上位論理デバイス番号５１から対応ＳＡ番号、下位論理デバイス番号リスト５７までの情報組を保持する。

上位論理デバイス番号５１には、上位論理デバイスを識別するために各上位論理デバイスに対してＭＡ１６０が割り当てた番号が格納されている。サイズ５２には、上位論理デバイス番号５１により特定される上位論理デバイスの容量が格納されている。

デバイス状態５３には、当該上位論理デバイスの状態を示す情報が設定される。状態としては、「オンライン」、「オフライン」、「未実装」、「障害オフライン」が存在する。「オンライン」は、当該上位論理デバイスが正常に稼動し、ホスト１００からアクセスできる状態であることを示す。「オフライン」は、当該上位論理デバイスは定義され、正常に稼動しているが、ＬＵパスが未定義であるなどの理由で、ホスト１００からはアクセスできない状態にあることを示す。「未実装」は、当該上位論理デバイスが定義されておらずホスト１００からアクセスできない状態にあることを示す。「障害オフライン」は、当該上位論理デバイスに障害が発生してホスト１００からアクセスできないことを示す。デバイス状態５３の初期値は「未実装」である。

上位論理デバイス管理情報２０５のエントリ５４のポート番号には、当該上位論理デバイスが複数のポート１４１のうちどのポートに接続されているかを表す情報、即ち当該上位論理デバイスにアクセスするために用いられるポートの識別情報が設定される。ここでポートの識別情報とは、各ポート１４１に割り振られているストレージ装置１３０内で一意な番号であり、エントリ５４には、当該上位論理デバイスがＬＵＮ定義されているポート１４１の番号が記録される。また、同エントリ５４に格納されるターゲットＩＤとＬＵＮは、当該上位論理デバイスを識別するための識別子である。本実施形態においては、上位論理デバイスを識別するための識別子として、ＳＣＳＩ上でホスト１００からデバイスをアクセスする場合に用いられるＳＣＳＩ−ＩＤとＬＵＮが用いられる。

接続ホスト名５５は、当該上位論理デバイスへのアクセスが許可されているホスト１００を識別するホスト名である。ホスト名としては、ホスト１００のポート１０７に付与されたＷＷＮ(World Wide Name)など、ホスト１００もしくはポート１０７を一意に識別可能な値であれば何を用いてもよい。同ストレージ装置１３０には、このほかに、ＷＷＮなどの各ポート１４１の属性に関する管理情報を保持する。

対応下位論理デバイス数５６には、当該上位論理デバイスに対応づけられている下位論理デバイス数が保持されるが、第１の実施形態では上位論理デバイスと下位論理デバイスは１対１対応であるから、同エントリ５６には常に１'が設定される。

対応ＳＡ番号、下位論理デバイス番号リスト５７には、当該上位論理デバイスに対応付けられている下位論理デバイスの番号と、当該下位論理デバイスが属するＳＡ１５０の番号と、当該下位論理デバイスに対応する当該上位論理デバイス内オフセットの情報組が、上位論理デバイスに対応付けられている下位論理デバイスの数分リストとして格納される。第１の実施形態では１つの上位論理デバイスには１つの下位論理デバイスが割り当てられているので、対応SA番号、下位論理デバイス番号リスト５７には、１つの下位論理デバイスが登録され、オフセットは０'となる。また、上位論理デバイスが未定義の場合、対応ＳＡ番号、下位論理デバイス番号５７エントリには無効値が設定される。尚、本エントリの下位論理デバイス番号が、当該下位論理デバイスを管理するＳＡ１５０の下位論理デバイス管理情報２０１におけるエントリ番号となる。

図６にＬＵパス管理情報２０６の一例を示す。ＬＵパス管理情報２０６は、ストレージ装置１３０内のプロトコル変換部１４０が有する各ポート１４１について、各ポートに定義されている有効なＬＵＮ分の情報を保持する。ターゲットＩＤ／ＬＵＮ６１エントリには、ポート１４１に定義された(割り当てられた)ＬＵＮが格納される。対応上位論理デバイス番号６２には、当該ＬＵＮが割り当てられている上位論理デバイスの番号が格納される。接続ホスト名６３は、当該ポート１４１に定義されている当該ＬＵＮに対してアクセスを許可されているホスト１００を示す情報が格納され、ホスト１００を示す情報としては例えば上述のホスト１００のポート１０７に付与されているＷＷＮが用いられる。

尚、一つの上位論理デバイスに対して複数のポート１４１のＬＵＮが定義され（割り当てられ）ており、複数のポート１４１から当該上位論理デバイスにアクセスできる場合がある。この場合、当該複数のポート１４１のＬＵＮ各々に関するＬＵパス管理情報２０６の接続ホスト名６３の和集合が、当該上位論理デバイスに関する上位論理デバイス管理情報２０５の接続ホスト名５５に保持される。

図７に下位論理デバイス管理情報２０１の一例を示す。各ＳＡ１５０は、自ＳＡに属する下位論理デバイス毎に、下位論理デバイス番号７１から対応下位デバイスリスト７６までの情報組を保持する。下位論理デバイス番号７１には、下位論理デバイスを識別するための識別番号が登録される。サイズ７２には、当該下位論理デバイス番号７１により特定される下位論理デバイスの容量が格納されている。デバイス状態７３には、当該下位論理デバイスの状態を示す情報が設定されるが、その値は上位論理デバイス管理情報２０５のデバイス状態５３と同じであるため、説明は省略する。ただし、下位論理デバイスでは「オンライン状態」は上位論理デバイスもしくは他ＳＡ１５０の仮想デバイスに関連づけられていることを示す。

上位デバイス対応情報７４には、当該下位論理デバイスが対応する上位論理デバイス番号、又は別のＳＡ１５０のＳＡ番号と仮想デバイス番号が設定される。

対応下位デバイス数７５には、当該下位論理デバイスを構成する物理デバイス、又は仮想デバイスの数が、対応下位デバイスリスト７６には、それらデバイスの識別情報のリストがそれぞれ格納される。なお、当該下位論理デバイスに対して物理デバイス若しくは仮想デバイスが割り当てられていない場合、エントリ７５には０'が設定される。尚、エントリ７６に登録されるデバイス番号は、当該下位論理デバイスを管理しているＳＡ１５０が保持する物理デバイス管理情報２０３、もしくは仮想デバイス管理情報２０２のエントリ番号となる。

図８にＳＡ１５０が他ＳＡ１５０の下位論理デバイスを自ＳＡの物理デバイスとして管理するために用いる仮想デバイス管理情報２０２の一例を示す。各ＳＡ１５０は、自ＳＡ内に定義した仮想デバイス毎に、仮想デバイス番号８１から対応ＳＡ番号、下位論理デバイス番号８５までの情報組を保持する。仮想デバイス番号８１には、ＳＡ１５０内で仮想デバイスを一意に識別するための識別番号が登録される。サイズ８２には、当該仮想デバイスの容量が格納されている。デバイス状態８３には、当該仮想デバイスの状態を示す情報が設定されるが、その値は下位論理デバイス管理情報２０１のデバイス状態７３と同じであるため、説明は省略する。対応下位論理デバイス番号８４は、当該仮想デバイスが割り付けられた下位論理デバイス番号が設定される。対応ＳＡ番号、下位論理デバイス番号８５には、当該仮想デバイスとして定義された、他のＳＡ１５０内の下位論理デバイスの識別番号（当該他のＳＡ１５０が当該下位論理デバイスに割り当てた識別番号）と、同ＳＡ１５０の識別番号が登録される。

図９にＳＡ１５０内のディスク装置１５７から構成される物理デバイスを管理するための物理デバイス管理情報２０３の一例を示す。各ＳＡ１５０は、自ＳＡ内に存在する物理デバイス毎に、物理デバイス番号９１からディスク内サイズ９９の情報組を保持する。

物理デバイス番号９１には、物理デバイスを識別するための識別番号が登録される。サイズ９２には、物理デバイス番号９１により特定される物理デバイスの容量が格納されている。デバイス状態９３には、当該物理デバイスの状態を示す情報が設定される。状態としては、「オンライン」、「オフライン」、「未実装」、「障害オフライン」が存在する。「オンライン」は、当該物理デバイスが正常に稼動し、下位論理デバイスに割り当てられている状態であることを示す。「オフライン」は、当該物理デバイスは定義され、正常に稼動しているが、下位論理デバイスに未割り当てであることを示す。「未実装」は、当該物理デバイスがディスク装置１５７上に定義されていない状態にあることを示す。「障害オフライン」は、当該物理デバイスに障害が発生して下位論理デバイスに割り当てられないことを示す。なお、本実施形態では、簡単のため、物理デバイスは製品の工場出荷時にあらかじめディスク装置１５７上に作成されているものとする。このため、利用可能な物理デバイスについてはデバイス状態９３の初期値は「オフライン」状態、その他は「未実装」状態となる。

性能／信頼性レベル９４は、当該物理デバイスの性能および信頼性を少なくとも計算機システム内で統一された基準により評価した値を保持する。性能レベルの判定指標としては、当該物理デバイスに属するディスク装置１５７のシーク速度や回転速度などの性能値、容量、ＲＡＩＤレベルなどがあげられる。また、信頼性レベルについては、当該物理デバイスの冗長度やＲＡＩＤレベル、利用可能な交替パス数など製品仕様上の各種構成条件があげられる。

対応下位論理デバイス番号９５には、当該物理デバイスが対応付けられている下位論理デバイス番号が格納される。当該物理デバイスが下位論理デバイスへ割り当てられていない場合、エントリ９５には無効値が設定される。

ＲＡＩＤ構成９６には、当該物理デバイスが割り当てられたディスク装置１５７のＲＡＩＤレベル、データディスク数とパリティディスク数などＲＡＩＤ構成に関連する情報が保持される。同じように、ストライプサイズ９７には、ＲＡＩＤにおけるデータ分割単位(ストライプ)長が保持される。ディスク番号リスト９７には、当該物理デバイスが割り当てられたＲＡＩＤを構成する複数のディスク装置１５７各々の識別番号が保持される。このディスク１５７の識別番号は、ＳＡ１５０内でディスク装置１５７を識別するために付与した一意な値である。ディスク内開始オフセットとディスク内サイズ９８には、当該物理デバイスが各ディスク装置１５７内のどの領域に割り当てられているかを示す情報である。本実施例では簡単のため、全物理デバイスについて、ＲＡＩＤを構成する各ディスク装置１５７内のオフセットとサイズを統一させている。

次に、再び図２に戻り、ストレージ装置１３０のＰＡ１４０内のメモリ１４３、ＳＡ内のメモリ１５３、ＭＡ内のメモリ１６３、及び管理端末１９０内のメモリ１９３に格納されている情報およびプログラムについて説明する。

ＳＡ内の制御メモリ１５５およびＭＡ内の制御メモリ１６４に格納されている各制御情報は、各ＳＡ、各ＰＡ及びＭＡ内の各制御プロセッサから参照・更新可能であるが、その際に相互接続網１７０などを介したアクセスが必要となる。よって、処理性能向上のため、各制御プロセッサで実行される処理に必要な制御情報の複製を、各部位（即ち、ＳＡ、ＰＡ又はＭＡ）内のメモリに保持する。各部位は、当該部位が管理する制御情報が、構成変更により更新された場合は、相互接続網１７０を介してその旨を他の部位に通知し、最新情報を当該部位の制御メモリから他の部位のメモリへ取り込ませる。

尚、各部位のメモリには上述の制御情報の複製に加えて、各部位内の制御プロセッサで動作する制御プログラムが格納される。

本実施形態では、ストレージ装置１３０のＳＡ１５０内に存在する空き領域をストレージ装置１３０の上位論理デバイスとして定義する処理、すなわち論理デバイス定義処理およびＬＵパス定義処理と、そうして定義されたストレージ装置１３０の上位論理デバイスに対するホスト１００からの入出力要求の処理を例に、ストレージ装置１３０の制御方法を説明する。これらの処理に関連してＳＡ、ＰＡ及びＭＡのメモリには少なくとも、以下の制御情報とプログラムが保持される。

ＰＡ１４０のメモリ１４３には、上位論理デバイス管理情報の複製２１５とＬＵパス管理情報の複製２１６と、要求振り分け処理２５１のプログラム、ＬＵパス定義処理２５２のプログラムが格納される。ＳＡ１５０のメモリ１５３には、下位論理デバイス管理情報の複製２１１、仮想デバイス管理情報の複製２１２、物理デバイス管理情報の複製２１３と、コマンド処理２５３のプログラム、論理デバイス定義処理２５４のプログラム、ライトアフタ処理２５５のプログラムが格納される。ＭＡ１６０のメモリ１６３には、全デバイス管理情報(即ち、上位論理デバイス管理情報、下位論理デバイス管理情報、仮想デバイス管理情報、物理デバイス管理情報)の複製２１０と、論理デバイス定義処理２５４のプログラム、ＬＵパス定義処理２５２のプログラムが格納される。ＳＴ１９０のメモリ１９３には、全デバイス管理情報の複製２１０と、論理デバイス定義処理２５４のプログラム、ＬＵパス定義処理２５２のプログラム、及びデバイス割り当て処理２５６のプログラムが格納される。

次に各部位で実行されるストレージ制御処理について説明する。

ストレージ装置１３０内に存在する物理デバイスを論理デバイスに対応付けて、論理デバイスを特定のホスト１００に割り当てて当該ホスト１００から使用可能とするデバイス割り当て処理２５６は主に管理端末１９０の制御プロセッサ１９２によって実行される。このデバイス割り当て処理２５６は、構成管理部１６０の制御プロセッサ１６２によって実行される論理デバイス定義処理２５４とＬＵパス定義処理２５２の２つの処理と連携して動作する。

図１０は、デバイス割り当て処理２５６の処理フローの一例を示す図である。デバイス割り当て処理２５６は、ストレージ装置１３０内の物理デバイスに論理デバイスを割り当て、指定されたポート１４１に当該論理デバイスにアクセスするためのＬＵパスを定義して、当該論理デバイスをホスト１００へ提供する処理であり、ＳＴ１９０の制御プロセッサ１９２にて実行される。

まず、ＳＴ１９０は、ストレージ管理者もしくは管理サーバ１１０からのデバイス割り当て指示を受け付ける（ステップ１００１）。このとき、割り当てデバイス条件を示すパラメタとして、割り当てデバイスのサイズ、属性、アクセス元ホスト１００のポート１０７の識別情報、ＬＵパスを定義するポート番号およびＬＵＮなどを受け取る。デバイス属性としては、当該デバイスに必要とされるアクセス性能、当該デバイスデータを保持するのに許容されるビットコストなど、性能、コストレベル、信頼性、可用性等を示す情報が設定される。

デバイス割り当て指示を受信したＳＴ１９０は、物理デバイス管理情報を参照して、ストレージ装置１３０の各ＳＡ１５０内の空き領域を検索し、割り当てデバイス条件を満たすものがあるかを調べる（ステップ１００２、１００３）。ＳＡ１５０内の空き領域とは、物理デバイスのうち、物理デバイス管理情報２０３内のデバイス状態９３が「オフライン」であるものである。ステップ１００２のチェックでは、ＳＡ各々について対応する物理デバイス管理情報２０３がチェックされ、デバイス状態９３が「オフライン」であるものが検索される。ここで、空き領域である物理デバイスをキューなどで管理することで、検索時間を短縮することも可能である。また、空き領域である各物理デバイスが、デバイス割り当て指示に示されるデバイス要件を満たすかについては、各物理デバイスについての物理デバイス管理情報２０３内の性能／信頼性レベル９４とＲＡＩＤ構成９５などをST１９０参照することによって判定される。

次に、デバイス割り当て指示内で指定される条件を満たす空き記憶領域が、要求された容量分１つのSA内に存在するかどうかがSTによって判断される（ステップ１００３）。

デバイス割り当て指示において指定された条件を満たす、要求された記憶容量分の空き領域を、ある一つのＳＡ１５０が保有する場合には、当該ＳＡ１５０の空き領域を割り当て候補とする。要求された記憶容量分の空き領域が１つのＳＡ１５０ではまかない切れない場合（即ち、ある１つのＳＡの配下にある物理デバイスのみでは要求された記憶容量を満たすことができない場合）、複数のＳＡの配下にある複数の物理デバイスを連結して要求された記憶容量を有するデバイスをホストに割り当てる必要がある。従って、複数ＳＡ１５０から空き領域を選定する（ステップ１００４）。

ステップ１００４にて、空き領域が要求された記憶容量分確保できなかったら、当該デバイス割り当てが不可であることを、デバイス割り当て指示の発行元であるストレージ管理者又は管理サーバ１１０へ報告する（ステップ１００５、１０１０）。

一方複数のSAに属する複数の空き記憶領域によって、デバイス割り当て指示において指定された条件を満たす、要求された記憶容量分の空き領域を確保できる場合には（ステップ１００５）、複数のＳＡ１５０から空き領域を割り当て候補として複数個選択し、割り当て候補となる空き領域が属する複数のＳＡ１５０の中から、これらの空き領域を連結して一つの下位論理デバイスとして管理するマスタＳＡ１５０を選択し、空き領域の連結順序を決定する（ステップ１００６）。マスタＳＡ１５０の選択方法としては、例えば、候補となる複数のＳＡ１５０の中で負荷の最も少ないものを選択することが考えられる。SAの負荷の判定基準としては、例えばＳＡ１５０内の制御プロセッサ１５２の利用率やディスクキャッシュ１５４に保持されているが未だディスクに書き込まれていない未反映データの量など、ＳＡ１５０で取得される稼動情報や、各ＳＡ１５０に定義済みの下位論理デバイスの数や下位論理デバイスの総容量などが考えられる。

こうして、デバイス割り当て対象となる空き領域と、これらの空き領域を連結するマスタＳＡが決定されたら、ＳＡ１５０、ＰＡ１４０、ＭＡ１６０と連携して下位論理デバイス及び上位論理デバイスが定義され（ステップ１００７）、デバイス割り当て指示と共に受信されるパラメータで示されたポート１４１にＬＵＮを定義する（ステップ１００８）。

そして、最後にSTは、論理デバイス定義処理（ステップ１００７）やLUパス定義処理（ステップ１００８）によって更新される制御情報をPAから取り込み、デバイス割り当て要求の要求元であるストレージ管理者若しくは管理サーバに処理の完了を報告すべく、完了報告を出力する。

図１１は、論理デバイス定義処理２５４の処理フローの一例を示す図である。論理デバイス定義処理２５４は、ストレージ装置１３０に搭載される物理デバイスに対して、上位論理デバイスおよび下位論理デバイスを定義する処理である。ＳＴ１９０のデバイス割り当て処理２５６により、割り当て対象の空き領域（即ち、下位論理デバイスと対応付けられる物理デバイス）が決定したら（即ち図１０のステップ１００６の処理が終わったら）、ＳＴ１９０からＭＡ１６０に対して論理デバイス定義指示が送信される（ステップ１１０１）。論理デバイス定義指示には、割り当て対象の空き領域数に加えて、空き領域識別情報（即ち空き領域である物理デバイスの識別番号と当該物理デバイスが属するＳＡ１５０の番号）と、空き領域に割り当てられる下位論理デバイス番号と、空き領域に対してマスタＳＡが割り当てる仮想デバイスの番号と、空き領域のサイズからなる情報組のリスト、および下位論理デバイスへ割り当てる上位論理デバイス番号が含まれる。なお、空き領域はリストの順に連結され、リストの先頭に登録されている空き領域を保持するＳＡ１５０がマスタＳＡとなる。

論理デバイス定義指示を受けたＭＡ１６０では、当該論理デバイス定義指示に従ってデバイス割り当て対象の空き領域が複数存在しかつこれら複数の空き領域が複数ＳＡ１５０にまたがって存在するかどうか判断し、複数の割り当て対象の空き領域が複数のSAに存在している場合には、マスタＳＡ以外のSA、即ちスレーブＳＡに対して、空き領域である物理デバイスへ下位論理デバイスを割り当てるよう指示する下位論理デバイス定義指示を送信する（ステップ１１０２）。この下位論理デバイス定義指示には、マスタSAの番号と、スレーブSAに属する物理デバイスの番号と、当該物理デバイスに対して割り当てられる下位論理デバイス番号と、当該下位論理デバイスに対してマスタSAが割り当てる仮想デバイスの番号が含まれる。尚、この下位論理デバイス番号は、ステップ１１０１にてSTからMAに送信される論理デバイス定義指示内のリストにて指定される番号であり、仮想デバイス番号も論理デバイス定義指示によって指定される番号である。

MAからの指示を受けたスレーブＳＡでは、下位論理デバイス定義指示の対象とされた物理デバイスに、下位論理デバイス定義指示によって指定された下位論理デバイスを定義する（即ち、対象物理デバイスに、下位論理デバイス定義指示によって指定される下位論理デバイス番号を割り当てる。）。（ステップ１１０３）。

具体的にはスレーブＳＡは、下位論理デバイス定義指示に含まれる情報に従って、下位論理デバイス管理情報２０１の対象デバイスエントリ（即ち、下位論理デバイス定義指示に付加されている下位論理デバイス番号に対応するエントリ）について、下位論理デバイス定義指示に付加されている下位論理デバイス番号をエントリ７１に、割り当て対象の空き領域である物理デバイスの数と当該物理デバイスの番号のリストをそれぞれエントリ７５、７６に、当該スレーブＳＡ１５０にて定義される下位論理デバイスのサイズをエントリ７２に、マスタＳＡのＳＡ番号とマスタＳＡによって当該下位論理デバイスに割り当てられる仮想デバイス番号をエントリ７４に、デバイス状態を「オンライン」にそれぞれ設定する。更にスレーブＳＡは、物理デバイス管理情報２０３内の対応下位論理デバイス番号９５に下位論理デバイス定義指示によって指定された下位論理デバイス番号を、デバイス状態に「オンライン」をそれぞれ設定する。登録が完了したらスレーブＳＡ１５０はＭＡ１６０にその旨通知する。

次にＭＡ１６０は、マスタＳＡに対して、スレーブＳＡで定義した下位論理デバイスに対応する仮想デバイスの定義と、マスタＳＡ内に属する物理デバイスと仮想デバイスを連結した下位論理デバイスの定義を指示する（ステップ１１０４）。本指示には、連結デバイス数と、連結対象デバイスの識別情報（即ち、物理デバイス番号またはスレーブＳＡで定義された下位論理デバイス番号とスレーブＳＡ番号）と連結対象デバイスのサイズと、連結対象デバイスがスレーブＳＡに属する下位論理デバイスの場合にはマスタＳＡが当該連結対象デバイスに対して割り当てる仮想デバイス番号からなる情報組のリストと、マスタＳＡで定義する下位論理デバイス番号が含まれる。

本指示を受けたマスタＳＡでは、ステップ１１０５で、まずスレーブＳＡの下位論理デバイスに対して、ステップ１１０４で受信した指示内で指定された仮想デバイスを割り当てる。具体的には、ステップ１１０４で受信した指示内に含まれる仮想デバイス番号に対応する仮想デバイス管理情報２０２のエントリについて、マスタＳＡは仮想デバイス番号８１を設定し、デバイス状態８３には「オンライン」を設定する。さらにマスタＳＡは、スレーブＳＡの下位論理デバイスの情報を、対応ＳＡ番号、下位論理デバイス番号８５、およびサイズ８２に設定し、マスタＳＡで定義する下位論理デバイス番号を対応下位論理デバイス番号エントリ８４に設定する。

そしてマスタＳＡは、ステップ１１０４にて指定されたマスタＳＡ内の空き物理デバイスと仮想デバイスを連結して、連結されたデバイスにステップ１１０４にて指示された下位論理デバイスを割り当てる。具体的には、ステップ１１０４で指定される下位論理デバイスに対応する下位論理デバイス管理情報２０１について、マスタＳＡは、エントリ７１にステップ１１０４で受信する下位論理デバイス番号を、７２に当該下位論理デバイスのサイズを、エントリ７３に「オンライン状態」を、エントリ７４に対応する上位論理デバイス番号を、エントリ７５に連結デバイス数を、エントリ７６に連結対象となる物理デバイス又は仮想デバイスの番号リストをそれぞれ設定する。登録が完了したらマスタＳＡはＭＡ１６０にその旨通知する。

次にＭＡ１６０は、マスタＳＡで定義された下位論理デバイスに対して、ＳＴ１９０より指示された上位論理デバイスを割り当てる。そして、上位論理デバイスの設定が終了した旨をＭＡはＰＡ１４０およびＳＴ１９０へ通知する（ステップ１１０６）。登録通知を受けたＰＡ１４０、ＳＴ１９０では、必要なデバイスの管理情報（即ち図2においてＰＡ及びＳＴが保持している管理情報）をメモリへ取り込み、ＳＴ１９０は本処理の要求元であるデバイス割り当て処理２５６に対して、要求処理の完了を報告する（ステップ１１０７）。

図１２は、ＬＵパス定義処理２５２の処理フローの一例を示す図である。ＬＵパス定義処理２５２は、デバイス割り当て処理２５６と論理デバイス定義処理２５４により新規に定義された上位論理デバイスに対して、特定ポート１４１とＬＵＮを設定する処理である。

まず、デバイス割り当て処理２５６のステップ１００７により、上位論理デバイスが新規に割り当てられると、ＳＴ１９０はＭＡ１６０に対してＬＵパス定義を指示する（ステップ１２０１）。ＬＵパス定義指示には、ＬＵパスを定義する対象上位論理デバイスの識別番号とＬＵを定義するポート１４１番号とＬＵＮに加えて、このＬＵをアクセスするホスト１００の識別情報（ホストが有するポート１０７のＷＷＮなど）が付加される。

ＬＵパス定義指示を受信したＭＡ１６０は、ポートとＬＵＮが割り当てられる対象上位論理デバイスに対してＬＵパス登録を行う（ステップ１２０２）。具体的にはＭＡ１６０は、上位論理デバイス管理情報２０５の当該対象上位論理デバイスのエントリに、ポート番号、ターゲットＩＤ、ＬＵＮ５４と接続ホスト名５５を、ＬＵパス定義指示に付加された情報に従って設定する。またＭＡ１６０は、ＬＵパス定義指示内で指定される対象のポート１４１に対応するＬＵパス管理情報２０６の空きエントリに、ターゲットＩＤ／ＬＵＮを始めとする構成情報を設定する。ＬＵパス登録及び設定が完了したら、ＭＡ１６０はその旨をストレージ装置１３０内の他の各部位へ通知し、通知を受信したＰＡ１４０は新たに設定、登録されたＬＵパス管理情報や上位論理デバイス管理情報を取込み、通知を受信したＳＴ１９０は新たに設定、登録された上位論理デバイス管理情報を取り込むと共に、デバイス割り当て処理２５６の要求元である管理サーバ１１０やストレージ管理者へ処理完了を報告する（ステップ１２０３）。

次に、ホスト１００から受信する入出力要求を処理する方法について、ＰＡ１４０での要求振り分け処理２５１とＳＡ１５０でのコマンド処理２５３とライトアフタ処理２５５の３つに分けて説明する。

図１３は、要求振り分け処理２５１の処理フローの一例を示す図である。要求振り分け処理２５１は、ＰＡ１４０のポート１４１においてホスト１００から受け取った入出力要求やデータ、およびＰＡの転送制御部１４４においてＳＡ１５０から受け取った転送準備完了報告やデータなどを、ＳＡ１５０又はホスト１００のうち適切な対象部位へ振り分ける処理である。

要求振り分け処理２５１では、ＰＡがコマンドフレームを受信した際に、ＰＡは上位論理デバイス管理情報を参照して当該フレームの転送先を決定する。更にＰＡは、以降当該コマンドフレームによって開始される入出力処理（ファイバチャネルではエクスチェンジに相当する）でやりとりされるデータフレームなどの転送制御のために、当該入出力処理のルーティング制御情報を登録する。ルーティング制御情報は各ＰＡ１４０で独立に管理され、ルーティング制御情報には当該入出力処理の識別情報（ファイバチャネルの場合はフレームヘッダに格納されているエクスチェンジＩＤ）、要求元部位およびそのアドレス、要求先部位およびそのアドレスなどの情報が含まれる。要求元アドレスおよび要求先アドレスには、ファイバチャネルの場合、コマンドフレームのヘッダ情報に含まれるソースＩＤとデスティネーションＩＤおよびコマンド情報に含まれるＬＵＮが用いられる。

ホスト１００又はＳＡ１５０からフレーム受信したＰＡ１４０の制御プロセッサ１４２は、要求振り分け処理２５１を実行する。ＰＡはまずフレームをポート１４１から受信したのか転送制御部１４４から受信したのかを判断し、この判断に基づいてフレームをホスト１００から受信した場合とＳＡ１５０から受信した場合で処理を切り分ける（ステップ１３０１、１３０８）。

ホスト１００からポート１４１を介してフレームを受信した場合、ＰＡはフレームの種別を判断し、受信フレームの種別により処理を切り分ける（ステップ１３０２）。尚、フレーム種別は、フレームに含まれる情報から判別することができる。

受信フレームがＦＣＰコマンドフレームの場合、ＰＡ１４０は受信フレームに含まれるアクセス対象の上位論理デバイスと対応付けられたＬＵＮに基づいて、ＬＵパス管理情報２０６と上位論理デバイス管理情報２０５を参照し、受信したコマンドフレームのアクセス対象となっている上位論理デバイスが対応するＳＡ番号、下位論理デバイス番号などを算出する。そして算出されたＳＡ番号と下位論理デバイス番号を入出力処理の要求先、当該受信フレームの送信元（即ちホスト１００）を入出力処理の要求元として、当該コマンドのルーティング制御情報を登録する（ステップ１３０３、１３０４）。そしてＰＡは、ステップ１３０４にて算出されたＳＡ１５０へ、ステップ１３０４にて算出された下位論理デバイス番号を指定したＦＣＰコマンドフレームを送信する（ステップ１３０５）。

ＰＡ１４０で受信したフレームの種別がＦＣＰデータフレームの場合は、ＰＡは、当該受信フレームに対応する入出力処理のルーティング制御情報を参照し、ルーティング制御情報に入出力処理の要求先として登録されているＳＡを当該受信フレームの転送先として決定し（ステップ１３０６）、受信フレームを転送先ＳＡ１５０へ転送する（ステップ１３０５）。

また、ＰＡ１４０が受信したフレームがＦＣＰ関連のフレームでない場合は、ファイバチャネルのノードポートとして従来公知な処理を、当該フレームを受信したＰＡ１４０の制御プロセッサ１４２にて実行する（ステップ１３０７）。

一方、ＳＡ１５０から転送制御部１４４を介してフレームを受信したＰＡ１４０は、受信フレーム中に含まれる情報に基づいてフレームの要求種別を判断し要求種別によって処理を切り分ける（ステップ１３０９）。

受信フレームの要求種別が完了報告である場合は、ＰＡはルーティング制御情報を参照し、ルーティング制御情報に入出力処理の要求元として登録されているホスト１００を当該受信フレームの転送先として、受信フレームを転送する（ステップ１３１０）。更にＰＡ１４０は、当該フレームに関連する入出力要求先や要求元等の入出力処理情報をルーティング制御情報から登録解除する（ステップ１３１１）。

また、ＰＡが転送制御部１４４を介して受信した受信フレームがＦＣＰデータや転送準備完了報告である場合は、ＰＡはルーティング制御情報に入出力処理の要求元として登録されているホスト１００にフレームを転送する（ステップ１３１２）。

図１４は、コマンド処理２５３の処理フローの一例を示す図である。コマンド処理は、ＳＡ１５０において下位論理デバイスに対する入出力要求を処理するものである。

ＳＡ１５０は相互接続網１７０から転送制御部１５０を介して受信したＦＣＰコマンドフレームに対して、ＦＣＰコマンドフレーム内に含まれる情報に基づいてコマンド種別をチェックする（ステップ１４０１、１４０２）。

当該ＦＣＰコマンドの要求がリードの場合、ＳＡは下位論理デバイス管理情報を参照してまずリード要求範囲を調べる。アクセス対象の下位論理デバイスが複数の物理デバイス又は仮想デバイスを結合したものであり、かつ、リード要求範囲が複数の物理デバイス若しくは仮想デバイスにまたがる場合には、ＳＡは各物理デバイス若しくは仮想デバイス毎のリード対象範囲を決定する（ステップ１４０３）。

そしてＳＡは、まず下位論理デバイスの先頭物理デバイス若しくは先頭仮想デバイスのリード要求範囲についてディスクキャッシュ１５４上にデータがヒットしているか（即ちディスクキャッシュにデータが格納されているか）を、キャッシュ管理情報２０４を参照して判定し（ステップ１４０４）、ヒットしている場合は、ステップ１４０９でＰＡ１４０へのデータ送信を開始する。キャッシュミスの場合ＳＡは、キャッシュ管理情報２０４を更新してディスクキャッシュ１５４に領域を確保し（ステップ１４０５）、リード対象のデータが格納される物理デバイス若しくは仮想デバイスからキャッシュへのステージングを実行する。尚、リード対象データが格納されているデバイスが物理デバイスであるか仮想デバイスであるかは、ＳＡが下位論理デバイス管理情報２０１を参照することによって判断することができる（ステップ１４０６）。

リード対象データが格納されているデバイスが物理デバイスであれば、ＳＡは物理デバイス管理情報２０３より特定したディスク装置１５７に対してリード要求を発行してデータを読み出し（ステップ１４０７）、読み出したデータをディスクキャッシュ１５４の確保領域に格納する（ステップ１４０８）。

リードデータが格納されているデバイスが仮想デバイスであれば、ＳＡ１５０は仮想デバイス管理情報２０２を参照してエントリ８５からアクセス対象ＳＡ１４０と下位論理デバイス番号を算出する。そしてＳＡは、算出した下位論理デバイスに対するリード要求を算出したＳＡ１５０へ送信する（ステップ１４１２）。ステップ１４１２によって送信されたリード要求を受信した別のＳＡ１５０では、コマンド処理２５３によりリード処理が行われ、リードデータをリード要求の要求元ＳＡ１５０へ転送すると共に、完了報告も送信する。リードデータおよび完了報告を受信した要求元ＳＡ１５０では、当該データをディスクキャッシュ１５４へ格納する（ステップ１４１３、１４１４、１４０８）。

ディスクキャッシュにリードデータが格納されるとＳＡ１５０は、ディスクキャッシュ１５４に格納されたリードデータを、ステップ１４０１で受信したＦＣＰコマンドフレームの転送元へ送信する（ステップ１４０９）。ＦＣＰコマンドの転送元がＰＡの場合には、ＰＡ１４０がリードデータを受信し、要求振り分け処理２５１により当該リードデータはホスト１００へ転送される（要求振り分け処理２５１のステップ１３０８、ステップ１３０９、ステップ１３１２参照。）。ＦＣＰコマンドの転送元が別のＳＡ１５０の場合、データは直接当該ＳＡ１５０へ転送される。これら一連の処理（ステップ１４０３〜１４０９、１４１２〜１４１４）をリード要求範囲の全データについて処理が完了するまで繰り返し（ステップ１４１０）、最後に処理の完了をコマンド送信元のホスト１００又は別のＳＡ１５０へ送信する（ステップ１４１１）。

一方、ＳＡ１５０が受信したＦＣＰコマンドフレームがライトの場合も、ＳＡは下位論理デバイス管理情報を参照してまずライト要求範囲を調べる。アクセス対象の下位論理デバイスが複数の物理デバイス又は仮想デバイスを結合したものであり、かつ、ライト要求範囲が複数の物理デバイス若しくは仮想デバイスにまたがる場合には、ＳＡは各物理デバイス若しくは仮想デバイス毎のライト対象範囲を決定する（ステップ１４１５）。

次にＳＡは、ライト対象範囲に対応するデータがディスクキャッシュ１５４に格納されているか否かを判断し（１４１６）、キャッシュミスの場合にはディスクキャッシュ１５４領域を割り当てる（１４１７）。

次にＳＡ１５０は、現在処理中のライト対象範囲が要求範囲の先頭領域である場合のみ、ステップ１４０１で受信したＦＣＰコマンドフレームの送信元に対して、転送準備完了の通知を送信する（ステップ１４１８、１４１９）。ＦＣＰコマンドフレームの送信元がホスト１００の場合、転送準備完了の通知を受信したＰＡ１４０は、要求振り分け処理２５１によってこの転送準備完了通知をホスト１００へ転送する。続いてホスト１００からライトデータが送られてくると、ＰＡ１４０は転送準備完了通知の送信元ＳＡ１５０へデータを送信する。ＦＣＰコマンドフレームの送信元が別ＳＡ１５０の場合、転送準備完了の通知は当該別ＳＡへ相互接続網１７０を介して送信される。続いてライトデータは当該別ＳＡから相互接続網１７０を介して転送準備完了通知の送信元ＳＡへ送られてくる。

ＳＡ１５０では受信したライトデータを確保したディスクキャッシュ１５４上の領域へ格納する（ステップ１４２０、１４２１）。これら一連の処理（ステップ１４１５〜１４２１）をライト要求範囲の全データについて繰り返し（ステップ１４２２）、最後に処理の完了をコマンド送信元のホスト１００又は別のＳＡ１５０へ送信する（ステップ１４１１）。ディスクキャッシュに書き込まれたライトデータはディスク装置に書き込まれるが、その処理については図１５を用いて後述する。

なお、ＳＡ１５０で受信したコマンドがリードでもライトでもない場合、例えばモードセンスなどのセンス系コマンドや診断系のコマンドの場合は、ＳＡは一般的なＳＣＳＩストレージの仕様に基づき適切な処理を実行し（ステップ１４２３）、完了報告を行う。

図１５は、ライトアフタ処理２５７の処理フローの一例を示す図である。ライトアフタ処理は、ＳＡ１５０におけるコマンド処理２５３の結果、ディスクキャッシュ１５４に格納されたライトデータをディスク装置１５７へ書き出す処理である。

ディスクキャッシュ１５４上に保持されたライトデータはキャッシュ管理情報２０４で管理される。通常、ライトデータやディスクからリードされたリードデータは、なるべく古いものから順にディスクキャッシュ１５４より追い出されるように、キューなどで管理されている。そういった従来公知の方法により管理されたデータの中から、ＳＡ１５０はディスク１５７へ実際に書き込むデータを選択し（ステップ１５０１）、当該データが格納されるディスク装置が仮想デバイスに対応づけられているか物理デバイスに対応付けられているかを下位論理デバイス管理情報２０１に基づいて判断する（ステップ１５０２）。

ライトデータを物理デバイスに書き込む場合、ＳＡ１５０は物理デバイス管理情報２０３を参照してデータを書き込むディスク１５７を特定し、ライトデータを書き込む（ステップ１５０３）。

一方ライトデータを仮想デバイスに書き込む場合、ＳＡ１５０は仮想デバイス管理情報２０２を参照して仮想デバイスと対応付けられている別のＳＡと、当該別のＳＡが管理する仮想デバイスと対応付けられている下位論理デバイスを特定し、特定されたＳＡ１５０へ特定された下位論理デバイスを指定したライト要求を送信する（ステップ１５０４）。ライト要求を受信したライト対象のＳＡ１５０では、コマンド処理２５３によりライト処理が行われる。コマンド処理２５３のステップ１４１９においてライト対象のＳＡはライト要求の要求元であるＳＡ１５０に転送準備完了通知を送信するので、これを受信したＳＡ１５０はライト対象のＳＡにライトデータを送信し、応答として完了報告を受信する（ステップ１５０５〜１５０７）。ステップ１５０３若しくはステップ１５０７の処理が完了したら、ＳＡ１５０は当該ライトデータを格納していたディスクキャッシュ１５４の領域を解放する（ステップ１５０８）。

以上、クラスタ構成を有するストレージ装置において、マスタストレージ制御部が、自ストレージ制御部に属する物理デバイスと、他ストレージ制御部に属する下位論理デバイスとを連結して１つの下位論理デバイスとして管理し、プロトコル変換部が下位論理デバイスに上位論理デバイスを対応付けて管理する例を説明した。

第二に、第４図、第５図、第１６図を参照して、第２の実施形態を説明する。

第２の実施形態では、クラスタ構成を有するストレージ装置において、ストレージ制御部が複数の物理デバイス若しくは仮想デバイスを連結して構成した下位論理デバイスの境界を、プロトコル変換部でも認識している。下位論理デバイスに対応する上位論理デバイスへホストからアクセス要求があった場合には、アクセス範囲の先頭アドレスに応じて、プロトコル変換部がアクセス要求の送信先であるストレージ部を決定する。これにより、ストレージ制御部間の交信を抑制し、ストレージ制御部の負荷を軽減することができる。尚、第２の実施形態では、第１の実施形態とほぼ同じハードウェアおよびソフトウェア構成を有するため、その差異についてのみ説明する。

第４図に、第２の実施形態のクラスタ構成ストレージにおけるデバイス階層を示す。第１の実施形態との違いは、デバイス連結を先頭ＳＡ（マスタＳＡ）だけでなく、後続のＳＡ（スレーブＳＡ）でも行うこと、ＰＡ１４０がＳＡ１５０で連結された下位論理デバイスの境界を認識して、アクセス箇所によってＩ／Ｏ要求を転送するＳＡ１５０を決めることである。

例えば図４の例では、ストレージ制御部１５０cに属する下位論理デバイス３０２cに対してストレージ制御部150bが仮想デバイス３０３bを割り当て、ストレージ制御部１５０bが仮想デバイス３０３bとストレージ制御部１５０ｂに属する物理デバイス３０４ｂを連結して下位論理デバイス３０２ｄとして管理している。そして更に、下位論理デバイス３０２ｄに対して、ストレージ制御部１５０aが仮想デバイス３０３ｃを割り当て、ストレージ制御部１５０aが仮想デバイス３０３ｃとストレージ制御部１５０aに属する物理デバイス３０４aを連結して下位論理デバイス３０２aとして管理している。更には、プロトコル変換部１４０aはストレージ制御部150aが管理している下位論理デバイス３０２aに上位論理デバイス３０１を割り当てて管理しているが、プロトコル変換部１４０aは、上位論理デバイス３０１内の先頭から第一の境界アドレスまでの記憶領域は下位論理デバイス３０２aに、第一の境界アドレスから第二の境界アドレスまでの記憶領域は下位論理デバイス３０２dに、第二の境界アドレスから終了アドレスまでの記憶領域は下位論理デバイス３０２cにそれぞれ対応付けられていることを認識している。

この様に第２の実施形態では、ＰＡ１４０が上位論理デバイスの連結の境界アドレスを意識する必要がある、すなわち上位論理デバイスと下位論理デバイスの１対多の対応関係を認識する必要があるため、第５図に示す上位論理デバイス管理情報２０５の形式が第一の実施形態とは異なる。具体的には、上位論理デバイス管理情報２０５の対応下位論理デバイス数５６エントリに当該上位論理デバイスが対応する下位論理デバイスの数が格納される。また対応ＳＡ番号、下位論理デバイスリスト５７エントリには、当該上位論理デバイスが対応する複数の下位論理デバイスの下位論理デバイス番号およびＳＡ番号と各下位論理デバイスが対応する上位論理デバイス内オフセットの情報組のリストが格納される。

上位論理デバイスと下位論理デバイスの対応関係の管理方法が第二の実施形態と第一の実施形態では異なるため、ストレージ装置の各部位で実行される処理のうち、論理デバイス定義処理２５４、要求振り分け処理２５１が、第二の実施形態では第一の実施形態とは異なる。

第１６図を用いて第２の実施形態における論理デバイス定義処理２５４の一例を説明する。第１の実施形態との違いは、第１１図のフローではステップ１１０２にて複数のスレーブＳＡへ並列に下位論理デバイス定義を指示し、複数のスレーブＳＡでは下位論理デバイスの定義処理が並行して実行されていたが、第１６図のフローでは、連結順序の最後尾のＳＡ１５０から順に下位論理デバイスの定義処理が実行される。この際、各ＳＡは、直前に下位論理デバイス定義処理を実行したＳＡ１５０で定義された下位論理デバイスに仮想デバイスを定義し（即ち、直前のＳＡで定義した下位論理デバイスと仮想デバイスとを対応付け）、かつ自ＳＡ内に存在する物理デバイスと当該仮想デバイスとを連結して下位論理デバイスを定義する。

具体的には、ステップ１６０１にてＳＴ１９０がＭＡ１６０に対して論理デバイスの定義指示を送信する。これを受信したＭＡ１６０では（ステップ１６０２）、論理デバイス定義指示に含まれる空き領域のリストを参照して、リストの最後尾に登録されている空き領域に対して下位論理デバイスを定義するよう当該空き領域を有するＳＡへ、下位論理デバイス定義指示を送信する（ステップ１６０３）。

論理デバイス定義指示を受信したＳＡは、空き領域に対して下位論理デバイスを割り当てる。尚、ＳＡが受信した論理デバイス定義指示内で、自ＳＡに属する空き領域（即ち物理デバイス）と他ＳＡに属する下位論理デバイスとを連結して下位論理デバイスを作成するよう指定されている場合には、ＳＡは、他ＳＡに属する下位論理デバイスに仮想デバイスを対応付けた後、仮想デバイスと自ＳＡに属する空き領域とを連結してこれを１つの下位論理デバイスと定義する。そしてＳＡはＭＡに下位論理デバイスの登録が完了した旨を報告する（ステップ１６０４）。

報告を受けたＭＡは、登録が完了した下位論理デバイスが、ＳＴからの論理デバイス定義指示に含まれる空き領域リストの先頭に登録されている空き領域に対応するものであるかをチェックする（ステップ１６０５）。リストの先頭に登録されている空き領域に対応する下位論理デバイスではない場合、リストの最後尾から数えて次の空き領域を有するＳＡへ、ＭＡが下位論理デバイス定義指示を送信する（ステップ１６０８）。ステップ１６０４、ステップ１６０５及びステップ１６０８の処理はリストの先頭に登録されている空き領域に対して下位論理デバイスが定義されるまで繰り返される。

リストの先頭に登録されている空き領域に対して下位論理デバイスの定義が完了すると、ＭＡは最後に定義された下位論理デバイスに対してＳＴ１９０より指示された上位論理デバイスを割り当て、その旨をＰＡ及びＳＴへ通知する（ステップ１６０６）。

通知を受信したＰＡ及びＳＴはＭＡから受信するデバイス管理情報をメモリに取り込み、ＳＴは更にデバイス割り当て処理２５６に対して完了報告を送信する。

第２の実施形態における要求振り分け処理２５１は、第１の実施形態の要求振り分け処理とは、第１３図のステップ１３０３における、下位論理デバイスの算出方法が異なる。具体的には、ホスト１００から受信したコマンドフレームの送信先ＳＡ１５０および下位論理デバイス番号を算出する処理において、ＰＡはＬＵＮだけでなくＬＢＡ（Ｌｏｇｉｃａｌ Ｂｌｏｃｋ Ａｄｄｒｅｓｓ）を参照し、上位論理デバイス管理情報２０５内の対応ＳＡ番号、下位論理デバイスリスト５７から、フレーム送信先ＳＡ１５０を決定する。即ちＰＡは、受信コマンドフレームのＬＢＡ（即ちアドレス情報）と、上位論理デバイス管理情報２０５の対応ＳＡ番号、下位論理デバイスリスト５７に登録されているオフセット情報を参照して、ＬＢＡが示す記憶領域がいずれのＳＡ内に存在するディスク内の記憶領域に対応するかを判定して、ＬＢＡが示す記憶領域に対応する記憶領域を実際に有しているＳＡをコマンドフレームの送信先とする。尚、このとき併せて、ＳＡに送信されるコマンドフレーム内のＬＢＡが、当該ＳＡ１５０の下位論理デバイス開始オフセットからの相対値に修正される。

第三に、第１７図から第２０図を参照して、第３の実施形態を説明する。

第１７図は、本発明の第３の実施形態が適用される計算機システムのハードウェア構成の一例を示す図である。１つ以上のホスト１００と１つ以上のストレージ１７２０がインテリジェントスイッチ１７１０を介して接続している。各構成要素を結ぶのはファイバチャネルなどのＳＣＳＩを上位プロトコルとするネットワークである。また、各構成要素はＩＰネットワーク１７５により管理サーバ１１０に接続され、管理される。

ホスト１００および管理サーバ１１０の構成は第１図と同様である。ストレージ１７２０の構成は第１図のストレージ装置１３０ようなクラスタ構成ストレージでもよいし、モノリシックなストレージでも構わない。図１７には、インテリジェントスイッチ１７１０と接続されるポート１７２０、制御プロセッサ１７２２、メモリ１７２３、制御メモリ１７２５、ディスク装置に接続されるポート１７２６、ディスク装置１７２７、ＩＰネットワークに接続されるインタフェース制御部１７２８を有するストレージ１７２０が例示されている。

インテリジェントスイッチ１７１０は、デバイス仮想化機能を有するファイバチャネルスイッチであり、プロトコル変換部１７１１、構成管理部１７１２、および相互接続網１７０から構成される。ここで、構成管理部１７１２が管理するのはあくまでインテリジェントスイッチ１７１０がホスト１００に提供するターゲットポート、ＬＵＮ、および論理デバイスであり、ストレージ１７２０のリソースは構成管理部１７１２の管理対象外である。ストレージ１７２０のリソースは管理サーバ１１０により一元管理される。

本発明のストレージシステムでは、インテリジェントスイッチ１７１０とストレージ１７２０がデバイス仮想化機能を有する。インテリジェントスイッチ１７１０では上位論理デバイスを、ストレージ１７２０では下位論理デバイス、仮想デバイス、および物理デバイスを管理する。即ち、下位論理デバイスと上位論理デバイスの対応関係はインテリジェントスイッチが管理しており、ディスク装置と物理デバイスとの対応関係、他のストレージ装置内の下位論理デバイスと仮想デバイスとの対応関係、及び物理デバイス若しくは仮想デバイスと下位論理デバイスとの対応関係はストレージ１７２０が管理している。

第１、２の実施形態との違いは、インテリジェントスイッチ１７１０とストレージ１７２０にポートが搭載されているため、スイッチ１７１０及びストレージ１７２０でＬＵパス定義情報を管理する必要があることである。また、インテリジェントスイッチ１７１０はストレージ装置１７２０が管理する下位論理デバイスをLUNを用いて指定し、ストレージ装置も又他ストレージ装置１７２０が管理する下位論理デバイスをＬＵＮを用いて指定する。従って、図６に示すLUパス管理情報は、インテリジェントスイッチが管理している上位論理デバイスについてのみならず、各ストレージ装置１７２０が管理する下位論理デバイスについても用意しておく必要がある。更に、第５図に示す上位論理デバイス管理情報２０５の対応SA番号、下位論理デバイス番号リスト５７及び第８図に示す仮想デバイス管理情報２０２の対応SA番号、下位論理デバイス番号８５には、下位論理デバイスにアクセスするために用いられるポートＩＤおよびＬＵＮなどのストレージ１７１０および下位論理デバイスを特定するアドレス情報を登録する必要がある。

また、ストレージ１７２０間のリード・ライトなどのアクセスは、ホスト１００とストレージ１７２０間の通常のアクセスと同じプロトコルに基づき行われる。

第２０図は、本発明の第３の実施形態が適用される計算機システムにおける制御情報および制御プログラムの配置を示すものである。第３の実施形態では、ストレージ管理者とのインタフェースは全て管理サーバ１１０が担う。よって、第１の実施形態でＳＴ１９０が行っていたデバイス割り当て処理２５６は、管理サーバ１１０が主導となり、インテリジェントスイッチ１７１０の構成管理部１７１４とストレージ１７２０の制御プロセッサ１７２２で実行されるストレージデバイス定義処理２５７と連携して行われる。

具体的には、ストレージデバイス定義処理２５７では、第１９図に示すように、管理サーバからデバイス定義指示を受信したインテリジェントスイッチは、スレーブストレージ装置に対してデバイス定義指示を送信する。受信したデバイス定義指示に従い、スレーブストレージは自装置内の物理デバイスに対して下位論理デバイスを定義すると共に、下位論理デバイスにポートとＬＵＮを割り当てる。そしてスレーブストレージ装置はインテリジェントスイッチに対してデバイス定義処理の完了報告を送信する。完了報告を受信したインテリジェントスイッチはマスタストレージに対してデバイス定義指示を送信する。これを受信したマスタストレージは（ステップ１９０１）、スレーブストレージの下位論理デバイスと仮想デバイスを対応付け（ステップ１９０２）、仮想デバイスと自マスタストレージ内の物理デバイスとを連結してこれに下位論理デバイスを割り当てると共に、下位論理デバイスにポート１７２１とＬＵＮを割り当てる（ステップ１９０３）。そしてマスタストレージはインテリジェントスイッチに対してデバイス定義処理の完了報告を送信する（ステップ１９０４）。

完了報告を受信したインテリジェントスイッチ１７１０では、マスタストレージが管理する下位論理デバイスに対応するポートＩＤ、ＬＵＮに対して、上位論理デバイスを割り当て、更にこの上位論理デバイスに対してインテリジェントスイッチ１７１０がホスト１００に提供するポートIDとLUNを割り当てる。

こうして定義された上位論理デバイスに対して、ホスト１００からのアクセス要求があった場合には、インテリジェントスイッチは、この上位論理デバイスに対応するマスタストレージ１７２０と下位論理デバイスを算出して、この下位論理デバイスと対応付けられているポートＩＤとＬＵＮを有するアクセス要求をマスタストレージ１７２０に送信する。そしてマスタストレージ１７２０において、当該下位論理デバイスに対応する自装置内部の物理デバイス、もしくは仮想デバイスに対してアクセス要求を振り分ける。ここで仮想デバイスに対してアクセス要求を振り分ける場合には、マスタストレージ１７２０は、仮想デバイスに対応する下位論理デバイスと当該下位論理デバイスが属する他のストレージ１７２０とを特定し、更にこの下位論理デバイスに対応付けられているポートＩＤとＬＵＮを取得して、取得したポートＩＤとＬＵＮを有するアクセス要求を特定したストレージ１７２０に対して送信する。

なお、本発明は上記の実施形態に限定されず、数々の変形が可能である。

例えば、第３の実施形態において、ホスト１００とストレージ１７２０を接続するインテリジェントスイッチ１７１０はデバイス仮想化機能を有しているが、代わりにデバイス仮想化機能を有さない通常のファイバチャネルスイッチを用いてもかまわない。その場合、ホスト１００が記憶領域にアクセスする場合には、ストレージ１７２０のポートおよびＬＵＮを有するアクセス要求を送信することになる。即ち、ホスト１００はマスタストレージが有するポートのポートIDとマスタストレージがアクセス対象の論理デバイスに割り当てたLUNを有するアクセス要求を送信することになる。従って、デバイス連結を行うマスタストレージをどのストレージ装置にするかで、ホスト１００から見た見かけのポート、ＬＵＮ、デバイス番号が異なることになる。

本発明によれば、クラスタ構成記憶装置システムにおいて、複数のストレージ制御部に存在する空き記憶領域をある１つのストレージ制御部が連結して１つの論理デバイスとして管理することができる。従って１つの論理デバイスとして管理される連結デバイスに対して、ストレージ制御部はデータ複製処理やリモート複製処理などの処理を実行することも可能となる。

尚、複数のストレージシステムやクラスタストレージ装置内の複数のストレージ制御部内に存在する記憶領域を連結して１つの論理デバイスとして管理する方法としては、ホストに搭載されるボリュームマネージャなどボリューム仮想化ソフトウェアを用いる方法や、複数のストレージシステム若しくはクラスタ構成ストレージ装置内の複数のストレージ制御部に接続され、I/O振り分け処理を実行するスイッチ部(実施例１及び実施例２ではプロトコル変換部に、実施例３ではインテリジェントスイッチに相当する。)により記憶領域の連結処理を実行する方法が考えられる。

しかしホストに搭載されるソフトウェアを用いる場合、異なるプラットホーム毎にそれに対応したバージョンのソフトウェアを開発し、これをホストに搭載する必要があり、ユーザ環境によっては実現が困難となる。反面本発明によれば、ストレージ装置若しくはクラスタ構成ストレージ装置内のストレージ制御部でボリューム連結機能を提供しているので、異なる複数のプラットホームへ対応することができる。

又、記憶領域の連結処理をスイッチ部が実行する場合には、スイッチ部が実行する複数のストレージ装置若しくはストレージ制御部に対するアクセス振り分け処理が複雑化する。例えば、スイッチ部がホストコンピュータから複数ストレージ制御部の記憶領域にまたがる論理デバイスへのリード要求を受信した場合、スイッチ部では受信したリード要求を各ストレージ制御部に応じたリード要求に変換してこれを各ストレージ制御部に送信し、これら全てのストレージ制御部における処理の完了を待ち合わせて、ホストへリードデータを転送することになる。このため、通常のスイッチと比較して、I/O振り分け制御が複雑化する。また、複数I/Oの待ち合わせの間、先に読みあがってきたリードデータを保持するためにバッファメモリを余分に搭載する必要があり、スイッチ部の製造コストを押し上げてしまう。反面本発明によれば、特に実施例１において、アクセスを振り分けるスイッチ部の制御論理を複雑化する必要がないので、スイッチ部の製造コストを上げることなく、コストスケーラブルなストレージシステムを提供できる。

この結果、複数のクラスタに分散した空き領域を有効にかつ速やかに結合して１つのデバイスとして提供可能なストレージプール機能が提供可能となる。

本発明が適用される計算機システムのハードウェア構成の一例を示す図である。 本発明が適用されるストレージのソフトウェア構成の一例を示す図である。 本発明が適用されるストレージにおけるデバイス階層の一例を示す図である。 本発明が適用されるストレージにおけるデバイス階層の他の一例を示す図である。 上位論理デバイス管理情報の一例を示す図である。 ＬＵパス管理情報の一例を示す図である。 下位論理デバイス管理情報の一例を示す図である。 仮想デバイス管理情報の一例を示す図である。 物理デバイス管理情報の一例を示す図である。 デバイス割り当て処理の一例を示す図である。 論理デバイス定義処理の一例を示す図である。 ＬＵパス定義処理の一例を示す図である。 要求振り分け処理の一例を示す図である。 コマンド処理の一例を示す図である。 ライトアフタ処理の一例を示す図である。 論理デバイス定義処理の他の一例を示す図である。 本発明が適用される計算機システムのハードウェア構成の他の一例を示す図である。 デバイス割り当て処理の他の一例を示す図である。 ストレージデバイス定義処理の一例を示す図である。 本発明が適用されるストレージのソフトウェア構成の他の一例を示す図である。

符号の説明

１００…ホスト
１１０…管理サーバ
１３０…ストレージ装置
１４０…プロトコル変換部
１５０…ストレージ制御部
１６０…構成管理部
１７０…相互結合網
１９０…管理端末
２０１…下位論理デバイス管理情報
２０２…仮想デバイス管理情報
２０３…物理デバイス管理情報
２０４…キャッシュ管理情報
２０５…上位論理デバイス管理情報
２０６…ＬＵパス管理情報
２５１…要求振り分け処理
２５２…ＬＵパス定義処理
２５３…コマンド処理
２５４…論理デバイス定義処理
２５５…ライトアフタ処理
２５６…デバイス割り当て処理

Claims (19)

1. 各々少なくとも一のディスクと、該少なくとも一のディスクへのアクセスを制御するプロセッサとを有する第一のストレージノード及び第二のストレージノードと、
   計算機から論理デバイスへのアクセス要求を受信して、該アクセス要求に従って前記第一のストレージノード若しくは前記第二のストレージノードにアクセス要求を送信するホスト接続ノードと、
   前記第一のストレージノードと前記第二のストレージノードと前記ホスト接続ノードとを相互に接続する相互接続網とを有しており、
   前記第一のストレージノード内のディスクに存在する第一の記憶領域と前記第二のストレージノード内のディスクに存在する第二の記憶領域とをまとめて一つの論理デバイスとして前記第一のストレージノードもしくは前記第二のストレージノードのいずれかが管理し、
   前記ホスト接続ノードが前記計算機から、前記論理デバイスに対応付けられている識別情報を有するアクセス要求を受信した場合に、前記ホスト接続ノードは受信した前記アクセス要求に基づいて、アクセス要求を、前記論理デバイスを管理しているストレージノードに送信することを特徴とするクラスタ構成ストレージシステム。
2. 請求項１記載のクラスタ構成ストレージシステムにおいて、
   前記アクセス要求を受信した、前記論理デバイスを管理しているストレージノードは、アクセス対象の記憶領域が前記第一の記憶領域に含まれるか前記第二の記憶領域に含まれるかを判断し、アクセス対象の記憶領域が、前記論理デバイスを管理しているストレージノード内の記憶領域ではない場合に、他のストレージノードにアクセス要求を送信することを特徴とするクラスタ構成ストレージシステム。
3. 請求項２記載のクラスタ構成ストレージシステムにおいて、
   前記論理デバイスを管理しているストレージノードは、前記第一のストレージノード及び前記第二のストレージノードのうち、負荷の低い方のストレージノードであることを特徴とするクラスタ構成ストレージシステム。
4. 請求項３記載のクラスタ構成ストレージシステムにおいて、
   ストレージノードの負荷は、該ストレージノードが有するプロセッサの利用率に基づいて決定されることを特徴とするクラスタ構成ストレージシステム。
5. 請求項３記載のクラスタ構成ストレージシステムにおいて、
   ストレージノードの負荷は、該ストレージノードが有するキャッシュメモリに格納されているデータのうち、該ストレージノードが有するディスクに格納されていないデータの量に基づいて決定されることを特徴とするクラスタ構成ストレージシステム。
6. 請求項２記載のクラスタ構成ストレージシステムにおいて、
   前記第一のストレージノードは、該第一のストレージノードに属する前記第一の記憶領域を第一の物理デバイスとして管理しており、
   前記第二のストレージノードは、該第二のストレージノードに属する前記第二の記憶領域を第二の物理デバイスとして管理し、更に前記第二のストレージノードは該第二の物理デバイスを第二の下位論理デバイスとして管理しており、
   前記第一のストレージノードは前記第二の下位論理デバイスを第一の仮想デバイスとして管理し、更に前記第一のストレージノードは、前記第一の物理デバイスと前記第一の仮想デバイスとを有する記憶領域を第一の下位論理デバイスとして管理しており、
   前記ホスト接続ノードは、前記第一の下位論理デバイスを、上位論理デバイスとして管理しており、
   前記計算機から前記上位論理デバイスの識別情報を有するアクセス要求を受信した場合に、前記ホスト接続ノードは、前記第一の下位論理デバイスに対するアクセス要求を前記第一のストレージノードに送信することを特徴とするクラスタ構成ストレージシステム。
7. 請求項６記載のクラスタ構成ストレージシステムにおいて、
   前記ホスト接続ノードから前記第一の下位論理デバイスに対するアクセス要求を受信した前記第一のストレージノードは、アクセス対象の記憶領域が前記第二のストレージノード内の記憶領域である場合に、前記第一の仮想デバイスに対応付けられている前記第二の下位論理デバイス宛のアクセス要求を前記第二のストレージノードに送信することを特徴とするクラスタ構成ストレージシステム。
8. 請求項７記載のクラスタ構成ストレージシステムにおいて、
   前記ホスト接続ノードから前記第一の下位論理デバイスに対するアクセス要求を受信した前記第一のストレージノードは、アクセス対象の記憶領域が前記第一のストレージノード内の記憶領域である場合に、前記第一の物理デバイスにアクセスすることを特徴とするクラスタ構成ストレージシステム。
9. 請求項６記載のクラスタ構成ストレージシステムにおいて、
   前記ホスト接続ノードから前記第一の下位論理デバイスに対するアクセス要求を受信した前記第一のストレージノードは、アクセス対象の記憶領域が前記第二の記憶領域に含まれる記憶領域と前記第一の記憶領域に含まれる記憶領域の双方を有する場合に、前記第一の仮想デバイスに対応付けられている前記第二の下位論理デバイス宛のアクセス要求を前記第二のストレージノードに送信すると共に、前記第一の物理デバイスにもアクセスすることを特徴とするクラスタ構成ストレージシステム。
10. 各々少なくとも一のディスクと、該少なくとも一のディスクへのアクセスを制御するプロセッサとを有する第一のストレージノード、第二のストレージノード及び第三のストレージノードと、
    計算機から論理デバイスへのアクセス要求を受信して、該アクセス要求に従って前記第一のストレージノード、前記第二のストレージノード、若しくは前記第三のストレージノードにアクセス要求を送信するホスト接続ノードと、
    前記第一のストレージノード、前記第二のストレージノード、前記第三のストレージノードと前記ホスト接続ノードとを相互に接続する相互接続網とを有しており、
    前記第二のストレージノードは、前記第三のストレージノード内のディスクに存在する第三の記憶領域と前記第二のストレージノード内のディスクに存在する第二の記憶領域とをまとめて一つの論理デバイスとして管理し、
    前記第一のストレージノードは、前記第一のストレージノード内のディスクに存在する第一の記憶領域と前記第二のストレージノードが管理している前記論理デバイスとをまとめて一つの論理デバイスとして管理し、
    前記ホスト接続ノードが前記計算機から、前記第一のストレージノードが管理する論理デバイスに対応付けられている識別情報を有するアクセス要求を受信した場合に、前記ホスト接続ノードは受信した前記アクセス要求に基づいて、アクセス要求を、前記第一のストレージノード若しくは前記第二のストレージノード若しくは前記第三のストレージノードのいずれかに送信することを特徴とするクラスタ構成ストレージシステム。
11. 請求項１０記載のクラスタ構成ストレージシステムにおいて、
    前記ホスト接続ノードは、前記計算機から受信したアクセス要求のアクセス対象記憶領域が前記第一の記憶領域に含まれる記憶領域である場合には、前記第一のストレージノードにアクセス要求を送信し、前記アクセス対象記憶領域が前記第二の記憶領域に含まれる記憶領域である場合には、前記第二のストレージノードにアクセス要求を送信し、前記アクセス対象記憶領域が前記第三の記憶領域に含まれる記憶領域である場合には、前記第三のストレージノードにアクセス要求を送信することを特徴とするクラスタ構成ストレージシステム。
12. 請求項１０記載のクラスタ構成ストレージシステムにおいて、
    前記第三のストレージノードは、前記第三の記憶領域を第三の物理デバイスとして管理し、該第三の物理デバイスを第三の下位論理デバイスとして管理しており、
    前記第二のストレージノードは前記第三の下位論理デバイスを第二の仮想デバイスとして管理し、前記第二の記憶領域を第二の物理デバイスとして管理すると共に、前記第二の仮想デバイスと前記第二の物理デバイスから構成される記憶領域を第二の下位論理デバイスとして管理し、
    前記第一のストレージノードは前記第二の下位論理デバイスを第一の仮想デバイスとして管理し、前記第一の記憶領域を第一の物理デバイスとして管理すると共に、前記第一の仮想デバイスと前記第一の物理デバイスから構成される記憶領域を第一の下位論理デバイスとして管理し、
    前記ホスト接続ノードは、前記第一の下位論理デバイスを、上位論理デバイスとして管理し、更に前記上位論理デバイスのうち前記第二の下位論理デバイスと対応付けられている記憶領域と、前記第三の下位論理デバイスと対応付けられている記憶領域とを管理しており、
    前記計算機から前記上位論理デバイスの識別情報を有するアクセス要求を受信した場合に、前記ホスト接続ノードは、前記アクセス要求のアクセス対象記憶領域が、前記第三の下位論理デバイスと対応付けられている記憶領域である場合に、前記第三の下位論理デバイス宛のアクセス要求を前記第三のストレージノードに送信することを特徴とするクラスタ構成ストレージシステム。
13. 請求項１０記載のクラスタ構成ストレージシステムにおいて、
    前記第一のストレージノードは、前記第二のストレージノード及び前記第三のストレージノードより負荷が低いことを特徴とするクラスタ構成ストレージシステム。
14. 各々少なくとも１のディスクと該少なくとも１のディスクへの入出力を制御する制御プロセッサとを有する第一のストレージシステム及び第二のストレージシステムと、
    前記第一のストレージシステム及び前記第二のストレージシステムを計算機と接続するスイッチとを有する計算機システムであって、
    前記第一のストレージシステムは、前記第一のストレージシステム内に存在する第一の記憶領域と、前記第二のストレージシステム内に存在する第二の記憶領域とから構成される第一の論理デバイスを管理しており、
    前記スイッチは、計算機から前記第一の論理デバイスに対応付けられている識別情報を有するアクセス要求を受信した場合に、アクセス要求を前記第一のストレージシステムに送信し、
    前記第一のストレージシステムは、受信したアクセス要求のアクセス対象記憶領域が前記第二の記憶領域内の記憶領域である場合に、アクセス要求を前記第二のストレージシステム宛に送信することを特徴とする計算機システム。
15. 請求項１４記載の計算機システムにおいて、
    前記第二のストレージシステムは前記第二の記憶領域を第二の下位論理デバイスとして管理しており、
    前記第一のストレージシステムは、前記第二の下位論理デバイスを第一の仮想デバイスとして管理し、前記第一の記憶領域を第一の物理デバイスとして管理し、前記第一の物理デバイスと前記第一の仮想デバイスとから構成される記憶領域を第一の下位論理デバイスとして管理しており、
    前記スイッチは、前記第一の下位論理デバイスを、上位論理デバイスとして管理しており、
    前記スイッチは、計算機から前記上位論理デバイスに対するアクセス要求を受信した場合に、前記第一のストレージシステムに前記第一の下位論理デバイス宛のアクセス要求を送信し、
    前記第一のストレージシステムは、受信したアクセス要求のアクセス対象記憶領域が前記第二の記憶領域内の記憶領域である場合に、前記第二の下位論理デバイス宛のアクセス要求を前記第二のストレージシステムに送信することを特徴とする計算機システム。
16. 請求項１５記載の計算機システムにおいて、
    前記第一のストレージシステムは、前記第二の下位論理デバイスに対応付けられた、前記第二のストレージシステムが有するポートのポートIDを指定したアクセス要求を、前記第二のストレージシステムに送信することを特徴とする計算機システム。
17. スイッチを介して計算機と接続される第一のストレージシステムであって、
    少なくとも１のディスクと、
    該少なくとも１のディスクへの入出力を制御する制御プロセッサと、
    スイッチと接続されるポートを有し、
    スイッチを介して、少なくとも１のディスクと該少なくとも１のディスクへの入出力を制御する制御プロセッサを有する第二のストレージシステムと接続され、
    前記制御プロセッサは、第一のストレージシステム内に存在する第一の記憶領域と、第二のストレージシステム内に存在する第二の記憶領域とから構成される第一の論理デバイスを管理しており、
    前記ポートを介して前記第一の論理デバイス宛のアクセス要求を受信した場合に、前記制御プロセッサは、アクセス対象の記憶領域が前記第二の記憶領域に含まれる場合に前記第二のストレージシステム宛にアクセス要求を送信することを特徴とする第一のストレージシステム。
18. 請求項１７記載の第一のストレージシステムであって、
    前記制御プロセッサは、前記第二のストレージシステムが第二の下位論理デバイスとして管理している前記第二の記憶領域を第一の仮想デバイスとして管理し、前記第一の記憶領域を第一の物理デバイスとして管理し、前記第一の仮想デバイス及び前記第一の物理デバイスとを有する記憶領域を第一の下位論理デバイスとして管理し、
    前記ポートを介して前記第一の下位論理デバイス宛のアクセス要求を受信した場合に、前記制御プロセッサは、アクセス対象の記憶領域が前記仮想デバイス内の記憶領域であるか否かを判断し、アクセス対象の記憶領域が前記仮想デバイス内の記憶領域である場合には、前記第二の下位論理デバイス宛のアクセス要求を前記第二のストレージシステムに送信することを特徴とする第一のストレージシステム。
19. 請求項１８記載の第一のストレージシステムであって、
    前記制御プロセッサは、前記第二の下位論理デバイスに対応付けられている、前記第二のストレージシステムが有するポートのポートIDを有するアクセス要求を、前記第二のストレージシステムに送信することを特徴とする第一のストレージシステム。
    

Images