JP2023136323A - ストレージシステム - Google Patents

Abstract

【課題】ホストからのライトアクセスに基づくデータの冗長化と、ライトアクセスに対する応答性と、をホストの要求に合わせて、システム運用できるストレージシステムを提供する。【解決手段】ストレージシステムは、ホスト１２０がアクセスするボリューム２１３を提供し、データの信頼性に係る信頼性ポリシと、前記ボリュームへのアクセスに対する応答性能に係る性能ポリシとを、当該ボリュームに設定し、信頼性ポリシに基づいて、ボリュームにかかるデータを処理するノードに対する、当該データの冗長データを処理するノードを決定し、決定したノードが性能ポリシに従って、ホストからのボリュームへのアクセスに対する結果を応答する。【選択図】図２

Description

本発明は、分散ストレージシステムに関する。

分散ストレージシステムとして、従来から特許文献１，２に記載されたものが存在する。特許文献１は、ネットワークを介して接続された複数の汎用サーバ（計算機）のローカルストレージを、ストレージ制御ソフトウェアにより統合し、１つのストレージプールとし、当該ストレージプールから仮想ボリュームを提供し、さらに仮想ボリュームにデータが書き込まれると、異なるサーバに格納されるデータを組み合わせ、パリティを算出し、データとパリティを異なるサーバのドライブに格納することで、サーバ障害からデータを保護する技術を開示している。本ストレージシステムは、サーバを追加することでストレージ容量と性能をスケールアウトできることを特徴としている。

特許文献２は、複数のストレージを、ネットワークを介して接続して、例えば異なるデータセンタに属するストレージ上の複数の仮想ボリュームでペアを作成し、片方の仮想ボリュームにデータを書き込む際、ペアを組んだ他の仮想ボリュームにもデータを書き込むことで、仮想ボリュームのペア間でその内容を同期し、冗長度を高める技術を開示している。

米国特許出願公開第２０１６／０３７１１４５号 米国特許出願公開第２０１０／０２０５４７９号

特許文献１の技術に基づき、分散ストレージシステムがホストに仮想ボリュームを提供する場合、仮想ボリュームへのデータの書き込みがあると、ボリュームにデータを、複数サーバのドライブにデータを書き込んで応答を返すため、ホストからＩＯ要求があってから応答を返すまでの時間（レスポンスタイム）は、サーバのドライブへの書き込みに要する時間と、サーバ間の通信時間の和より短縮できない。

ホストのアプリケーションによっては、仮想ボリュームをキャッシュとして使用するためにより短いレスポンスタイムを要求する一方、冗長化を必要としないケースがあるが、特許文献１の技術ではこのようなユースケースに対応できない課題がある。

また特許文献１が開示する汎用サーバで構成されるストレージシステムに、特許文献２の技術を適用すると、サーバ間で冗長化したデータを、さらに他のストレージシステムと冗長化することとなり、２段階での冗長化を実施することとなる。

ホストのアプリケーションによっては、仮想ボリュームの同一データセンタ内での冗長化を要求せず、他のデータセンタとの冗長化を要求するケースがあるが、特許文献１、特許文献２の技術ではこのようなユースケースに対応できない課題がある。

そこで、本発明は、ホストからのライトアクセスに基づくデータの冗長化と、ライトアクセスに対する応答性と、をホストの要求に合わせるように、分散ストレージシステムを運用できることを目的とする。

前記目的を達成するために、本手段は、ネットワークを介して互いに接続する複数のノードと、記憶デバイスと、を備え、当該複数のノードの夫々は、前記記憶デバイスに対して入出力されるデータを処理するプロセッサと、メモリと、を有する、ストレージシステムであって、前記プロセッサは、ホストがアクセスするボリュームを提供し、データの信頼性に係る信頼性ポリシと、前記ボリュームへのアクセスに対する応答性能に係る性能ポリシとを、当該ボリュームに設定し、前記信頼性ポリシに基づいて、前記ボリュームにかかるデータを処理するノードに対する、当該データの冗長データを処理するノードを決定し、前記性能ポリシに基づいて、前記ボリュームへのアクセスに対する結果を応答するために前記データまたは前記冗長データを格納するメモリまたは記憶デバイスを、それぞれのノードに対して決定し、前記ホストからライト要求を受信した場合に、前記ライト要求にかかるデータを前記データを処理するノードの前記性能ポリシに基づいて決定されたメモリまたは記憶デバイスに格納され、その冗長データが前記冗長データを処理するノードの前記性能ポリシに基づいて決定されたメモリまたは記憶デバイスに格納されたら、前記ホストに応答する、というものである。

ホストからのライトアクセスに基づくデータの冗長化と、ライトアクセスに対する応答性と、をホストの要求に合わせるように、分散ストレージシステムを運用できる。

第１の実施の形態によるストレージシステムの物理構成の一例を示す図である。 第１の実施の形態によるストレージシステムの論理構成の一例を示す図である。 第１の実施の形態によるメモリ上に配置する情報の一例を示す図である。 第１の実施の形態によるクラスタ構成管理テーブルの一例を示す図である。 第１の実施の形態によるデータ保護セット管理テーブルの一例を示す図である。 第１の実施の形態によるストレージプール管理テーブルの一例を示す図である。 第１の実施の形態による仮想ボリューム管理テーブルの一例を示す図である。 第１の実施の形態によるキャッシュデータ管理テーブルの一例を示す図である。 第１の実施の形態によるパフォーマンスモニタ情報管理テーブルの一例を示す図である。 第１の実施の形態によるリード処理に係るフローチャートの一例を示す図である。 第１の実施の形態によるライト処理に係るフローチャートの一例を示す図である。 第１の実施の形態による自系ノードでの記憶デバイスへのライト処理に係るフローチャートの一例を示す図である。 第１の実施の形態による他系ノードでの記憶デバイスへのライト処理に係るフローチャートの一例を示す図である。 第１の実施の形態による非同期デステージ処理に係るフローチャートの一例を示す図である。 第１の実施の形態による冗長化先ノード・記憶デバイス決定処理に係るフローチャートの一例を示す図である。 第１の実施の形態による冗長化先ノード・記憶デバイス変更処理に係るフローチャートの一例を示す図である。 第１の実施の形態による仮想ボリューム移動処理に係るフローチャートの一例を示す図である。 第１の実施の形態によるパリティグループ構成変更処理に係るフローチャートの一例を示す図である。 第１の実施の形態によるパフォーマンスモニタ処理に係るフローチャートの一例を示す図である。 第１の実施の形態による性能モニタベース冗長化先切替処理に係るフローチャートの一例を示す図である。 第１の実施の形態による性能指標ベースポリシ決定処理に係るフローチャートの性能見積処理部の一例を示す図である。 第１の実施の形態による性能指標ベースポリシ決定処理に係るフローチャートのポリシ決定部の一例を示す図である。 第１の実施の形態によるポリシ性能情報管理テーブルの一例を示す図である。

以下、図面を参照し、本発明の実施形態を説明する。以下の記載および図面は、説明の明確化のため、適宜簡素化、省略がなされている。また実施形態の中で説明されている特徴の組み合わせのすべてが発明の解決手段に必要とは限らない。以下説明では、「テーブル」を用いて情報を説明することがあるが、情報は他のデータ構造にて表現されてもよい。データ構造に依存しないことを示すために「ＸＸテーブル」、「ＸＸリスト」等を「ＸＸ情報」と呼ぶことがある。各情報の内容を説明する際に、「識別情報」、「識別子」、「名」、「ＩＤ」、「番号」等の表現を用いるが、これらについてはお互いに置換が可能である。

図１において、１００は全体として第１の実施の形態によるストレージシステムを示す。図１は、ストレージシステム１００に係る物理構成の一例を示す図である。ストレージシステム１００には、１以上のリージョン１０１が設けられてよい。各リージョン１０１は、ネットワーク１１０を介して接続され、互いに通信可能である。ネットワーク１１０は、例えばＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）であるが、ＷＡＮに限定するものではない。

リージョン１０１は、複数のデータセンタで構成される拠点等であり、１以上の可用性ゾーン１０２が設けられてよい。各可用性ゾーン１０２は、ネットワーク１１０を介して接続され、互いに通信可能である。ネットワーク１１０は、例えばＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）であるが、ＷＡＮに限定するものではない。

可用性ゾーン１０２は、データセンダ等であり、１以上のノード１２０を含んで構成される。ノード１２０は一般的な計算機の構成を備えてよい。ノード１２０は例えばプロセッサ１２１、メモリ１２２等を含む１以上のプロセッサパッケージ１２３、１以上のドライブ１２４、１以上のポート１２５を含んで構成される。各構成要素は内部バス１２６を介して接続される。

プロセッサ１２１は、例えばＣＰＵであり、各種処理を行う。メモリ１２２は各種データを格納する。格納するデータは、例えばストレージシステム１００とノード１２０の機能を実現する上で必要な情報や、プロセッサ１２１が実行するプログラムである。メモリ１２２は、揮発性のＤＲＡＭであってもよいし、不揮発性のＳＣＭ（Ｓｔｏｒａｇｅ Ｃｌａｓｓ Ｍｅｍｏｒｙ）であってもよいし、その他の記憶デバイスであってもよい。

ドライブ１２４は、各種データ、プログラムを記憶する。ドライブ１２４は、ＳＡＳ（Ｓｅｒｉａｌ Ａｔｔａｃｈｅｄ ＳＣＳＩ）またはＳＡＴＡ（Ｓｅｒｉａｌ Ａｄｖａｎｃｅｄ Ｔｅｃｈｎｏｌｏｇｙ Ａｔｔａｃｈｍｅｎｔ）接続のＨＤＤやＳＳＤ、ＮＶＭｅ（Ｎｏｎ－Ｖｏｌａｔｉｌｅ Ｍｅｍｏｒｙ Ｅｘｐｒｅｓｓ）接続のＳＳＤの他、ＳＣＭ等であってもよく、記憶デバイスの一例である。

ポート１２５は、ネットワーク１３０に接続され、可用性ゾーン１０２内の他のノード１２０と互いに通信可能である。ネットワーク１３０は、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）であるが、ＬＡＮに限定するものではない。

ストレージシステム１００に係る物理構成は、上述の内容に限定されるものではない。例えば、ネットワーク１１０、１３０については、冗長化されていてもよい。また、例えば、ネットワーク１１０は、管理用のネットワークとストレージ用のネットワークとで分離してもよく、接続規格は、Ｅｔｈｅｒｎｅｔ（登録商標）、Ｉｎｆｉｎｉｂａｎｄ、無線でもよく、接続トポロジも図１に示す構成に限定しない。

図２は、ストレージシステムの論理構成の一例を示す図である。ストレージシステム１００では、複数ノードの物理ドライブを仮想的に統合し、ストレージプール２１４が構成される。ストレージシステム１００では、シンプロビジョニングの機能を用いて、ホストノード１２０が利用する領域にのみ、物理容量が割り当てられる。

各ノードのドライブ１２４はライトデータ、パリティ等のデータを格納するデータ格納領域を有する。論理ドライブ２１１は、ドライブ１２４のデータ格納領域の連続した、全部もしくは一部の領域である。

パリティグループ２１２は、複数ノード１２０のドライブ１２４の論理ドライブ２１１を組み合わせて構築する。パリティグループ２１２はデータ保護ポリシを持ち、例えばデータ保護ポリシが２Ｄ１Ｐの場合は、異なるノード１２０のドライブ１２４から確保した３個の論理ドライブ２１１からパリティグループ２１２を構築する。

ここで、データ保護ポリシとしては、例えば、ＥＣ（Ｅｒａｓｕｒｅ Ｃｏｄｉｎｇ）がある。なお、ＥＣとしては、データローカリティを保持しない第１の方式と、データローカリティを保持する第２の方式（例えば、国際公開第２０１６／５２６６５号に記載の方式）とがあるが、ストレージシステム１００には、何れの方式も適用可能である。なお、本実施の形態では、第２の方式を適用したケースを例に挙げて主に説明する。

付言するならば、例えば、第１の方式の２Ｄ１ＰのＥＣでは、ライト要求のデータを第１のデータと第２のデータとに分け、第１のデータを第１のノード１２０に格納し、第２のデータを第２のノード１２０に格納し、第１のデータおよび第２のデータで計算されたパリティを第３のノード１２０に格納することで冗長化が行われる。また、例えば、第２の方式の２Ｄ１ＰのＥＣでは、ライト要求のデータを第１のデータと第２のデータとに分け、第１のデータおよび第２のデータを第１のノード１２０（自ノード１２０）に格納し、第１のデータのパリティを第２のノード１２０に格納し、第２のデータのパリティを第３のノード１２０に格納することで冗長化が行われる。

パリティグループ２１２からは、プールボリューム２１３が切り出される。プールボリューム２１３は、各ノード１２０のストレージプール２１４に容量を割り当てる単位である。１つのパリティグループ２１２から１つのプールボリューム２１３が切り出されてもよいし、複数のプールボリューム２１３が切り出されてよい。

付言するならば、例えば、データ保護ポリシが２Ｄ１Ｐである場合、データの格納領域として利用できるのは、パリティグループ２１２に割り当てられた論理ドライブ２１１の総量の２／３となり、パリティの格納領域として利用できるのは、パリティグループ２１２に割り当てられた論理ドライブ２１１の総量の１／３となる。つまり、プールボリューム２１３として切り出せる最大の容量は、データ保護ポリシに応じて異なる。

切り出されたプールボリューム２１３は、ストレージプール２１４にアタッチされる。ストレージプール２１４は、１以上のプールボリューム２１３を含んで構成される。ストレージプール２１４からは、アプリケーション１４１により利用される仮想ボリューム２１５が切り出される。つまり、ストレージプログラム２００は、使用者の要求に応じた容量をドライブ１２４に割り当てず、仮想ボリューム２１５として割り当てる。なお仮想ボリューム２１５を作成した時点では、物理的な領域を割り当てない。

例えば、ストレージプログラム２００は、アプリケーション１４１からライト要求を受信した場合、新規のライトであるときは、仮想ボリューム２１５のページ２１６（より詳細には、ページ２１６に紐づく論理ドライブ２１１の物理領域）を割り当てる。なお、ページ２１６には、プールボリューム２１３のページ２１６が対応付けられている。更新のライトであるときは、ストレージプログラム２００は、割り当てたページ２１６に紐づく論理ドライブ２１１の物理領域を特定してデータを更新する。なお、ライト要求のデータ（または後述の中間データ）は、データの冗長化に係る他のノード１２０に転送されてパリティが更新される。仮想ボリューム２１５とアプリケーション１４１は、フロントエンドパス２２１で接続される。

このように、ストレージプログラム２００は、ドライブ１２４を共有のストレージプール２１４として管理し、仮想ボリューム２１５に書き込まれたデータ量に応じてドライブ１２４の容量を割り当てる。これにより、ドライブ１２４の容量の無駄をなくし、効率的な運用を行う。

以下では、データを更新するにあたり、当該データは、ライト要求を受領したノード１２０のドライブ１２４（ローカルドライブ）に格納される構成（データローカリティを維持し、リード時のネットワークオーバヘッドを排除する構成）を例に挙げて主に説明する。

なお、データにアクセスするアプリケーション１４１は、ホストノード１２０に設けられて動作するものであってもよいし、ストレージプログラム２００と同一ノード１２０に設けられて動作するものであってもよいし、別のノード１２０に設けられて動作するものであってもよい。

図３は、メモリ１２２に配置する情報の一例を示す図である。メモリ１２２には、ドライブ１２４から読み出した制御情報テーブル３１０、ストレージプログラム３２０を配置する。制御情報テーブル３１０、ストレージプログラム３２０は、停電時等に電源を喪失してもデータを失わないように、不揮発のドライブ１２４にも格納する。

制御情報テーブル３１０には、クラスタ構成管理テーブル３１１、データ保護セット管理テーブル３１２、ストレージプール管理テーブル３１３、ボリューム管理テーブル３１４、キャッシュデータ管理テーブル３１５、性能モニタ情報管理テーブル３１６、ポリシ性能情報管理テーブル３１７が含まれる。各テーブルの詳細は図４～図９、図２２にてそれぞれ説明する。

ストレージプログラム３２０は、リード処理プログラム３２１と、ライト処理プログラム３２２と、自系ノードデータライトプログラム３２３と、他系ノードデータライトプログラム３２４と、非同期デステージ処理プログラム３２５と、冗長化先ノード・応答記憶デバイス決定プログラム３２６と、冗長化先ノード・応答記憶デバイス変更プログラム３２７と、ボリューム移動プログラム３２８と、パリティグループ構成変更プログラム３２９と、パフォーマンスモニタプログラム３３０と、性能モニタベース冗長化先切替プログラム３３１と、性能指標ベースポリシ決定プログラム３３２を備える。各プログラムの詳細は図１０～図２１にてそれぞれ説明する。

ストレージプログラム３２０等は例えば、プロセッサ１２１がドライブ１２４に格納されたプログラムをメモリ１２２に読み出して実行すること（ソフトウェア）により実現されてもよいし、専用回路等のハードウェアにより実現されてもよいし、ソフトウェアとハードウェアとを組み合わせて実現されてもよい。また、ノード１２０の機能の一部は、ノード１２０と通信可能な他のコンピュータにより実現されてもよい。

図４は、クラスタ構成管理テーブル３１１の一例を示した図である。クラスタ構成管理テーブル３１１はリージョン１０１、可用性ゾーン１０２、ノード１２０、ドライブ１２４の情報を管理するために用いる。

クラスタ構成管理テーブル３１１は、リージョン構成管理テーブル４００、可用性ゾーン管理テーブル４１０、ノード構成管理テーブル４２０、ドライブ構成管理テーブル４３０、キャッシュデバイス構成管理テーブル４４０を含む。

リージョン構成管理テーブル４００は、リージョン１０１に係る情報（リージョン１０１と可用性ゾーン１０２の関係等）を管理する。より具体的には、リージョン構成管理テーブル４００は、リージョン番号４０１と、状態４０２と、可用性ゾーン番号リスト４０３とを対応づけて管理する。

リージョン番号４０１は、リージョン１０１を識別可能な識別情報である。状態４０２は、リージョン１０１の状態（ＮＯＲＭＡＬ、ＷＡＲＮＩＮＧ、ＦＡＩＬＵＲＥ等）を示す。可用性ゾーン番号リスト４０３は、リージョン１０１に設けられた可用性ゾーン１０２を識別可能な識別情報のリストである。

可用性ゾーン構成管理テーブル４１０は、リージョン１０１ごとに設けられ、可用性ゾーン１０２に係る情報（可用性ゾーン１０２とノード１２０の関係等）を管理する。より具体的には、可用性ゾーン構成管理テーブル４１０は、可用性ゾーン番号４１１と、状態４１２と、ノード番号リスト４１３とを対応づけて管理する。

可用性ゾーン番号４１１は、可用性ゾーン１０２を識別可能な識別情報である。状態４１２は、可用性ゾーン１０２の状態（ＮＯＲＭＡＬ、ＷＡＲＮＩＮＧ、ＦＡＩＬＵＲＥ等）を示す。ノード番号リスト４１３は、可用性ゾーン１０２に設けられたノード１２０を識別可能な識別情報のリストである。

ノード構成管理テーブル４２０は、可用性ゾーン１０２ごとに設けられ、ノード１２０に係る情報（ノード１２０とドライブ１２４の関係等）を管理する。より具体的には、ノード構成管理テーブ４２０は、ノード番号４２１と、状態４２２と、ドライブ番号リスト４２３と、キャッシュデバイス番号リスト４２４とを対応づけて管理する。

ノード番号４２１は、ノード１２０を識別可能な識別情報である。状態４２２は、ノード１２０の状態（ＮＯＲＭＡＬ、ＷＡＲＮＩＮＧ、ＦＡＩＬＵＲＥ等）を示す。ドライブ番号リスト４２３は、ノード１２０に設けられたドライブ１２４を識別可能な識別情報のリストである。キャッシュデバイスＩＤリスト４２４は、ノード１２０に設けられ、キャッシュとして一時的にデータを格納するために使用できるメモリ１２２を識別可能な識別情報である、
ドライブ構成管理テーブル４３０は、ノード１２０ごとに設けられ、ドライブ１２４に係る情報（ドライブ１２４の容量等）を管理する。より具体的には、ドライブ構成管理テーブ４３０は、ドライブ番号４３１と、状態４３２と、サイズ４３３とを対応づけて管理する。

ドライブ番号４３０は、ドライブ１２４を識別可能な識別情報である。状態４３２は、ドライブ１２４の状態（ＮＯＲＭＡＬ、ＷＡＲＮＩＮＧ、ＦＡＩＬＵＲＥ等）を示す。サイズ４３３は、ドライブ１２４の容量を示す情報であり、単位は例えばＴＢ（テラバイト）、ＧＢ（ギガバイト）である。

キャッシュデバイス構成管理テーブル４４０は、ノード１２０ごとに設けられ、キャッシュデバイスに係る情報を管理する。より具体的には、キャッシュデバイス構成管理テーブル４４０は、キャッシュデバイス番号４４１と、種別４４２と、揮発性４４３と、性能４４４とを対応づけて管理する。

キャッシュデバイス番号４４１は、メモリ１２２としてノード１２０に設けられたデバイスのうち、キャッシュとして使用可能なデバイスを識別可能な識別情報である。種別４４２は、当該キャッシュデバイスの種別（ＤＲＡＭ、ＳＣＭ等）を示す。揮発性４４３は当該キャッシュデバイスの揮発性の有無を示す。性能４４４は、当該キャッシュデバイスの性能を示す情報であり、ＨＩＧＨ、ＭＩＤＤＬＥ、ＬＯＷ等である。性能情報４４４のラベリング例として、種別４４２がＤＲＡＭのキャッシュデバイスにはＨＩＧＨをラベリングし、種別４４２がＳＣＭのキャッシュデバイスにはＭＩＤＤＬＥをラベリングする。

図５は、データ保護セット管理テーブルの一例を示す図である。データ保護セット管理テーブル３１２は、プールボリューム２１３、パリティグループ２１２、論理ドライブ２１１を管理するために用いる。データ保護セット管理テーブル３１２は、プールボリューム管理テーブル５１０、パリティグループ管理テーブル５２０、論理ドライブ管理テーブル５３０、ストライプマッピングテーブル５４０を含む。

プールボリューム管理テーブル５１０は、プールボリューム２１３に係る情報（プールボリューム２１３とパリティグループ２１２との関係等）を管理する。より具体的には、プールボリューム管理テーブル５１０は、プールボリューム番号５１１と、サイズ５１２と、パリティグループ番号５１３と、論理ドライブ番号５１４とを対応づけて管理する。

プールボリューム番号５１１は、プールボリューム２１３を識別可能な識別情報である。サイズ５１２はプールボリューム２１３の容量を示す情報であり、単位は例えばＴＢ（テラバイト）、ＧＢ（ギガバイト）である。パリティグループ番号５１３はプールボリューム２１３が属するパリティグループ２１２を識別可能な識別情報である。論理ドライブ番号５１４は、プールボリューム２１３にデータ格納領域を割り当てている論理ドライブ２１１の識別可能な識別情報である。

パリティグループ管理テーブル５２０は、パリティグループ２１２に係る情報（パリティグループ２１２と論理ドライブ２１１との関係等）を管理する。より具体的には、パリティグループ管理テーブル５２０は、パリティグループ番号５２１と、冗長化ポリシ５２２と、論理ドライブ番号リスト５２３と、状態５２４とを対応づけて管理する。

パリティグループ番号５２１は、パリティグループ２１２を識別可能な識別情報である。冗長化ポリシ５２２は、パリティグループ２１２の冗長化方式を示す情報である。論理ドライブ番号リスト５２３はパリティグループ２１２を構成する論理ドライブ２１１を識別可能な識別情報のリストである。状態５２４は、パリティグループの構成変更の状態を示す情報（正常、変更、作成等）を示す。状態の示す内容は、例えば状態が「正常」であるときは、パリティグループ２１２の構成変更は行われていないことを示す。

状態が「変更」であるときは、パリティグループ２１２を構成する論理ドライブ２１１のうちいずれかを同パリティグループから外し、新たに他の論理ドライブ２１１を追加する論理ドライブ２１１の入れ替え処理、もしくは同パリティグループからいずれかの論理ドライブ２１１を削除する除外処理、もしくは同パリティグループに他の論理ドライブ２１１を追加する追加処理が行われていることを示す。

論理ドライブ入れ替え処理では、あるパリティグループから除外する論理ドライブ２１１（図５のパリティグループ管理テーブル５２０を例にとると、パリティグループ＃１における論理ドライブ＃５）と、パリティグループに残す論理ドライブ２１１（前記の図５の例における論理ドライブ＃３、＃４）との間でデータを冗長化したまま、同パリティグループに追加する論理ドライブ２１１（前記の図５の例における論理ドライブ＃１６）と、前記パリティグループに残す論理ドライブ２１１（前記図５の例における論理ドライブ＃３、＃４）との間でパリティデータを生成し、論理ドライブ２１１のパリティグループ構成変更時のための予備領域に生成したパリティデータを書き込んで冗長化を行う。前記追加する論理ドライブ２１１と、前記パリティグループに残す論理ドライブ２１１との間で冗長化が完了した時点で、論理ドライブ番号リスト５２３から前記除外する論理ドライブ２１１を削除し、状態５１４は「正常」に戻す。

状態が「作成」であるときは、論理ドライブ２１２を使用して、パリティグループ２１２を新規作成している状態であることを示す。この処理では、新規に作成するパリティグループ２１２に追加する論理ドライブの間でパリティデータを生成し、論理ドライブ２１１のパリティグループ構成変更時のための予備領域にパリティデータを書き込む。前記追加する論理ドライブ２１１の間で冗長化が完了した時点で、状態５１４は「正常」に戻す。

論理ドライブ管理テーブル５３０は、論理ドライブ２１１に係る情報（論理ドライブ２１１とドライブ１２４との関係等）を管理する。より具体的には、論理ドライブ管理テーブル５３０は、論理ドライブ番号５３１と、開始オフセット５３２と、サイズ５３３と、ドライブ番号５３４とを対応づけて管理する。

論理ドライブ番号５３１は、論理ドライブ２１１を識別可能な識別情報である。開始オフセット５３２は、論理ドライブ２１１をドライブ１２４から切り出す時の、ドライブ１２４における開始アドレスを示す。サイズ５３３は、論理ドライブ２１１の容量を示す情報であり、単位は例えばＴＢ（テラバイト）、ＧＢ（ギガバイト）である。ドライブ番号５３４は、論理ドライブ２１１に領域を割り当てるドライブ１２４を識別可能な識別情報である。

ストライプマッピングテーブル（Ｓｔｒｉｐｅ Ｍａｐｐｉｎｇ Ｔａｂｌｅ、ＳＭＴ）５４０は、パリティグループ２１２に係る情報（データとパリティの格納先アドレスを計算するための情報）を格納する。一例として、ＥＣ（Ｅｒａｓｕｒｅ Ｃｏｄｉｎｇ）（２Ｄ１Ｐ）のマッピングテーブル５４１、およびＭｉｒｒｏｒ（３－Ｒｅｐｌｉｃａｔｉｏｎ）のマッピングテーブル６４２の情報を格納する。２Ｄ１Ｐとは、２つのデータの組み合わせで１つのパリティを算出し、データを保護することを意味する。

ストライプマッピングテーブル５４１、５４２は、あるデータ領域の論理ドライブにおけるＬＢＡ（Ｌｏｇｉｃａｌ Ｂｌｏｃｋ Ａｄｄｒｅｓｓ）に対して、パリティ領域の論理ドライブにおけるＬＢＡを特定するために使用する。

ストライプマッピングテーブル５４１、５４２は、表や配列形式で格納されており、横軸の要素として論理ドライブＩＤに対応する情報を、縦軸の要素としてアドレスに対応する情報を保持している。横軸の情報は、直接的にノードＩＤの情報を格納していてもよいし、マッピングテーブル５４１、５４２の横軸のＩＤと論理ドライブＩＤとを対応づける別のテーブルを介して管理されていてもよい。縦軸の情報は、直接的にＬＢＡの情報を格納している必要はなく、例えばＬＢＡから縦軸のＩＤとＬＢＡとを対応づける別のテーブルを介して管理されてもよい。

図６は、ストレージプール管理テーブルの一例を示す図である。ストレージプール管理テーブル３１３は、ストレージプール２１４を管理するために用いる。ストレージプール管理テーブル３１３は、ストレージプール構成管理テーブル６１０を含む。

ストレージプール構成管理テーブル６１０は、ストレージプール２１４に係る情報（ストレージプール２１４とプールボリューム２１３の関係等）を管理する。より具体的には、ストレージプール構成管理テーブル６１０は、ストレージプール番号６１１と、合計容量６１２と、使用容量６１３と、プールボリューム６１４と、ノード番号６１５とを対応づけて管理する。

ストレージプール番号６１１は、ストレージプール２１４を識別可能な識別情報である。合計容量６１２は、ストレージプール２１４が仮想ボリューム２１５に割り当て可能な合計容量を示す情報であり、単位は例えばＴＢ（テラバイト）、ＧＢ（ギガバイト）である。使用容量６１３は、ストレージプール２１４のうち使用されている容量を示す情報であり、単位は例えばＴＢ（テラバイト）、ＧＢ（ギガバイト）である。プールボリューム６１４は、ストレージプール２１４に割り当てたプールボリューム２１３を識別可能な識別情報のリストある。ノード番号６１５は、ストレージプールを提供するノード１２０を識別可能な識別情報である。

図７は、仮想ボリューム管理テーブルの一例を示す図である。仮想ボリューム管理テーブル３１４は、仮想ボリューム２１５、仮想ボリュームのページ２１６を管理するために用いる。

仮想ボリューム管理テーブル３１４は、仮想ボリューム管理テーブル７１０、配置ノード管理テーブル７２０、応答記憶デバイス管理テーブル７３０、ページマッピングテーブル７４０を含む。

仮想ボリューム管理テーブル７１０は、仮想ボリューム２１５に係る情報（仮想ボリュームの容量等）を管理する。より具体的には、仮想ボリューム管理テーブル７１０は、仮想ボリューム番号７１１と、サイズ７１２と、信頼性ポリシ７１３と、性能ポリシ７１４とを対応づけて管理する。

仮想ボリューム番号７１１は、仮想ボリューム２１５を識別可能な識別情報である。サイズ７１２は、仮想ボリューム２１５の容量を示す情報であり、単位は例えばＴＢ（テラバイト）、ＧＢ（ギガバイト）である。

信頼性ポリシ７１３は、当該仮想ボリューム２１５に適用されるデータ信頼性を示す。信頼性ポリシ７１３として、例えば、異なる３リージョンに属するノードでデータを保護し、最大２ノードで障害が発生してもデータにアクセスできることが求められる仮想ボリューム２１５には「耐リージョン障害、３重」を設定する。他にも、例えば、異なる２個の可用性ゾーンに属するノードでデータを保護し、最大１ノードで障害が発生してもデータにアクセスできることが求められる仮想ボリューム２１５には「耐可用性ゾーン障害、２重」を設定する。他にも、例えば、複数ノードでのデータ保護が全く不要な仮想ボリューム２１５には「耐障害性不要」を設定する。

信頼性ポリシ７１３は、仮想ボリューム２１５を新規作成する際に、ストレージシステム１００の使用者に任意のポリシを決定させてもよいし、同じく仮想ボリューム２１５を新規作成する際に、ストレージプログラム２００が設定可能なポリシ一覧を提示し、使用者に任意のポリシを選択させて決定してもよい。また、同じく仮想ボリューム２１５を新規作成する際に、ストレージシステム１００の使用者に仮想ボリューム２１５に求める性能指標値を入力させ、この性能を達成できる信頼性ポリシ７１３を後述の性能ポリシ７１４と共に選択して決定してもよい。

性能ポリシ７１４は、当該仮想ボリューム２１５に要求される性能（ＨＩＧＨ、ＭＩＤＤＬＥ、ＬＯＷ等）を示す。性能ポリシ７１４は、仮想ボリューム２１５を新規作成する際に、ストレージシステム１００の使用者に任意のポリシを決定させてもよいし、同じく仮想ボリューム２１５を新規作成する際に、プログラムが設定可能なポリシ一覧を提示し、使用者に任意のポリシを選択させて決定してもよい。

配置ノード管理テーブル７２０は、仮想ボリューム２１５の配置ノード１２０に係る情報を管理する。より具体的には、配置ノード管理テーブル７２０は、仮想ボリューム番号７２１と、プライマリノード番号７２２と、冗長化先ノード番号リスト７２３とを対応づけて管理する。

仮想ボリューム番号７２１は、仮想ボリューム２１５を識別可能な識別情報である。プライマリノード番号７２２は、仮想ボリューム２１５のデータ本体を格納するドライブ１２４が属するノード１２０の識別可能な識別情報である。冗長化先ノード番号リスト７２３は、仮想ボリューム２１５のパリティデータを格納するドライブ１２４が属するノード１２０の識別可能な識別情報のリストである。

応答記憶デバイス管理テーブル７３０は、仮想ボリューム２１５ごとに設けられ、仮想ボリューム２１５のデータとパリティをノード１２０に格納する際の、各ノードにおける応答記憶デバイスに係る情報を管理する。より具体的には、応答記憶デバイス管理テーブル７３０は、ノード番号７３１と、応答記憶デバイス７３２とを対応づけて管理する。

ノード番号７３１は、ノード１２０を識別可能な識別情報である。応答記憶デバイス７３２は、データおよびパリティ格納先ノード１２０が、仮想ボリューム２１５のデータもしくはパリティを、どの記憶デバイスに書き込んだ時点で応答を返すかを示す情報である。ページマッピングテーブル７４０は、仮想ボリュームのシンプロビジョニングに係る情報を管理するもので、ページ２１６とプールボリューム２１３のマッピング情報等を格納する。より具体的には、ページマッピングテーブル７４０は、ページ番号７４１と、仮想ボリューム番号７４２と、仮想ボリュームＬＢＡ（Ｌｏｇｉｃａｌ Ｂｌｏｃｋ Ａｄｄｒｅｓｓ）７４３と、サイズ７４４と、プールボリューム番号７４５と、プールボリュームＬＢＡ ７４６とを対応づけて管理する。

ページ番号７４１は、ページ２１６を識別可能な識別情報である。仮想ボリューム番号７４２は、ページ２１６の属する仮想ボリューム２１５を識別可能な識別情報である。仮想ボリュームＬＢＡ ７４３は、ページ２１６の、仮想ボリューム２１５における開始位置を示す情報である。サイズ７４４は、ページ２１６の容量を示す情報であり、単位は例えばＭＢ（メガバイト）、ＫＢ（キロバイト）である。プールボリューム番号７４５は、ページ２１６に対応するプールボリューム２１３を識別可能な識別情報である。プールボリュームＬＢＡ ７４６は、ページ２１６の、プールボリューム２１３における開始位置を示す情報である。

ストレージプログラム２００は、仮想ボリューム２１５上のページ２１６にアクセスがあった際に、ページマッピングテーブル７４０を参照し、ページ２１６に対応するプールボリューム２１３のアドレスを取得する。ストレージプログラム２００は、仮想ボリューム２１５に対する新規ライトを受信する度に、ページ２１６の割当（ページ２１６とプールボリューム２１３の対応を示した新規レコードの、ページマッピングテーブル７４０への追加）を行う。

図８は、キャッシュデータ管理テーブルの一例を示す図である。キャッシュデータ管理テーブル３１５は、ノード１２０ごとに設けられ、メモリ上にキャッシュしたデータを管理するために用いる。キャッシュデータ管理テーブル３１５は、キャッシュマッピング情報テーブル８１０を含む。

キャッシュマッピング情報テーブル８１０は、メモリ上にキャッシュしたデータについて、ドライブ１２４のどの位置のデータであるかを示すアドレスと、メモリ上の書き込み位置のマッピング情報を管理する。より具体的には、キャッシュマッピング情報テーブル８１０は、ドライブ番号８１１と、ドライブＬＢＡ ８１２と、サイズ８１３と、メモリアドレス８１４とを対応づけて管理する。

ドライブ番号８１１は、キャッシュしたデータを格納するドライブ１２４を識別可能な識別情報である。ドライブＬＢＡ ８１２は、キャッシュデータのドライブ１２４における位置を示す情報である。サイズ８１３は、キャッシュしたデータの容量を示す情報であり、単位は例えばＭＢ（メガバイト）、ＫＢ（キロバイト）である。メモリアドレス８１４は、キャッシュデータのメモリ１２２における位置を示す情報である。

図９は、パフォーマンスモニタ情報管理テーブルの一例を示す図である。パフォーマンスモニタ情報管理テーブル３１６は、ノード１２０ごとに設けられ、各ノード１２０の性能情報を管理するために用いる。

パフォーマンスモニタ情報管理テーブル３１６は、プロセッサパフォーマンス情報テーブル９１０、メモリパフォーマンス情報テーブル９２０、ドライブパフォーマンス情報テーブル９３０、ネットワークパフォーマンス情報テーブル９４０、ノード間ネットワーク品質情報テーブル９５０を含む。

プロセッサパフォーマンス情報テーブル９１０は、ノード１２０上のプロセッサ１２１の使用率を管理する。より具体的には、プロセッサパフォーマンス情報テーブル９１０は、ＣＰＵ番号９１１、ＣＰＵ使用率９１２を対応づけて管理する。

ＣＰＵ番号９１１は、ノード１２０上のプロセッサ１２１を識別可能な識別情報である。ＣＰＵ使用率９１２は、プロセッサ１２１の使用率を示す情報である。

メモリパフォーマンス情報テーブル９２０は、ノード１２０上のメモリ１２２における残容量を管理する。より具体的には、メモリパフォーマンス情報テーブル９２０は、メモリ残容量９２１を管理する。メモリ残容量９２１を管理するは、ノード１２０上のメモリ１２２における残容量であり、単位は例えばＧＢ（ギガバイト）である。

ドライブパフォーマンス情報テーブル９３０は、ノード１２０上のドライブの性能を管理する。より具体的には、ドライブパフォーマンス情報テーブル９３０は、ドライブ番号９３１、リードＩＯＰＳ（Ｉｎｐｕｔ Ｏｕｔｐｕｔ Ｐｅｒ Ｓｅｃｏｎｄ）９３２、ライトＩＯＰＳ ９３３、リード帯域９３４、ライト帯域９３５を対応づけて管理する。

ドライブ番号９３１は、ノード１２０上のドライブ１２４を識別可能な識別情報である。リードＩＯＰＳ ９３２は、ドライブ１２４における１秒あたりのリードＩＯ数である。ライトＩＯＰＳ ９３３は、ドライブ１２４における１秒あたりのライトＩＯ数である。

リード帯域９３４は、ドライブ１２４におけるリード帯域であり、単位は例えばＭＢ／ｓ（Ｍｅｇａ Ｂｙｔｅ Ｐｅｒ Ｓｅｃｏｎｄ）である。ライト帯域９３５は、ドライブ１２４におけるライト帯域であり、単位は例えばＭＢ／ｓである。

ネットワークパフォーマンス情報テーブル９４０は、ノード上のポート１２５の性能を管理する。より具体的には、ネットワークパフォーマンス情報テーブル９４０は、ポート番号９４１、帯域９４２、帯域使用率９４３、受信帯域９４４、送信帯域９４５を対応づけて管理する。

ポート番号９４１は、ノード１２０上のポート１２５を識別可能な識別情報である。帯域９４２は、ポート１２５の帯域であり、単位は例えばＧｂｐｓ（Ｇｉｇａ Ｂｉｔ Ｐｅｒ Ｓｅｃｏｎｄ）やＭｂｐｓ（Ｍｅｇａ Ｂｉｔ Ｐｅｒ Ｓｅｃｏｎｄ）である。

帯域使用率９４３は、ポート１２５における帯域の使用率である。受信帯域９４４は、ポート１２５における受信データの帯域であり、単位は例えばＧｂｐｓやＭｂｐｓである。送信帯域９４５は、ポート１２５における送信データの帯域であり、単位は例えばＧｂｐｓやＭｂｐｓである。

ノード間ネットワーク品質情報テーブル９５０は、ノード間ネットワークの品質を管理する。より具体的には、ノード番号９５１、遅延時間９５２、再送率９５３を対応づけて管理する。

ノード番号９５１は、ノード１２０を識別可能な識別情報である。遅延時間９５２は、パフォーマンスモニタ情報管理テーブル３１６の管理対象ノード１２０と、ノード番号９５１で示されたノード１２０間における、ネットワークの遅延時間を示す情報である。再送率９５３は、パフォーマンスモニタ情報管理テーブル３１６の管理対象ノード１２０と、ノード番号９５１で示されたノード１２０間における、ネットワークのパケット再送率を示す情報である。

なお、ノード間ネットワーク品質情報テーブル９５０に記載するネットワーク品質情報は、例えばネットワークの遅延時間、再送率であるが、ネットワークの遅延時間、再送率に限定するものではない。

図１０は、リード処理に係るフローチャートの一例を示す図である。リード処理プログラム３２１は、アプリケーション１４１よりデータのリード処理要求があると、ノード１２０のドライブ１２４からデータを読み出す。リード処理要求は、リード先を指定する識別情報（ＬＵＮ（Ｌｏｇｉｃａｌ Ｕｎｉｔ Ｎｕｍｂｅｒ）のような仮想ボリュームＩＤ、ＬＢＡのようなアドレス等）を含む。データを格納するドライブ１２４が障害状態、もしくはノード１２０が閉塞状態である場合、冗長データを使ってデータを修復し、応答する。以下、詳細を説明する。ステップＳ１００１では、リード処理プログラム３２１は、リード処理要求を受けると、配置ノード管理テーブル７２０を参照して仮想ボリューム２１５のプライマリノードＩＤを取得する。

ステップＳ１００２ではステップＳ１００１で取得したプライマリノードＩＤが自系ノードであるかを判定する。より具体的には、Ｓ１００１で取得したプライマリノードＩＤと自系ノードのノードＩＤを比較して、同じＩＤである場合、自系ノードが仮想ボリューム２１５のデータを保存しているプライマリノードであると判定する。プライマリノードが自系ノードであると判定した場合、ステップＳ１００５に処理を進める。プライマリノードが自系ノードでないと判定した場合、ステップＳ１００３に処理を進める。

ステップＳ１００３では、リード処理プログラム３２１は、仮想ボリューム２１５のプライマリノードである他系ノード１２０にリード処理を転送する。ステップＳ１００４では、リード処理プログラム３２１は、ステップＳ１００３で転送したリード処理について、実行結果を待ち受け、受信し、ステップＳ１０１３に処理を進める。ステップＳ１００５では、リード処理プログラム３２１は、リード先の領域について排他を取得する。

ステップＳ１００６では、リード処理プログラム３２１は、ページマッピングテーブル７４０を参照して、アクセス先の仮想ボリューム２１５のページ２１６に、プールボリューム２１３を割り当てているかを判定する。より具体的には、ページマッピングテーブル７４０を参照して、仮想ボリューム２１５のリード先アドレスを含むページ２１６と、プールボリューム２１３のアドレスの対応を記載しているレコードが存在するかを判定する。

リード処理プログラム３２１は、ページ２１６にプールボリューム２１３の領域を割当済であると判定した場合、ステップＳ１００８に処理を進める。ページ２１６にプールボリューム２１３の領域を未割当であると判定した場合、ステップＳ１００７に処理を進める。

ステップＳ１００７では、リード処理プログラム３２１は、リード先にデータがないことを示す０データを生成する。ステップＳ１００８では、リード処理プログラム３２１は、リード先の仮想ボリューム２１５の領域に割り当てた、ドライブ１２４のアドレスを取得する。

ステップＳ１００９では、リード処理プログラム３２１は、キャッシュマッピングテーブル８１０を参照し、ドライブ１２４のアクセス先領域のデータがメモリ上にキャッシュされているかどうかを判定する。データがメモリ上に存在する場合、ステップＳ１０１０に処理を進める。データがメモリ上に存在しない場合、ステップＳ１０１１に処理を進める。

ステップＳ１０１０では、リード処理プログラム３２１は、メモリからデータを読み出す。ステップＳ１０１１では、リード処理プログラム３２１は、ドライブ１２４からデータを読み出す。ステップＳ１０１２では、リード処理プログラム３２１は、Ｓ１００５で取得した排他を解放する。ステップＳ１０１３では、リード処理プログラム３２１は、ホストにリード処理の結果を応答する。

図１１は、ライト処理に係るフローチャートの一例を示す図である。ライト処理プログラム３２２は、アプリケーション１４１よりデータのライト処理要求があると、ノード１２０のメモリ１２２もしくはドライブ１２４にデータを書き込む。ライト処理要求は、ライト先を指定する識別情報（ＬＵＮ（Ｌｏｇｉｃａｌ Ｕｎｉｔ Ｎｕｍｂｅｒ）のような仮想ボリュームＩＤ、ＬＢＡのようなアドレス等）を含む。以下、詳細を説明する。

ステップＳ１１０１では、ライト処理プログラム３２２は、ライト処理要求を受けると、配置ノード管理テーブル７２０を参照して仮想ボリューム２１５のプライマリノードＩＤを取得する。

ステップＳ１１０２では、ステップＳ１００１で取得したプライマリノードＩＤが自系ノードであるかを判定する。より具体的には、Ｓ１１０１で取得したプライマリノードＩＤと自系ノードのノードＩＤを比較して、同じＩＤである場合、自系ノードが仮想ボリューム２１５のデータを保存しているプライマリノードであると判定する。プライマリノードが自系ノードであると判定した場合、ステップＳ１１０５に処理を進める。プライマリノードが自系ノードでないと判定した場合、ステップＳ１１０３に処理を進める。

ステップＳ１１０３では、ライト処理プログラム３２２は、仮想ボリューム２１５のプライマリノードである他系ノード１２０にライト処理を転送する。ステップＳ１１０４では、ライト処理プログラム３２２は、ステップＳ１１０３で転送したライト処理について、実行結果を待ち受け、受信し、ステップＳ１１１９に処理を進める。

ステップＳ１１０５では、ライト処理プログラム３２２は、ライト先の領域について排他を取得する。ステップＳ１１０６では、ライト処理プログラム３２２は、ページマッピングテーブル７４０を参照して、アクセス先の仮想ボリューム２１５のページ２１６に、プールボリューム２１３を割り当てているかを判定する。ページ２１６にプールボリューム２１３の領域を割当済であると判定した場合、ステップＳ１１０８に処理を進める。ページ２１６にプールボリューム２１３の領域を未割当済であると判定した場合、ステップＳ１１０７に処理を進める。

ステップＳ１１０７では、ライト処理プログラム３２２は、アクセス先のページ２１６に、プールボリューム２１３の領域を割り当て、ページマッピングテーブル７４０にページ２１６とプールボリューム２１３の割り当て情報（ページ２１６の番号、ページ２１６の存在する仮想ボリューム２１５の番号、仮想ボリューム２１５におけるページ２１６の開始アドレス、ページ２１６のサイズ、ページ２１６に領域を割り当てたプールボリューム２１３の番号、プールボリューム２１３におけるページ２１６の開始アドレス）を記載する。

ステップＳ１１０８では、ライト処理プログラム３２２は、ライト先の仮想ボリューム２１５の領域に割り当てた、ドライブ１２４のアドレスを取得する。

なお本図１１では、ライト処理要求が来た時に、ステップＳ１１０８までの処理を行った後、ステップＳ１１０９以降の処理を行ってホストに応答を行う方式を説明するが、ライト処理要求が来た時点ではステップＳ１１０８までの処理を行った後、自系の応答記憶デバイスがメモリ１２２であれば、データを同デバイス上に書き込んでキャッシュしたのち、ステップＳ１１０９以降（ステップＳ１１０９を含む）の処理は行わずにホストに応答を返す方式でもよい。後者の方式では後述のデステージ処理にて本図１１で説明するステップＳ１１０９以降の処理を行う。

ステップＳ１１０９では、ライト処理プログラム３２２は、ドライブ１２４から書き込み前のデータ（旧データ）を読み出す。読み出し先のドライブ１２４が障害状態もしくはノード１２０が閉塞状態である場合、パリティを使って読み出しデータを復元し、旧データを読み出す。

ステップＳ１１１０では、ライト処理プログラム３２２は、配置ノード管理テーブル７２０を参照し、ライト先の仮想ボリューム２１５の冗長化先ノード番号リストを取得する。

ステップＳ１１１１では、ライト処理プログラム３２２は、ライト先の仮想ボリューム２１５に冗長化先ノードがあるかを判定する。より具体的には、ステップＳ１１１０で取得した冗長化先ノード番号リストに1個以上冗長化先ノード番号が含まれる場合は、冗長化先ノードありと判定する。冗長化先ノードありと判定した場合、ステップＳ１１１２に処理を進める。冗長化先ノードなしと判定した場合、ステップＳ１１１４に処理を進める。

ステップＳ１１１２では、ライト処理プログラム３２２は、ホストから受け取った新データと、ステップＳ１１０９で読み出した旧データより中間データを算出する。中間データは、データを部分的に構成する場合に用いるデータである。より具体的には、例えば旧データでデータＡをＡ１、Ａ２に分割し、Ａ１とＡ２よりパリティＡＰを生成している場合、中間データは、次のように求められる。
Ａ１（旧データ） ＸＯＲ Ａ２（旧データ）＝ＡＰ（旧パリティ）
Ａ１（新データ） ＸＯＲ Ａ１（旧データ）＝Ｍ（中間データ）
なお、新パリティについては、次のように求められる。
ＡＰ（旧パリティ） ＸＯＲ Ｍ（中間データ）＝ＡＰ（新パリティ）

ステップＳ１１１３では、ライト処理プログラム３２２は、冗長度に応じて（冗長度が２以上の場合、２以上のノード１２０に）中間データを転送する。中間データを受け取ったノード１２０は、ステップＳ１１１５の処理を実行する。なお、冗長化先ノードに転送するデータは、ここで挙げた中間データでもよいし、ホストからライト要求があったデータ本体の複製でもよい。データ本体を転送する場合、中間データ生成は不要となるため、ステップＳ１１０９、ステップＳ１１１２の処理は不要である。

ステップＳ１１１４では、ライト処理プログラム３２２は、後述の自系データライト処理プログラム３２３を実行し、自系のメモリ１２２もしくはドライブ１２４にデータを書き込む。ステップＳ１１１５では、中間データを受け取ったノード１２０は、後述の他系データライト処理プログラム３２４を実行し、パリティデータを更新する。

ステップＳ１１１６では、ライト処理プログラム３２２は、ステップＳ１１１１と同様にライト先の仮想ボリューム２１５に冗長化先ノードがあるかを判定する。冗長化先ノードありと判定した場合、ステップＳ１１１７に処理を進める。冗長化先ノードなしと判定した場合、ステップＳ１１１８に処理を進める。

ステップＳ１１１７では、ライト処理プログラム３２２は、Ｓ１１１３で他系ノード１２０に転送した中間データについて、冗長化先ノードからの応答を待ち受け、受信し、ステップＳ１１１８に処理を進める。ステップＳ１１１８では、ライト処理プログラム３２２は、Ｓ１１０５で取得した排他を解放する。ステップＳ１１１９では、ライト処理プログラム３２２は、ホストにライト処理の結果を応答する。

図１２は、自系ノードでの記憶デバイスへのライト処理に係るフローチャートの一例を示す図である。自系データライト処理プログラム３２３は、ライト処理プログラム３２２より書き込むデータ、データを書き込むドライブ１２４のアドレスを受け取ると、仮想ボリューム２１５に設定された応答記憶デバイスにデータを書き込む。以下、ノード１２０は揮発性メモリとしてＤＲＡＭ、不揮発メモリとしてＳＣＭを持つ場合を例として、詳細を説明する。

ステップＳ１２０１では、自系データライト処理プログラム３２３は、書き込み先のドライブ１２４のアドレスを取得する。ステップＳ１２０２では、自系データライト処理プログラム３２３は、応答記憶デバイス管理テーブル７３０から、自系ノードでデータの書き込みを行う記憶デバイスを取得する。

ステップＳ１２０３では、Ｓ１２０２で取得した書き込みを行う記憶デバイスを判定する。書き込みを行う記憶デバイスがドライブの場合、ステップＳ１２０４に処理を進める。同記憶デバイスがＳＣＭの場合、ステップＳ１２０５に処理を進める。同記憶デバイスがＤＲＡＭの場合、ステップＳ１２０６に処理を進める。

ステップＳ１２０４では、自系データライト処理プログラム３２３は、ドライブ１２４にデータを書き込む。ステップＳ１２０５では、自系データライト処理プログラム３２３は、メモリ１２２のうちＳＣＭにデータを書き込んでキャッシュする。ステップＳ１２０６では、自系データライト処理プログラム３２３は、メモリ１２２のうちＤＲＡＭにデータを書き込んでキャッシュする。

ステップＳ１２０７では、自系データライト処理プログラム３２３は、キャッシュマッピング情報テーブル８１０にレコードを追加し、ステップＳ１２０５、またはステップＳ１２０６でメモリ上にキャッシュしたデータの情報（ドライブの番号、ドライブでのＬＢＡ、サイズ、メモリ上での位置）を追記する。

図１３は、他系ノードでの記憶デバイスへのライト処理に係るフローチャートの一例を示す図である。他系データライト処理プログラム３２４は、ライト処理プログラム３２２より中間データを受け取ると、仮想ボリューム２１５に設定された応答記憶デバイスにデータを書き込み、ライト処理プログラム３２２に応答を返す。以下、詳細を説明する。
ステップＳ１３０１では、他系データライト処理プログラム３２４は、書き込み先のドライブ１２４のアドレスを取得する。

ステップＳ１３０２では、他系データライト処理プログラム３２４は、ドライブ１２４から書き込み前のデータ（旧パリティ）を読み出す。ステップＳ１３０３では、他系データライト処理プログラム３２４は、受け取った中間データと、ステップＳ１３０２で読み出した旧パリティより、新パリティを算出する。新パリティの算出手順は図１１のステップＳ１１１２で説明した通りである。

なお、図１１のステップＳ１１１３で、中間データではなく、データの複製を転送した場合、他系ノードではパリティではなくデータ本体を書き込むため、新パリティ生成のためのステップＳ１３０２、ステップＳ１３０３の処理は不要である。

ステップＳ１３０４では、他系データライト処理プログラム３２４は、応答記憶デバイス管理テーブル７３０から、冗長化先ノード１２０でデータの書き込みを行う記憶デバイスを取得する。

ステップＳ１３０５では、Ｓ１３０４で取得した書き込みを行う記憶デバイスを判定する。書き込みを行う記憶デバイスがドライブの場合、ステップＳ１３０６に処理を進める。同記憶デバイスがＳＣＭの場合、ステップＳ１３０７に処理を進める。同記憶デバイスがＤＲＡＭの場合、ステップＳ１３０８に処理を進める。

ステップＳ１３０６では、他系データライト処理プログラム３２４は、ドライブ１２４にデータを書き込む。ステップＳ１３０７では、他系データライト処理プログラム３２４は、メモリ１２２のうちＳＣＭにデータを書き込んでキャッシュする。ステップＳ１３０８では、他系データライト処理プログラム３２４は、メモリ１２２のうちＤＲＡＭにデータを書き込んでキャッシュする。

ステップＳ１３０９では、他系データライト処理プログラム３２４は、キャッシュマッピング情報テーブル８１０にレコードを追加し、ステップＳ１３０７、またはステップＳ１３０８でメモリ上にキャッシュしたデータの情報（ドライブの番号、ドライブでのＬＢＡ、サイズ、メモリ上での位置）を追記する。ステップＳ１３１０では、ライト処理プログラム３２２に応答を返す。

図１４は、非同期デステージ処理に係るフローチャートの一例を示す図である。非同期デステージ処理プログラム３２５は、メモリ１２２（揮発性メモリおよび不揮発メモリを含む）上に書き込まれ、ドライブ１２４には書き出されていないデータをドライブ１２４に書き出す。以下、詳細を説明する。

ステップＳ１４０１では、非同期デステージ処理プログラム３２５は、キャッシュマッピング情報テーブル８１０を参照して、キャッシュしたデータが存在するか判定する。データがあると判定した場合、ステップＳ１４０２に処理を進める。データがないと判定した場合、ステップＳ１４０７に処理を進める。

ステップＳ１４０２では、非同期デステージ処理プログラム３２５は、キャッシュマッピング情報テーブル８１０から、キャッシュしたデータの情報を１レコード分取り出す。
ステップＳ１４０３では、非同期デステージ処理プログラム３２５は、ステップＳ１４０２で取得したレコードに示されたメモリアドレスから、データを読み出す。

ステップＳ１４０４では、非同期デステージ処理プログラム３２５は、ステップＳ１４０３でメモリ１２２から読み出したデータを、ステップＳ１４０２で取得したレコードに示されているドライブ１２４のアドレスに書き出す。ステップＳ１４０５では、非同期デステージ処理プログラム３２５は、ステップＳ１４０２で取得したレコードに示されているメモリアドレスのデータをクリアする。ステップＳ１４０６では、非同期デステージ処理プログラム３２５は、ステップＳ１４０２で取り出したレコードを、キャッシュマッピング情報テーブル８１０から削除する。

ステップＳ１４０７では、非同期デステージ処理プログラム３２５は、一定期間休止する。休止期間が終了すると、再度ステップＳ１４０１に戻り処理を進める。

なお、図１１に示したライト処理において、ライト処理要求が来た時点ではステップＳ１１０８までの処理を行った後、自系の応答記憶デバイスがメモリ１２２であれば、データを同デバイス上に書き込んでキャッシュしたのち、ステップＳ１１０９以降の処理は行わずにホストに応答を返す方式を取った場合、本デステージ処理にてステップＳ１１０９からステップＳ１１１８までの処理を行う。より具体的には、ステップＳ１４０１からステップＳ１４０３までの処理を行った後、ステップＳ１１０９からステップＳ１１１８までの処理を行い、その後ステップＳ１４０５からステップＳ１４０７までの処理を行う。

図１５は、冗長化先ノード・応答記憶デバイス決定処理に係るフローチャートの一例を示す図である。冗長先ノード・応答記憶デバイス決定プログラム３２６は、ストレージシステム１００の使用者が仮想ボリューム作成操作を行った時に呼び出され、仮想ボリューム２１５に設定された信頼性ポリシおよび性能ポリシから、仮想ボリューム２１５をどのノード１２０で冗長化するか、およびノード１２０に含まれるどの記憶デバイスに書き込まれた時点でホストに応答を返すか、を決定する。本プログラムは、仮想ボリュームのサイズと、信頼性ポリシと、性能ポリシとを引数として実行する。以下、詳細を説明する。

ステップＳ１５０１では、冗長先ノード・応答記憶デバイス決定プログラム３２６は、ノード構成管理テーブル４２０より、システムを構成するノードの一覧を取得する。

ステップＳ１５０２では、冗長先ノード・応答記憶デバイス決定プログラム３２６は、新規に作成する仮想ボリューム２１５の、データ本体を格納するプライマリノードを決定する。プライマリノードの決定方法は、プライマリノードの番号を冗長先ノード・応答記憶デバイス決定プログラム３２６の引数とし、実行時に指定する方法でもよいし、管理プログラムがシステムの全ノードをストレージシステム１００の使用者に提示し、いずれかのノードを使用者に選択させ、プログラムは使用者が選択したノードをプライマリノードとする方法でもよいし、管理プログラムがシステムのサイト、可用性ゾーンを提示し、いずれかのサイト、可用性ゾーンを使用者に選択させ、プログラムは使用者が選択したサイト、可用性ゾーンに属するノードのうち、いずれか１ノードを選択してプライマリノードとする方法でもよいし、管理プログラムが全ノードの物理ドライブ使用率を取得して、最も物理ドライブ使用率が低いノードを選択してプライマリノードとする方法でもよいし、その他の方法でもよい。

ステップＳ１５０３では、冗長先ノード・応答記憶デバイス決定プログラム３２６は、当該仮想ボリュームに設定された信頼性ポリシを取得する。ステップＳ１５０４では、冗長先ノード・応答記憶デバイス決定プログラム３２６は、パリティグループ管理テーブル５２０を参照し、パリティグループ２１２の一覧を取得する。

ステップＳ１５０５では、冗長先ノード・応答記憶デバイス決定プログラム３２６は、論理ドライブ管理テーブル５３０を参照し、ステップＳ１５０４で取得した各パリティグループ２１２を構成する論理ドライブ２１１を算出する。さらにノード構成管理テーブル４２０を参照し、前記論理ドライブ２１１が属しているノード１２０を算出する。これらの情報から、プライマリノードに属する論理ドライブ２１１で構成されるパリティグループ２１２を検索する。

ステップＳ１５０６では、冗長先ノード・応答記憶デバイス決定プログラム３２６は、ステップＳ１５０５における検索に一致するパリティグループ２１２の存在の有無を判定する。ステップＳ１５０５での検索に一致するパリティグループ２１２が存在する場合、ステップＳ１５０７に処理を進める。ステップＳ１５０５での検索に一致するパリティグループ２１２が存在しない場合、ステップＳ１５１０に処理を進める。

ステップＳ１５０７では、冗長先ノード・応答記憶デバイス決定プログラム３２６は、ステップＳ１５０５で検出した、プライマリノードの論理ドライブ２１１で構成されるパリティグループ２１２のうち、信頼性ポリシに適合する構成のパリティグループ２１２を検索する。例えば当該仮想ボリュームの信頼性ポリシが「耐リージョン障害、３重」であれば、異なるリージョンに属するノード１２０間で、最大２ノードで障害が発生してもデータにアクセスできる冗長化がなされているパリティグループ２１２を検索し、信頼性ポリシが「耐可用性ゾーン障害、２重」であれば、異なる可用性ゾーンに属するノード１２０間で，最大１ノードで障害が発生してもデータにアクセスできる冗長化がなされているパリティグループ２１２を検索する。

ステップＳ１５０８では、冗長先ノード・応答記憶デバイス決定プログラム３２６は、ステップＳ１５０７における検索に一致するパリティグループ２１２の存在の有無を判定する。ステップＳ１５０７での検索に一致するパリティグループ２１２が存在する場合、ステップＳ１５０９に処理を進める。ステップＳ１５０７での検索に一致するパリティグループ２１２が存在しない場合、ステップＳ１５１０に処理を進める。

ステップＳ１５０９では、冗長先ノード・応答記憶デバイス決定プログラム３２６は、ステップＳ１５０７での検索に一致するパリティグループ２１２のうち、１個のパリティグループ２１２を選択する。ステップＳ１５０７において複数のパリティグループ２１２が検索に一致して、そのうちから１個パリティグループを選択する方式は、例えば管理プログラムがモニタ情報から、パリティグループ２１２を構成するドライブ１２４の平均使用率を算出し、同平均使用率が最も低いパリティグループ２１２を選択する方法でもよいし、ストレージシステム１００の使用者にパリティグループ一覧を提示して、使用者にそのうち１個を選択させる方法でもよいし、他の方法でもよい。

ステップＳ１５１０では、冗長先ノード・応答記憶デバイス決定プログラム３２６は、信頼性ポリシに設定された冗長度に従って、冗長先ノード（冗長度が２以上の場合、２以上のノード１２０）を選択する。冗長化先ノード１２０の選択方式は、例えば当該仮想ボリュームの信頼性ポリシが「耐リージョン障害、３重」であれば、プライマリノードと異なるリージョンに属する２個以上のノード１２０を選択し、当該仮想ボリュームの信頼性ポリシが「耐可用性ゾーン障害、２重」であれば、プライマリノードと異なる可用性ゾーンに属する１個以上のノード１２０を選択する。

複数のノード１２０の候補から1ノードを選択して冗長化先ノードとする方法は、例えばプログラムがストレージシステム１００の使用者に冗長化先ノードの候補一覧を提示して、使用者に1ノードを選択させ、その選択したノード１２０を冗長化先ノードに決定してもよいし、管理プログラムがモニタ情報から、候補のノード１２０の物理ドライブ使用率を取得して、最も物理ドライブ使用率が低いノード１２０を冗長化先ノードに決定してもよいし、他の方法でもよい。

ステップＳ１５１１では、冗長先ノード・応答記憶デバイス決定プログラム３２６は、ステップＳ１５０２で決定したプライマリノードおよびステップＳ１５１０で選択した冗長化先ノード上で論理ドライブ２１１を新規作成する。論理ドライブに割り当てる物理ドライブ１２４は、ノード１２０内で最も使用率の低い物理ドライブを選択してもよいし、他の方法で選択してもよい。さらにパリティグループ処理プログラム３２９は、パリティグループ管理テーブル５２０にレコードを追記し、新規作成するパリティグループ２１２に番号を採番して記載し、当該パリティグループ２１２の冗長化ポリシと、当該パリティグループ２１２を構成する論理ドライブ（新規作成した論理ドライブ２１１）と、状態とを記載する。状態はパリティグループ２１２が変更状態でないことを示す内容（例えば「正常」）を記載する。

ステップＳ１５１２では、冗長先ノード・応答記憶デバイス決定プログラム３２６は、ステップＳ１５１１で作成したパリティグループ２１２で構成されるプールボリューム２１３を作成し、さらに作成したプールボリューム２１３で構成されるストレージプール２１４を作成する。

ステップＳ１５１３では、冗長先ノード・応答記憶デバイス決定プログラム３２６は、ステップＳ１５０９で選択したパリティグループ２１２で構成されるストレージプール２１４、またはステップＳ１５１２で作成したストレージプール２１４を取得する。

ステップＳ１５１４では、冗長先ノード・応答記憶デバイス決定プログラム３２６は、ステップＳ１５１３で取得したストレージプール２１４上に、仮想ボリューム２１５を作成する。

ステップＳ１５１５では、冗長先ノード・応答記憶デバイス決定プログラム３２６は、仮想ボリューム管理テーブル７１０にレコードを追加し、ステップＳ１５１４で作成した仮想ボリュームに番号を採番して記載し、引数で指定されたサイズと、引数で指定された信頼性ポリシと、引数で指定された性能ポリシを記載する。また配置ノード管理テーブル７２０に、新しいレコードを追加して、ステップＳ１５１４で作成した仮想ボリュームに採番した番号、プライマリノードの番号、冗長化先ノードの番号を追記する。

ステップＳ１５１６では、冗長先ノード・応答記憶デバイス決定プログラム３２６は、当該仮想ボリュームの性能ポリシを取得する。ステップＳ１５１７では、冗長先ノード・応答記憶デバイス決定プログラム３２６は、配置ノード管理テーブル７２０およびキャッシュデバイス番号リスト４２０を参照し、当該仮想ボリュームのプライマリノードと冗長化先ノードで利用可能な記憶デバイスを取得する。

ステップＳ１５１８では、冗長先ノード・応答記憶デバイス決定プログラム３２６は、当該仮想ボリューム２１５の信頼性ポリシおよび性能ポリシに従って、プライマリノードおよび冗長化先ノードにおける、当該仮想ボリュームにライト要求があった時の応答記憶デバイスを決定する。決定方法は、例えば信頼性ポリシに要耐障害性と設定されている場合、不揮発記憶デバイスから応答先を決定する。不揮発メモリとしてＳＣＭが使用可能なノードでは、性能ポリシがＨＩＧＨに設定されている場合はＳＣＭ、性能ポリシＭＩＤＤＬＥもしくはＬＯＷに設定されている場合はドライブを選択する。また例えば信頼性ポリシに耐障害性不要と設定されている場合、揮発メモリとしてＤＲＡＭも使用でき、性能ポリシがＨＩＧＨの場合はＤＲＡＭを選択する。なお、応答記憶デバイスの決定方法は、これらの方法に限定しない。

ステップＳ１５１９では、冗長先ノード・応答記憶デバイス決定プログラム３２６は、応答記憶デバイス管理テーブル７３０に、プライマリノード、冗長化先ノードのレコードを追加し、ステップＳ１５１８で選択した応答記憶デバイスを記載する。

図１６は、冗長先ノード・応答記憶デバイス変更処理に係るフローチャートの一例を示す図である。冗長先ノード・応答記憶デバイス変更プログラム３２７は、ストレージシステム１００の使用者が仮想ボリュームのポリシを変更した時に実行され、仮想ボリューム２１５に設定された信頼性ポリシおよび性能ポリシから、仮想ボリューム２１５をどのノード１２０で冗長化するか、およびノード１２０に含まれるどの記憶デバイスに書き込まれた時点でホストに応答を返すか、を変更する。本プログラムは、ポリシ変更対象の仮想ボリューム２１５の番号と、変更前・変更後の信頼性ポリシと、変更前・変更後の性能ポリシとを引数として実行する。以下、詳細を説明する。

ステップＳ１６０１では、冗長先ノード・応答記憶デバイス変更プログラム３２７は、信頼性ポリシに変更があるかを判定する。信頼性ポリシに変更があると判定した場合は、ステップＳ１６０２に処理を進める。信頼性ポリシに変更がないと判定した場合は、ステップＳ１６１３に処理を進める。

ステップＳ１６０２では、冗長先ノード・応答記憶デバイス変更プログラム３２７は、仮想ボリューム管理テーブル７１０およびページマッピングテーブル７４０を参照して、ポリシ変更対象の仮想ボリューム２１５の属するストレージプール２１４上に存在する、他の仮想ボリューム２１５を探索する。

ステップＳ１６０３では、冗長先ノード・応答記憶デバイス変更プログラム３２７は、ステップＳ１６０２で探索した仮想ボリューム２１５の有無を判定する。当該ストレージプール２１４上にポリシ変更対象以外の仮想ボリューム２１５は存在すると判定した場合、ステップＳ１６０４に処理を進める。当該ストレージプール２１４上にポリシ変更対象以外の仮想ボリューム２１５は存在しないと判定した場合、ステップＳ１６０４に処理を進める。

ステップＳ１６０４では、冗長先ノード・応答記憶デバイス変更プログラム３２７は、ポリシ変更対象の仮想ボリューム２１５に設定された信頼性ポリシおよび、性能ポリシを冗長化先ノード・応答記憶デバイス決定プログラム３２６に渡し、同プログラムを実行し、仮想ボリューム２１５を作成する。

ステップＳ１６０５では、冗長先ノード・応答記憶デバイス変更プログラム３２７は、ポリシ変更対象の仮想ボリューム２１５の番号および、ステップＳ１６０５で作成した仮想ボリューム２１５の番号を仮想ボリューム移動プログラム３２８に渡し、同プログラムを実行し、ポリシ変更対象の仮想ボリューム２１５をステップＳ１６０５で作成した仮想ボリューム２１５と入れ替える。その後、プログラムを終了する。

ステップＳ１６０６では、冗長先ノード・応答記憶デバイス変更プログラム３２７は、変更前の信頼性ポリシと変更後の信頼性ポリシを比較し、ポリシ変更でポリシ変更対象の仮想ボリューム２１５の属するパリティグループ２１２において、論理ドライブ２１１の除外が必要であるかを判定する。論理ドライブ２１１の除外が必要であると判定した場合、ステップＳ１６０７に処理を進める。論理ドライブ２１１の除外が必要でないと判定した場合、ステップＳ１６０９に処理を進める。

ステップＳ１６０７では、冗長先ノード・応答記憶デバイス変更プログラム３２７は、ポリシ変更対象の仮想ボリューム２１５の属するパリティグループ２１２を構成する論理ドライブ２１１のうち、冗長化先ノードに存在する論理ドライブ２１１を除外する論理ドライブとして選択する。除外するドライブの例として、変更前の信頼性ポリシが「耐可用性ゾーン障害、２重化」、変更後の信頼性ポリシが「耐リージョン障害、２重化」である場合、冗長化先の別可用性ゾーンのノードに属する論理ドライブ２１１が除外対象となる。

ステップＳ１６０８では、冗長先ノード・応答記憶デバイス変更プログラム３２７は、ステップＳ１６０７で選択した論理ドライブ２１１を除外したのち、当該論理ドライブ２１１のデータを冗長化するために、当該論理ドライブ２１１と新しくパリティグループを組む論理ドライブを決定する。当該論理ドライブが新しくパリティグループを組む論理ドライブ２１１、および冗長化方式は、当該論理ドライブ２１１に格納されている仮想ボリューム２１５の信頼性ポリシをもとに決定する。

ステップＳ１６０９では、冗長先ノード・応答記憶デバイス変更プログラム３２７は、変更前の信頼性ポリシと変更後の信頼性ポリシを比較し、ポリシ変更でポリシ変更対象の仮想ボリューム２１５の属するパリティグループ２１２において、論理ドライブ２１１の追加が必要であるかを判定する。論理ドライブ２１１の追加が必要であると判定した場合、ステップＳ１６１０に処理を進める。論理ドライブ２１１の追加が必要でないと判定した場合、ステップＳ１６１１に処理を進める。

ステップＳ１６１０では、冗長先ノード・応答記憶デバイス変更プログラム３２７は、ポリシ変更対象の仮想ボリューム２１５の属するパリティグループ２１２に追加する論理ドライブ２１１を選択する。追加するドライブの例として、変更前の信頼性ポリシが「耐可用性ゾーン障害、２重化」、変更後の信頼性ポリシが「耐リージョン障害、２重化」である場合、プライマリノードの属するリージョンとは別リージョンに存在するノードに属する論理ドライブ２１１が追加対象となる。

ステップＳ１６１１では、冗長先ノード・応答記憶デバイス変更プログラム３２７は、パリティグループ構成変更プログラム３２９を実行し、ポリシ変更対象の仮想ボリューム２１５の属するパリティグループ２１２の構成を変更する。この時、ポリシ変更対象の仮想ボリューム２１５の属するパリティグループの番号と、ステップＳ１６１０で選択した追加する論理ドライブ２１１の番号のリストと、ステップＳ１６０７で選択した除外する論理ドライブ２１１の番号のリストと、ステップＳ１６０８で選択した、除外する論理ドライブ２１１のそれぞれと新たにパリティグループを組む論理ドライブ２１１の番号のリストと、除外する論理ドライブ２１１が新たに組むパリティグループの冗長化方式とを、パリティグループ構成変更プログラム３２９の引数にする。

ステップＳ１６１２では、冗長先ノード・応答記憶デバイス変更プログラム３２７は、配置ノード管理テーブル７２０の、ポリシ変更対象の仮想ボリューム２１５における冗長化先ノード番号リストから、ステップＳ１６０７で除外対象となった論理ドライブ２１１が属するノードを削除し、ステップＳ１６１０で追加対象となった論理ドライブ２１１が属するノードを追記する。

ステップＳ１６１３では、冗長先ノード・応答記憶デバイス変更プログラム３２７は、性能ポリシに変更があるかを判定する。性能性ポリシに変更があると判定した場合は、ステップＳ１６１４に処理を進める。信頼性ポリシに変更がないと判定した場合はステップＳ１６１７に処理を進める。

ステップＳ１６１４では、冗長先ノード・応答記憶デバイス変更プログラム３２７は、配置ノード管理テーブル７２０およびキャッシュデバイス番号リスト４２０を参照し、ポリシ変更対象の仮想ボリューム２１５のプライマリノードおよび、冗長化先ノードで利用可能な記憶デバイスを取得する。

ステップＳ１６１５では、冗長先ノード・応答記憶デバイス変更プログラム３２７は、ポリシ変更対象の仮想ボリューム２１５の信頼性ポリシおよび性能ポリシに従って、プライマリノードおよび冗長化先ノードにおける、当該仮想ボリュームにライト要求があった時の応答記憶デバイスを決定する。応答記憶デバイスの決定方法は、ステップＳ１５１８と同様である。

ステップＳ１６１６では、冗長先ノード・応答記憶デバイス変更プログラム３２７は、応答記憶デバイス管理テーブル７３０に、ステップＳ１６１５で選択した応答記憶デバイスを記載する。

ステップＳ１６１７では、冗長先ノード・応答記憶デバイス変更プログラム３２７は、冗長先ノード・応答記憶デバイス変更プログラム３２７は、仮想ボリューム７１０上の、ポリシ変更対象の仮想ボリューム２１５における信頼性ポリシおよび性能ポリシを変更後の内容に書き換える。

図１７は、仮想ボリューム移動処理に係るフローチャートの一例を示す図である。仮想ボリューム移動プログラム３２８は、移動元の仮想ボリューム２１５のデータを、移動先仮想ボリューム２１５にコピーし、移動先の仮想ボリューム２１５の識別を移動元仮想ボリューム２１５の番号に書き換えることで、仮想ボリューム２１５を移動する。本プログラムは、移動元仮想ボリューム２１５の番号と、移動先仮想ボリューム２１５の番号とを引数して実行する。以下、詳細を説明する。

ステップＳ１７０１では、仮想ボリューム移動プログラム３２８は、移動元仮想ボリューム２１５の読み出し位置アドレス、移動先仮想ボリューム２１５の書き込み位置アドレスをそれぞれ０に設定する。

ステップＳ１７０２では、仮想ボリューム移動プログラム３２８は、移動元仮想ボリューム２１５の読み出し位置アドレスから連続した位置にあるデータを読み出す。データのサイズは例えば、１ＭＢである。ステップＳ１７０３では、仮想ボリューム移動プログラム３２８は、移動先仮想ボリューム２１５の書き込み位置アドレスに、ステップＳ１７０２で読み出したデータを書き込む。

ステップＳ１７０４では、仮想ボリューム移動プログラム３２８は、読み出し位置アドレスおよび書き込み位置アドレスをステップＳ１７０２で読み出したデータのサイズ分、先に進める。

ステップＳ１７０５では、仮想ボリューム移動プログラム３２８は、読み出し位置アドレスが、移動元仮想ボリューム２１５の終端に達しているかを判定する。読み出し位置アドレスが移動元仮想ボリューム２１５の終端に達していると判定した場合は、ステップＳ１７０６に処理を進める。読み出し位置アドレスが移動元仮想ボリューム２１５の終端に達していないと判定した場合は、ステップＳ１７０２に再度処理を進める。

ステップＳ１７０６では、仮想ボリューム移動プログラム３２８は、仮想ボリューム管理テーブル３１４上の移動先仮想ボリューム２１５の番号を、移動元仮想ボリューム２１５の番号に書き換える。移動元仮想ボリューム２１５は削除する。

図１８は、パリティグループ構成変更処理に係るフローチャートの一例を示す図である。パリティグループ構成変更プログラム３２９は、パリティグループの冗長化方式、パリティグループを構成するドライブを追加、削除する。本プログラムは、構成変更対象のパリティグループ２１２（以下、当該パリティグループ）の番号と、当該パリティグループに追加する論理ドライブ２１１の番号リスト（以下、追加論理ドライブ番号リスト）と、当該パリティグループから除外する論理ドライブ２１１の番号リスト（以下、除外論理ドライブ番号リスト）と、除外する論理ドライブ２１１のそれぞれと新たにパリティグループを組む論理ドライブ２１１の番号リストと、除外する論理ドライブ２１１が新たに組むパリティグループの冗長化方式とを引数として実行する。以下、詳細を説明する。

ステップＳ１８０１では、パリティグループ構成変更プログラム３２９は、パリティグループ２１２に対して行う変更の種別を判定する。引数の追加論理ドライブ番号リストおよび除外論理ドライブ番号リストの両方に論理ドライブ２１１が含まれていて、パリティグループ２１２に対して行う変更を論理ドライブ入れ替えと判定した場合、ステップＳ１８０２に処理を進める。除外論理ドライブ番号リストは論理ドライブ２１１を含むが、追加論理ドライブ番号リストは論理ドライブ２１１を含んでおらず、パリティグループ２１２に対して行う変更を論理ドライブ除外と判定した場合、ステップＳ１８１０に処理を進める。追加論理ドライブ番号リストは論理ドライブ２１１を含むが、除外論理ドライブ番号リストは論理ドライブ２１１を含んでおらず、パリティグループ２１２に対して行う変更を論理ドライブ追加と判定した場合、ステップＳ１８１８に処理を進める。

ステップＳ１８０２では、パリティグループ構成変更処理プログラム３２９は、引数の追加論理ドライブ番号リストから、新しく当該パリティグループに追加する論理ドライブ（以下、追加論理ドライブ）を１個選択し、同じく引数に含まれる除外論理ドライブ番号リストから当該パリティグループから除外する論理ドライブ（以下、除外論理ドライブ）を１個選択する。ステップＳ１８０３では、パリティグループ構成変更処理プログラム３２９は、パリティグループ管理テーブル５２０の当該パリティグループの情報のうち、状態を、構成変更を示す内容に書き換え（例えば「変更」）、論理ドライブ番号リストに除外論理ドライブの追加論理ドライブとの入れ替え処理を行っていることを示す内容を記載する。

ステップＳ１８０４では、パリティグループ構成変更処理プログラム３２９は、当該パリティグループを構成する論理ドライブのうち、除外論理ドライブを除く論理ドライブと、追加論理ドライブ間でデータを冗長化する。パリティデータはストライプマッピングテーブル（以下、ＳＭＴ）を参照し、論理ドライブ２１１に設けられた予備領域に書き込む。

ステップＳ１８０５では、パリティグループ構成変更処理プログラム３２９は、除外論理ドライブのデータを引き続き保護するため新しくパリティグループを作成し、パリティグループ管理テーブル５２０にレコードを追加して、新たに採番した番号を記載し、冗長化ポリシに引数で指定された冗長化方式を記載し、論理ドライブ番号リストに除外論理ドライブの番号と、除外論理ドライブと新たにパリティグループを組む論理ドライブの番号とを記載し、状態にパリティグループが作成処理状態であることを示す内容（例えば「作成」）を記載する。

ステップＳ１８０６では、パリティグループ構成変更処理プログラム３２９は、除外論理ドライブと、除外論理ドライブと新たにパリティグループを組む論理ドライブ間で、引数で指定された冗長化方式にて、データを冗長化する。パリティデータはＳＭＴを参照し、論理ドライブに設けられた予備領域に書き込む。

ステップＳ１８０７では、パリティグループ構成変更処理プログラム３２９は、当該パリティグループのＳＭＴおよび、ステップＳ１８０５で新規に作成したパリティグループのＳＭＴを更新し、予備領域に書き込んだ変更後のパリティグループでのパリティデータを、変更前のパリティグループのパリティデータの領域に上書きする。

ステップＳ１８０８では、パリティグループ構成変更処理プログラム３２９は、パリティグループ管理テーブル５２０における、当該パリティグループの情報のうち、状態を、構成変更を行っていないこと示す内容（例えば「正常」）に書き換え、論理ドライブ番号リストから除外論理ドライブの番号を削除して、追加論理ドライブの番号を追加する。またパリティグループ構成変更処理プログラム３２９は、パリティグループ管理テーブル５２０における、ステップＳ１８０５で作成したパリティグループの情報のうち、状態を、構成変更を行っていないこと示す内容（例えば「正常」）に書き換える。

ステップＳ１８０９では、パリティグループ構成変更処理プログラム３２９は、追加論理ドライブ番号リストおよび除外論理ドライブ番号リストを参照し、入れ替え処理対象の論理ドライブ２１１がまだ存在するかを判定する。入れ替え処理対象の論理ドライブ２１１がまだ存在すると判定した場合は、ステップＳ１８０２に処理を進める。入れ替え処理対象の論理ドライブ２１１が存在しない（論理ドライブ２１１の入れ替え処理がすべて終わった）と判定した場合は、プログラムを終了する。

ステップＳ１８１０では、パリティグループ構成変更処理プログラム３２９は、引数に含まれる除外論理ドライブ番号リストから当該パリティグループから除外する論理ドライブ（以下、除外論理ドライブ）を１個選択する。ステップＳ１８１１では、パリティグループ構成変更処理プログラム３２９は、パリティグループ管理テーブル５２０の当該パリティグループの情報のうち、状態を、構成変更を示す内容に書き換え（例えば「変更」）、論理ドライブ番号リストに除外論理ドライブの除外処理を行っていることを示す内容を記載する。

ステップＳ１８１２では、パリティグループ構成変更処理プログラム３２９は、当該パリティグループを構成する論理ドライブのうち、除外論理ドライブを除く論理ドライブの間でデータを冗長化する。パリティデータはＳＭＴを参照し、論理ドライブ２１１に設けられた予備領域に書き込む。

ステップＳ１８１３では、パリティグループ構成変更処理プログラム３２９は、除外論理ドライブのデータを引き続き保護するため新しくパリティグループを作成し、パリティグループ管理テーブル５２０にレコードを追加して、新たに採番した番号を記載し、冗長化ポリシに引数で指定された冗長化方式を記載し、論理ドライブ番号リストに除外論理ドライブの番号と、除外論理ドライブと新たにパリティグループを組む論理ドライブの番号とを記載し、状態にパリティグループが作成処理状態であることを示す内容（例えば「作成」）を記載する。

ステップＳ１８１４では、パリティグループ構成変更処理プログラム３２９は、除外論理ドライブと、除外論理ドライブと新たにパリティグループを組む論理ドライブ間で、引数で指定された冗長化方式にて、データを冗長化する。パリティデータはＳＭＴを参照し、論理ドライブに設けられた予備領域に書き込む。

ステップＳ１８１５では、パリティグループ構成変更処理プログラム３２９は、当該パリティグループのＳＭＴおよび、ステップＳ１８１３で新規に作成したパリティグループのＳＭＴを更新し、予備領域に書き込んだ変更後のパリティグループでのパリティデータを、変更前のパリティグループのパリティデータの領域に上書きする。

ステップＳ１８１６では、パリティグループ構成変更処理プログラム３２９は、パリティグループ管理テーブル５２０における、当該パリティグループの情報のうち、状態を、構成変更を行っていないこと示す内容（例えば「正常」）に書き換え、論理ドライブ番号リストから除外論理ドライブの番号を削除する。またパリティグループ構成変更処理プログラム３２９は、パリティグループ管理テーブル５２０における、ステップＳ１８１３で作成したパリティグループの情報のうち、状態を、構成変更を行っていないこと示す内容（例えば「正常」）に書き換える。

ステップＳ１８１７では、パリティグループ構成変更処理プログラム３２９は、除外論理ドライブ番号リストを参照し、除外処理対象の論理ドライブ２１１がまだ存在するかを判定する。除外処理対象の論理ドライブ２１１がまだ存在すると判定した場合は、ステップＳ１８１０に処理を進める。除外処理対象の論理ドライブ２１１が存在しない（論理ドライブ２１１の除外処理がすべて終わった）と判定した場合は、プログラムを終了する。

ステップＳ１８１８では、パリティグループ構成変更処理プログラム３２９は、引数に含まれる追加論理ドライブ番号リストから、新しく構成変更対象の当該パリティグループに追加する論理ドライブ（以下、追加論理ドライブ）を１個選択する。ステップＳ１８１９では、パリティグループ構成変更処理プログラム３２９は、パリティグループ管理テーブル５２０の当該パリティグループの情報のうち、状態を、構成変更を示す内容に書き換え（例えば「変更」）、論理ドライブ番号リストに追加論理ドライブの追加処理を行っていることを示す内容を記載する。

ステップＳ１８２０では、パリティグループ構成変更処理プログラム３２９は、当該パリティグループを構成する論理ドライブと、追加論理ドライブ間でデータを冗長化する。パリティデータはＳＭＴを参照し、論理ドライブ２１１に設けられた予備領域に書き込む。

ステップＳ１８２１では、パリティグループ構成変更処理プログラム３２９は、当該パリティグループのＳＭＴを更新し、予備領域に書き込んだ変更後のパリティグループでのパリティデータを、変更前のパリティグループのパリティデータの領域に上書きする。

ステップＳ１８２２では、パリティグループ構成変更処理プログラム３２９は、パリティグループ管理テーブル５２０における、当該パリティグループの情報のうち、状態を、構成変更を行っていないこと示す内容（例えば「正常」）に書き換え、論理ドライブ番号リストに追加論理ドライブの番号を追加する。

ステップＳ１８２３では、パリティグループ構成変更処理プログラム３２９は、追加論理ドライブ番号リストを参照し、追加処理対象の論理ドライブ２１１がまだ存在するかを判定する。追加処理対象の論理ドライブ２１１がまだ存在すると判定した場合は、ステップＳ１８１８に処理を進める。追加処理対象の論理ドライブ２１１が存在しない（論理ドライブ２１１の追加処理がすべて終わった）と判定した場合は、プログラムを終了する。

図１９は、パフォーマンスモニタ処理に係るフローチャートの一例を示す図である。パフォーマンスモニタプログラム３３０は、ノード１２０から各種性能情報を取得し、パフォーマンスモニタ情報管理テーブル３１６を更新する。以下、詳細を説明する。ステップＳ１９０１では、パフォーマンスモニタ処理プログラム３３０は、ノード１２０に属するプロセッサ１２１の使用率を取得し、プロセッサパフォーマンス情報テーブル９１０にプロセッサ番号ごとに使用率を記載する。

ステップＳ１９０２では、パフォーマンスモニタ処理プログラム３３０は、ノード１２０のメモリ１２２の残容量を取得し、メモリパフォーマンス情報テーブル９２０に記載する。

ステップＳ１９０３では、パフォーマンスモニタ処理プログラム３３０は、ノード１２０に属するドライブのリードＩＯＰＳと、ライトＩＯＰＳと、リード帯域と、ライト帯域とを採取し、ドライブパフォーマンス情報テーブル９３０にドライブ番号ごとにリードＩＯＰＳと、ライトＩＯＰＳと、リード帯域と、ライト帯域とを記載する。

ステップＳ１９０４では、パフォーマンスモニタ処理プログラム３３０は、ノード１２０に属するＮＩＣの受信帯域と、送信帯域を取得し、ネットワークパフォーマンス情報テーブル９４０にポート番号ごとに、受信帯域と送信帯域と最大帯域から算出される帯域使用率と、受信帯域と、送信帯域を記載する。

ステップＳ１９０５では、パフォーマンスモニタ処理プログラム３３０は、ノード１２０と、他のノード１２０間のネットワークの遅延時間と、再送率とを取得し、ノード間ネットワーク品質情報テーブルに、ノード番号ごとに、遅延時間と、再送率とを記載する。
ステップＳ１９０６では、パフォーマンスモニタ処理プログラム３３０は、一定期間休止する。休止期間が終了すると、再度ステップＳ１９０１に戻り処理を進める。

図２０は、性能モニタベース冗長化先切替処理に係るフローチャートの一例を示す図である。性能モニタベース冗長化先切替プログラム３３１は、パフォーマンスモニタ情報管理テーブル３１６上のノード間ネットワーク品質情報テーブル９５０の情報を参照し、遅延時間が大きいもしくは再送率が高い２ノード間の論理ドライブ２１１で構成されるパリティグループ２１２を、他のノードとの冗長化構成に組み替える。性能モニタベース冗長化先切替プログラム３３１は、各ノードに対してそれぞれ実行される。以下、詳細を説明する。

ステップＳ２００１では、性能モニタベース冗長化先切替プログラム３３１は、実行対象ノード１２０（以下、当該ノード）のノード間ネットワーク品質情報テーブル９５０を参照し、各他ノード１２０と当該ノード間ネットワークの遅延時間と、再送率とを取得する。

ステップＳ２００２では、性能モニタベース冗長化先切替プログラム３３１は、ステップＳ２００１で取得した各ノードの遅延時間情報のうち、閾値以上の遅延時間のノード１２０が存在するかを判定する。閾値以上の遅延時間のノード１２０が存在すると判定した場合、ステップＳ２００４に処理を進める。閾値以上の遅延時間のノード１２０が存在しないと判定した場合、ステップＳ２００３に処理を進める。

ステップＳ２００３では、性能モニタベース冗長化先切替プログラム３３１は、ステップＳ２００１で取得した各ノードの再送率情報のうち、閾値以上の再送率を持つノード１２０が存在するかを判定する。閾値以上の再送率のノード１２０が存在すると判定した場合、ステップＳ２００４に処理を進める。閾値以上の再送率のノード１２０が存在しないと判定した場合、ステップＳ２０１４に処理を進める。

ステップＳ２００４では、性能モニタベース冗長化先切替プログラム３３１は、当該ノードにおいて、当該ノードの論理ドライブ２１１と、ステップＳ２００２で検出したノード１２０またはステップＳ２００３で検出したノード１２０（以下、除外対象ノード）の論理ドライブ２１１（以下、除外論理ドライブ）とで構成されるパリティグループ２１２を検索する。なお、ノード間ネットワークの遅延時間もしくはノード間ネットワークの再送率を除外対象ノード選択の基準の例としたが、除外対象ノードは他の性能情報等に基づき選択されてもよい。

ステップＳ２００５では、性能モニタベース冗長化先切替プログラム３３１は、ステップＳ２００４において検索に一致するパリティグループ２１２が存在するかを判定する。検索に一致するパリティグループ２１２が存在すると判定した場合、ステップＳ２００６に処理を進める。検索に一致するパリティグループ２１２が存在しないと判定した場合、ステップＳ２０１４に処理を進める。

ステップＳ２００６では、性能モニタベース冗長化先切替プログラム３３１は、ステップＳ２００５での検索に一致したパリティグループ２１２から、パリティグループ２１２を１個選択する。

ステップＳ２００７では、性能モニタベース冗長化先切替プログラム３３１は、ステップＳ２００６で選択したパリティグループ２１２（以下、構成変更対象パリティグループ）から、除外論理ドライブを除外した後も、そのノード１２０の論理ドライブ２１１を追加すれば構成変更対象パリティグループの冗長度を保てるノード１２０を検索する。ノード１２０は、構成変更対象パリティグループを構成する当該ノードの論理ドライブ２１１上に格納されている仮想ボリューム２１５の信頼性ポリシをもとに決定する。

ステップＳ２００８では、性能モニタベース冗長化先切替プログラム３３１は、ノード間ネットワーク品質情報テーブル９５０を参照し、ステップＳ２００７で選択したノードのうち、当該ノードとの間の遅延時間、再送率がともに閾値未満となるノード１２０が存在するかを判定する。当該ノードとの間の遅延時間、再送率がともに閾値未満となるノード１２０が存在すると判定した場合、ステップＳ２０１０に処理を進める。当該ノードとの間の遅延時間、再送率がともに閾値未満となるノード１２０が存在しないと判定した場合、ステップＳ２００９に処理を進める。

ステップＳ２００９では、性能モニタベース冗長化先切替プログラム３３１は、ノード間ネットワーク品質情報テーブル９５０を参照し、ステップＳ２００７で選択したノードのうち、当該ノードとの間の遅延時間、再送率が、除外対象ノードと当該ノード間の遅延時間未満、再送率未満となるノード１２０が存在するかを判定する。該当するノード１２０が存在すると判定した場合、ステップＳ２０１０に処理を進める。該当するノード１２０が存在しないと判定した場合、ステップＳ２０１４に処理を進める。

ステップＳ２０１０では、性能モニタベース冗長化先切替プログラム３３１は、ステップＳ２００８で検出したノード１２０またはステップＳ２００９で検出したノード１２０のうち1ノードを選択する。さらに選択したノード１２０に含まれる論理ドライブ２１１から、構成変更対象パリティグループに追加する論理ドライブ２１１（以下、追加論理ドライブ）を選択する。なお、ノード間ネットワークの遅延時間もしくはノード間ネットワークの再送率を追加論理ドライブ選択の基準の例としたが、追加論理ドライブは他の性能情報等に基づき選択されてもよい。

ステップＳ２０１１では、性能モニタベース冗長化先切替プログラム３３１は、構成変更対象パリティグループから除外論理ドライブを除外したのち、除外論理ドライブのデータを再度冗長化するために、除外論理ドライブと新しくパリティグループを組む論理ドライブ２１１を決定する。除外論理ドライブが新しくパリティグループを組む論理ドライブ２１１、および冗長化方式は、除外論理ドライブ２１１に格納されている仮想ボリューム２１５の信頼性ポリシをもとに決定する。

ステップＳ２０１２では、性能モニタベース冗長化先切替プログラム３３１は、パリティグループ構成変更プログラム３２９を実行し、構成変更対象パリティグループの構成を変更する。この時、構成変更対象パリティグループの番号と、ステップＳ２０１０で決定した追加論理ドライブの番号、除外論理ドライブ、ステップＳ２０１１で決定した除外論理ドライブと新たにパリティグループを組む論理ドライブ２１１の番号のリストと、除外論理ドライブが新たに組むパリティグループの冗長化方式とを、パリティグループ構成変更プログラム３２９の引数にする。

ステップＳ２０１３では、性能モニタベース冗長化先切替プログラム３３１は、ステップＳ２００５で検出したすべてのパリティグループ２１２で構成変更を実施済であるかを判定する。ステップＳ２００５で検出したすべてのパリティグループ２１２で構成変更を実施済と判定した場合は、ステップＳ２０１４に処理を進める。ステップＳ２００５で検出したパリティグループ２１２のうち、構成変更をまだ実施していないものがあると判定した場合は、ステップＳ２００６に処理を進め、次のパリティグループ２１２に対して構成変更を進める。

ステップＳ２０１４では、性能モニタベース冗長化先切替プログラム３３１は、一定期間休止する。休止期間が終了すると、再度ステップＳ２００１に戻り処理を進める。

図２１は、性能指標ベースポリシ決定処理に係るフローチャートの一例を示す図である。性能指標ベースポリシ決定処理プログラム３３２は、ストレージシステム１００の使用者が仮想ボリューム作成操作時に入力した性能指標もしくは仮想ボリュームの性能指標変更操作時に入力した性能指標から、仮想ボリューム２１５の信頼性ポリシ、性能ポリシを決定する。性能指標ベースポリシ決定処理プログラム３３２は、図２１Ａに示す、あらかじめ信頼性ポリシ、性能ポリシの性能を見積もる性能見積処理部と、図２１Ｂに示す入力した性能指標から信頼性ポリシ、性能ポリシを選択するポリシ決定部からなる。

以下、図２１Ａに示す性能見積処理部の詳細を説明する。性能見積処理部は、ストレージシステム１００を構成する全ノード１２０に対して実行する。性能見積処理部は、対象の当該ノードにおいてある信頼性ポリシ、性能ポリシを適用した仮想ボリューム２１５を作成した時の性能を見積もる。

ステップＳ２１０１で、性能指標ベースポリシ決定処理プログラム３３２は、見積を行う信頼性ポリシを決定する。ポリシの組は当該ストレージシステム１００で選択可能なすべての信頼性ポリシでもよいし、一部のみ（例えば、「耐障害性なし」、「耐ノード障害、２重」、「耐可用性ゾーン障害２重」等）でもよい。

ステップＳ２１０２で、性能指標ベースポリシ決定処理プログラム３３２は、ステップＳ２１０１で選択した信頼性ポリシ（以下、当該信頼性ポリシ）のうち、性能見積を行っていない信頼性ポリシを１個選択する。

ステップＳ２１０３で、性能指標ベースポリシ決定処理プログラム３３２は、当該信頼性ポリシがデータ保護を行う信頼性ポリシであるかを判定する。当該信頼性ポリシがデータ保護を行う信頼性ポリシであると判定した場合、ステップＳ２１０９に処理を進める。当該信頼性ポリシがデータ保護を行わない信頼性ポリシであると判定した場合、ステップＳ２１０４に処理を進める。

ステップＳ２１０４で、性能指標ベースポリシ決定処理プログラム３３２は、クラスタ構成管理テーブル３１１のノード構成テーブル４２０と、ドライブ構成管理テーブル４３０と、キャッシュデバイス構成管理テーブル４４０とを参照し、当該ノードで応答記憶デバイスとして使用できるデバイス（ドライブ１２４、メモリ１２２（ＤＲＡＭ、ＳＣＭ等））と、それぞれの性能を示す性能情報（Ｈｉｇｈ、Ｍｉｄｄｌｅ、Ｌｏｗ等）を取得する。

ステップＳ２１０５で、性能指標ベースポリシ決定処理プログラム３３２は、ステップＳ２１０４で取得したデバイスから、まだ見積対象となっていないデバイスを選択する。この時、デバイスは性能が高い順番に選択する。

ステップＳ２１０６で、性能指標ベースポリシ決定処理プログラム３３２は、ステップＳ２１０５で選択したデバイスを応答記憶デバイスとする、仮想ボリューム２１５の性能を見積もる。見積方法は、当該信頼性ポリシおよび前記応答記憶デバイスを実際に適用した仮想ボリューム２１５に対してストレージプログラム２００が別途実行するパフォーマンスモニタ結果から性能を見積もる方法でもよいし、性能指標ベースポリシ決定処理プログラム３３２が当該信頼性ポリシおよび前記応答記憶デバイスを使用した時の性能をあらかじめ固定値として保持しておき、これを見積性能に設定する方法でもよいし、他の方法でもよい。ここで見積もる性能は、例えば１秒あたりのＩＯ処理コマンド数、応答時間であるが、ＩＯ処理コマンド数、応答時間に限定するものではない。

ステップＳ２１０７で、性能指標ベースポリシ決定処理プログラム３３２は、ポリシ性能情報管理テーブル３１７のポリシ性能情報テーブル２２３０にレコードを追記し、ポリシＩＤを採番して記載し、当該ノード番号を記載し、ステップＳ２１０６で見積もった性能を、当該信頼性ポリシにおける、性能ポリシがステップＳ２１０５で選択した応答記憶デバイスの性能情報である時（例えば、応答記憶デバイスを性能情報が「Ｈｉｇｈ」のＤＲＡＭとしたときは、性能ポリシは「Ｈｉｇｈ」となる）の見積性能として記載する。

ステップＳ２１０８で、性能指標ベースポリシ決定処理プログラム３３２は、ステップＳ２１０４で取得したすべてのデバイスで性能を見積もったかを判定する。取得したすべてのデバイスで性能を見積もったと判定した場合、ステップＳ２１１８に処理を進める。取得したデバイスのうち性能を見積もっていないデバイスがあると判定した場合、ステップＳ２１０５に処理を進め、次のデバイスでの性能を見積もる。

ステップＳ２１０９で、性能指標ベースポリシ決定処理プログラム３３２は、クラスタ構成管理テーブル３１１のノード構成テーブル４２０と、ドライブ構成管理テーブル４３０と、キャッシュデバイス構成管理テーブル４４０とを参照し、当該ノードで応答記憶デバイスとして使用できる不揮発デバイス（ドライブ１２４、メモリ１２２（ＳＣＭ等））と、それぞれの性能を示す性能情報（Ｍｉｄｄｌｅ、Ｌｏｗ等）を取得する。

ステップＳ２１１０で、性能指標ベースポリシ決定処理プログラム３３２は、ステップＳ２１０９で取得したデバイスから、まだ見積対象となっていないデバイスを選択する。この時、デバイスは性能が高い順番に選択する。

ステップＳ２１１１で、性能指標ベースポリシ決定処理プログラム３３２は、データ冗長化先ノードとして当該信頼性ポリシを満たすノード１２０を取得する。

ステップＳ２１１２で、性能指標ベースポリシ決定処理プログラム３３２は、ステップＳ２１１１で取得したノード１２０のうち、冗長化先とする１個以上ノードを選択する。ノードを選択する方式は、パフォーマンスモニタ管理テーブル３１６のノード間ネットワーク品質情報テーブル９５０を参照し、当該ノードとのネットワーク品質が良いノード１２０を選択する方法でもよいし、他の方法でもよい。

ステップＳ２１１３で、性能指標ベースポリシ決定処理プログラム３３２は、クラスタ構成管理テーブル３１１のノード構成テーブル４２０と、ドライブ構成管理テーブル４３０と、キャッシュデバイス構成管理テーブル４４０とを参照し、ステップＳ２１１２で選択したノード１２０で応答記憶デバイスとして使用できる不揮発デバイス（ドライブ１２４、メモリ１２２（ＳＣＭ等））と、それぞれの性能を示す性能情報（Ｍｉｄｄｌｅ、Ｌｏｗ等）を取得する。

ステップＳ２１１４で、性能指標ベースポリシ決定処理プログラム３３２は、ステップＳ２１１３で取得したデバイスから、まだ見積対象となっていないデバイスを選択する。この時、デバイスは性能が高い順番に選択する。

ステップＳ２１１５で、性能指標ベースポリシ決定処理プログラム３３２は、当該ノードをプライマリノードとし、ステップＳ２１１０で選択したデバイスをプライマリノードの応答記憶デバイスとし、ステップＳ２１１２で選択したノード１２０を冗長化先ノードとし、ステップＳ２１１４で選択したデバイスを冗長化先ノードの応答記憶デバイスとする仮想ボリューム２１５の性能を見積もる。見積方法は、当該信頼性ポリシおよび前記応答記憶デバイスを実際に適用した仮想ボリューム２１５に対してストレージプログラム２００が別途実行するパフォーマンスモニタ結果から性能を見積もる方法でもよいし、性能指標ベースポリシ決定処理プログラム３３２が当該信頼性ポリシおよび前記応答記憶デバイスを使用した時の性能をあらかじめ固定値として保持しておき、これを見積性能に設定する方法でもよいし、他の方法でもよい。ここで見積もる性能は、例えば１秒あたりのＩＯ処理コマンド数、応答時間であるが、ＩＯ処理コマンド数、応答時間に限定するものではない。

ステップＳ２１１６で、性能指標ベースポリシ決定処理プログラム３３２は、ポリシ性能情報管理テーブル３１７のポリシ性能情報テーブル２３３０にレコードを追記し、ポリシＩＤを採番して記載し、当該ノード番号を記載し、ステップＳ２１１５で見積もった性能を、当該信頼性ポリシにおける、性能ポリシがステップＳ２１１０で選択した応答記憶デバイスの性能情報である時（例えば、応答記憶デバイスを性能情報が「Ｍｉｄｄｌｅ」のＳＣＭとしたときは、性能ポリシは「Ｍｉｄｄｌｅ」となる）の見積性能として記載する。ステップＳ２１１７で、性能指標ベースポリシ決定処理プログラム３３２は、ステップＳ２１０９で取得したすべてのデバイスで性能を見積もったかを判定する。取得したすべてのデバイスで性能を見積もったと判定した場合、ステップＳ２１１８に処理を進める。取得したデバイスのうち性能を見積もっていないデバイスがあると判定した場合、ステップＳ２１１０に処理を進め、次のデバイスでの性能を見積もる。

ステップＳ２１１８で、性能指標ベースポリシ決定処理プログラム３３２は、ステップＳ２１０１で選択したすべての信頼性ポリシで性能を見積もったかを判定する。選択したすべての信頼性ポリシで性能を見積もったと判定した場合、プログラムを終了する。選択したすべての信頼性ポリシのうち性能を見積もっていない信頼性ポリシがあると判定した場合、ステップＳ２１０２に処理を進め、次の信頼性ポリシでの性能を見積もる。

以下、図２１Ｂに示すポリシ決定部の詳細を説明する。ステップＳ２２３０で、性能指標ベースポリシ決定処理プログラム３３２は、ストレージシステム１００の使用者が入力した、性能指標を取得する。

ステップＳ２２３１で、性能指標ベースポリシ決定処理プログラム３３２は、ポリシ性能情報管理テーブル３１７のポリシ性能情報テーブル２３３０を参照し、ステップＳ２２３０で取得した性能指標を満たす信頼性ポリシ、性能ポリシの組を検索する。

ステップＳ２２３２で、性能指標ベースポリシ決定処理プログラム３３２は、ステップＳ２２３１の結果から、性能指標を満たす信頼性ポリシ、性能ポリシの組が存在するかを判定する。性能指標を満たす信頼性ポリシ、性能ポリシの組が存在すると判定した場合、ステップＳ２２３３に処理を進める。性能指標を満たす信頼性ポリシ、性能ポリシの組が存在しないと判定した場合、使用者に性能指標を満たす信頼性ポリシ、性能ポリシの組が存在しないことを通知した上でプログラムを終了する。

ステップＳ２２３３で、性能指標ベースポリシ決定処理プログラム３３２は、性能指標を満たす信頼性ポリシ、性能ポリシの組から１組だけ選択する。選択する方法は、ストレージシステム１００の使用者に性能指標を満たすポリシの組をすべて提示し、そこから１組を選択させる方法でもよいし、プログラムが最も性能の高いポリシの組を選択する方法でもよいし、他の方法でもよい。

ステップＳ２２３４で、性能指標ベースポリシ決定処理プログラム３３２は、ポリシ決定部の処理を呼び出したのが何の操作であるかを判定する。操作を仮想ボリューム作成操作と判定した場合、ステップＳ２２３５に処理を進める。操作を仮想ボリュームの性能指標変更処理と判定した場合、ステップＳ２２３６に処理を進める。

ステップＳ２２３５で、性能指標ベースポリシ決定処理プログラム３３２は、ステップＳ２２３３で選択した信頼性ポリシ、性能ポリシ、ポリシの組に紐づくノードを引数として、冗長化先ノード・応答記憶デバイス決定プログラム３２６を実行し、仮想ボリューム２１５を作成する。

ステップＳ２２３６で、性能指標ベースポリシ決定処理プログラム３３２は、ステップＳ２２３３で選択した信頼性ポリシ、性能ポリシを引数として、冗長先ノード・応答記憶デバイス変更プログラム３２７を実行し、仮想ボリュームの両ポリシを変更する。

図２２は、ポリシ性能情報管理テーブルの一例を示す図である。ポリシ性能情報管理テーブル３１７は、信頼性ポリシと性能ポリシを仮想ボリュームに適用した時の性能見積情報を管理する。ポリシ性能情報管理テーブル３１７は、ポリシ性能情報テーブル２３３０を含む。

ポリシ性能情報テーブル２３３０は、各ノードにおいて信頼性ポリシと性能ポリシの組を仮想ボリュームに適用した時の性能見積情報を管理する。より具体的には、ポリシ性能情報テーブル２３３０は、ポリシ番号２２３１、ノード番号２３３２、信頼性ポリシ２３３３、性能ポリシ２３３４、ＩＯ処理コマンド数２３３５、応答時間２３３６を対応づけて管理する。

ポリシ番号２３３１は、ポリシの組を識別可能な識別情報である。ノード番号２３３２はポリシの性能見積を行ったノード１２０を識別可能な識別情報である。信頼性ポリシ２２３３は、見積で設定した信頼性ポリシを示す情報である。性能ポリシ２２３４は、見積で設定した性能ポリシを示す情報である。ＩＯ処理コマンド数２２３５は、当該ノードの当該ポリシを適用した仮想ボリュームにおける１秒あたりの見積ＩＯ処理コマンド数を示す情報であり、単位は例えばＫＩＯＰＳ（Ｋｉｌｏ Ｉｎｐｕｔ Ｏｕｔｐｕｔ Ｐｅｒ Ｓｅｃｏｎｄ）である。応答時間２２３６は、当該ノードの当該ポリシを適用した仮想ボリュームにおける見積応答時間を示す情報であり、単位は例えばｍｓ（ミリ秒）である。

なお、ポリシ性能情報テーブル２３３０に記載する性能情報は、例えば１秒あたりのＩＯ処理コマンド数、応答時間であるが、ＩＯ処理コマンド数、応答時間に限定するものではない。

本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

１００：ストレージシステム、１０１：リージョン、１０２：可用性ゾーン、１２０：ノード、１１０，１３０：ネットワーク、１４１：アプリケーション（ホスト）、２００：ストレージプログラム、２１４：ストレージプール、２１５：仮想ボリューム

Claims (14)

1. ネットワークを介して互いに接続する複数のノードと、記憶デバイスと、を備え、
   当該複数のノードの夫々は、前記記憶デバイスに対して入出力されるデータを処理するプロセッサと、メモリと、を有する、
   ストレージシステムであって、
   前記プロセッサは、
   ホストがアクセスするボリュームを提供し、
   データの信頼性に係る信頼性ポリシと、前記ボリュームへのアクセスに対する応答性能に係る性能ポリシとを、当該ボリュームに設定し、
   前記信頼性ポリシに基づいて、前記ボリュームにかかるデータを処理するノードに対する、当該データの冗長データを処理するノードを決定し、
   前記性能ポリシに基づいて、前記ボリュームへのアクセスに対する結果を応答するために前記データまたは前記冗長データを格納するメモリまたは記憶デバイスを、それぞれのノードに対して決定し、
   前記ホストからライト要求を受信した場合に、前記ライト要求にかかるデータを前記データを処理するノードの前記性能ポリシに基づいて決定されたメモリまたは記憶デバイスに格納され、その冗長データが前記冗長データを処理するノードの前記性能ポリシに基づいて決定されたメモリまたは記憶デバイスに格納されたら、前記ホストに応答する
   ストレージシステム。
2. 前記プロセッサは、
   前記性能ポリシに基づいて、前記データを処理するノードと前記冗長データを処理するノードに対して、異なるメモリまたは記憶デバイスを決定する、
   請求項１記載のストレージシステム。
3. 前記プロセッサは、
   前記決定されたノードにおいて、メモリにデータが格納されて前記ホストに応答した後、前記メモリから前記記憶デバイスに前記データを移動させる、
   請求項２記載のストレージシステム。
4. 前記プロセッサは、
   前記信頼性ポリシ、及び／又は、前記性能ポリシを、前記ホストから前記ボリュームへのアクセスが発生中に変更でき、前記信頼性ポリシ、及び、前記性能ポリシに基づき、前記データの冗長化の要否、当該データの冗長化の対象ノード、及び、データ格納先の記憶デバイスを変更し、変更後の記憶デバイスにデータを書き込み、前記ホストに応答する、
   請求項１記載のストレージシステム。
5. 複数の可用性ゾーンを備え、当該複数の可用性ゾーンの夫々は、前記ノードを複数備え、
   前記信頼性ポリシに基づいて、前記データ及び冗長データを同一可用性ゾーンに属する複数のノードに格納するか、複数の可用性ゾーンに属する複数のノードに跨って格納するか、を決定する、
   請求項１記載のストレージシステム。
6. 前記プロセッサは、
   前記冗長データを格納するノードとして、前記複数のノードのうち、低負荷のノードを選択する、
   請求項５記載のストレージシステム。
7. 前記プロセッサは、
   前記データの冗長データを格納するノードを前記ネットワークの通信状態に基づいて決定する、
   請求項４記載のストレージシステム。
8. 前記プロセッサは、
   前記信頼性ポリシが前記ボリュームに適用されるデータの冗長化を要しないというものである場合、
   前記メモリに前記データを格納して前記ホストに前記アクセスに対する応答を返す、
   請求項２記載のストレージシステム。
9. 前記プロセッサは、
   前記信頼性ポリシが前記データの冗長化を要するというものである場合、
   前記アクセスに対する前記ホストへの応答を、前記複数のノードのうち２以上のノードの夫々について、前記複数の記憶デバイスのうち異なる種類の記憶デバイスへのデータの格納に基づいて、実行する、
   請求項２記載のストレージシステム。
10. 前記プロセッサは、
    前記信頼性ポリシが前記データの冗長化を要するというものである場合、
    前記アクセスに対する前記ホストへの応答を、前記複数のノードのうち２以上のノードの夫々について、同じ種類の記憶デバイスへの前記データの格納に基づいて、実行する、
    請求項２記載のストレージシステム。
11. 前記プロセッサは、
    前記ボリュームに適用されるデータの冗長データとして、当該データの複製データを用いる、
    請求項１記載のストレージシステム。
12. 前記プロセッサは、
    ユーザが設定した性能指標値を満たせるように、前記信頼性ポリシと前記性能ポリシとを決定する、
    請求項１記載のストレージシステム。
13. ネットワークを介して互いに接続する複数のノードと、記憶デバイスと、を備え、当該複数のノードの夫々は、前記記憶デバイスに対して入出力されるデータを処理するプロセッサと、メモリと、を有する、ストレージシステムのデータ処理方法であって、
    前記プロセッサは、
    ホストがアクセスするボリュームを提供し、
    データの信頼性に係る信頼性ポリシと、前記ボリュームへのアクセスに対する応答性能に係る性能ポリシとを、当該ボリュームに設定し、
    前記信頼性ポリシに基づいて、前記ボリュームにかかるデータを処理するノードに対する、当該データの冗長データを処理するノードを決定し、
    前記性能ポリシに基づいて、前記ボリュームへのアクセスに対する結果を応答するために前記データまたは前記冗長データを格納するメモリまたは記憶デバイスを、それぞれのノードに対して決定し、
    前記ホストからライト要求を受信した場合に、前記ライト要求にかかるデータを前記データを処理するノードの前記性能ポリシに基づいて決定されたメモリまたは記憶デバイスに格納され、その冗長データが前記冗長データを処理するノードの前記性能ポリシに基づいて決定されたメモリまたは記憶デバイスに格納されたら、前記ホストに応答する、
    ストレージシステムのデータ処理方法。
14. プロセッサと記憶デバイスとを備え、互いにネットワークで接続された複数のノードを有するストレージシステムにおいて、
    前記記憶デバイスには、不揮発性記憶デバイスと、アクセス速度の速い揮発性記憶デバイスと、が含まれており、
    前記プロセッサは、
    データを冗長化して複数のノードに格納しており、
    ライト要求を受けた場合に、前記ライト要求を受けたノードが、前記データを格納すべき複数の他のノードに前記データを転送するようにし、
    前記複数の他のノードが、受信した前記データを揮発性記憶デバイスに格納して前記ライト要求を受けたノードに応答し、前記応答後に前記データを前記揮発性デバイスから前記不揮発性記憶デバイスに移動するようにし、
    前記ライト要求を受けたノードが、前記データを揮発性記憶デバイスに格納し、前記データを転送した全ての前記他のノードから応答を受信した場合に、前記ライト要求の要求元に応答するようにした、
    ストレージシステム。
    

Images