JP2021026512A - ストレージシステムおよびストレージ制御方法 - Google Patents

Abstract

【課題】ボリュームの移行中に停電等によりストレージシステムがダウンしたとしても、ボリュームの移行を継続することができるストレージシステムを提供する。【解決手段】複数のストレージノードを有するストレージシステムであって、上記ストレージノードは、ボリュームに係る制御情報を記憶する不揮発性の記憶装置と、上記記憶装置への情報の読み書きに係る制御を行う容量制御部と、上記ボリュームを移行する移行制御部と、を備え、ストレージノード間でボリュームを移行させるときに、上記容量制御部は、上記移行制御部による上記ボリュームの移行に応じて、上記制御情報を更新する、ようにした。【選択図】図１

Description

本発明は、ストレージシステムおよびストレージ制御方法に関し、例えば、ストレージノード間でボリュームを移行可能なストレージシステムおよびストレージ制御方法に適用して好適なものである。

従来、ストレージシステムにおいて、複数のストレージサブシステム間でボリュームと当該ボリュームのスナップショット（スナップショットボリューム）とを共に移行する技術が提案されている。

例えば、移行先のストレージサブシステムに移行先のボリュームと移行先のスナップショットボリュームとを用意させ、移行元のボリュームと移行元のスナップショットボリュームとの更新差分を移行先のボリュームへ差分データの書き込み処理として実現することによって、スナップショットボリュームを移行先のストレージサブシステムに移行する技術が開示されている（特許文献１参照）。

また、近年、専用のハードウェアを用いないＳＤＳ（Software Defined Storage）の需要が伸びており、汎用のサーバ装置にソフトウェアによりストレージ機能を実装する技術が提案されている。

例えば、複数のストレージノードからなるストレージシステムにおいて、それぞれのストレージノードに制御ソフトウェアを設け、異なるストレージノード上の制御ソフトウェア同士で冗長化グループを構成し、冗長化グループに属する制御ソフトウェア間でそれぞれが保持する制御情報を同期して更新することによって、システム全体のリソースを有効に活用できる制御ソフトウェアの配置方法が知られている。

特開２００９−１８１２０６号公報

特許文献１に記載の技術によれば、ＳＤＳにおいてストレージノード間でスナップショットを移行することができる。しかしながら、移行の最中に停電等によりストレージシステムがダウンすると、移行の過渡状態を示す情報が失われてしまい、移行を最初からやり直す必要がある。

本発明は、以上の点を考慮してなされたもので、ボリュームの移行中に停電等によりストレージシステムがダウンしたとしても、ボリュームの移行を継続することができるストレージシステム等を提案しようとするものである。

かかる課題を解決するため本発明においては、複数のストレージノードを有するストレージシステムであって、前記ストレージノードは、ボリュームに係る制御情報を記憶する不揮発性の記憶装置と、前記記憶装置への情報の読み書きに係る制御を行う容量制御部と、前記ボリュームを移行する移行制御部と、を備え、前記ストレージノード間でボリュームを移行させるときに、前記容量制御部は、前記移行制御部による前記ボリュームの移行に応じて、前記制御情報を更新するようにした。

上記構成では、制御情報が不揮発性の記憶装置に記憶されるので、例えば、ストレージノードが汎用のコンピュータ装置であって、バッテリを備えていない場合であっても、ボリュームの移行時にストレージシステムが停電によりダウンしたときに、制御情報が消失してしまうことがない。よって、ストレージシステムが復旧した際、制御情報を記憶装置から読み出すことで、ボリュームの移行を再開することができる。

本発明によれば、信頼性の高いストレージシステムを実現することができる。

第１の実施の形態によるストレージシステムに係る構成の一例を示す図である。 第１の実施の形態によるストレージノードの物理構成の一例を示す図である。 第１の実施の形態によるストレージノードの論理構成の一例を示す図である。 第１の実施の形態による記憶領域の一例を示す図である。 第１の実施の形態によるソフトウェアモジュール構造の一例を示す図である。 第１の実施の形態によるストレージシステムの概念図である。 第１の実施の形態による論物変換テーブルの一例を示す図である。 第１の実施の形態によるスナップショットペア管理テーブルの一例を示す図である。 第１の実施の形態によるスナップショット差分管理テーブルの一例を示す図である。 第１の実施の形態によるスナップショット論物変換テーブルの一例を示す図である。 第１の実施の形態によるホストボリューム管理テーブルの一例を示す図である。 第１の実施の形態による制御情報アクセス権管理テーブルの一例を示す図である。 第１の実施の形態によるコピー済領域管理テーブルの一例を示す図である。 第１の実施の形態によるコピー中差分管理テーブルの一例を示す図である。 第１の実施の形態によるコピー対象テーブルの一例を示す図である。 第１の実施の形態による制御情報リード処理に係るフローチャートの一例を示す図である。 第１の実施の形態による制御情報ライト処理に係るフローチャートの一例を示す図である。 第１の実施の形態による論理チャンクリード処理に係るフローチャートの一例を示す図である。 第１の実施の形態による物理チャンク代理リード処理に係るフローチャートの一例を示す図である。 第１の実施の形態による論理チャンクライト処理に係るフローチャートの一例を示す図である。 第１の実施の形態による物理チャンク代理ライト処理に係るフローチャートの一例を示す図である。 第１の実施の形態によるホストリードＩ／Ｏ処理に係るフローチャートの一例を示す図である。 第１の実施の形態によるホストライトＩ／Ｏ処理に係るフローチャートの一例を示す図である。 第１の実施の形態による仮想ボリュームライトＩ／Ｏ処理に係るフローチャートの一例を示す図である。 第１の実施の形態による仮想ボリュームリードＩ／Ｏ処理に係るフローチャートの一例を示す図である。 第１の実施の形態によるボリューム移行処理に係るフローチャートの一例を示す図である。 第１の実施の形態によるボリュームコピー処理に係るフローチャートの一例を示す図である。 第１の実施の形態によるスナップショットを伴うボリューム移行処理に係るフローチャートの一例を示す図である。 第２の実施の形態によるホストライトＩ／Ｏ処理に係るフローチャートの一例を示す図である。 第２の実施の形態によるスナップショットを伴うボリューム移行処理に係るフローチャートの一例を示す図である。 第３の実施の形態によるストレージシステムの概要図である。 第４の実施の形態によるボリューム移行処理に係るフローチャートの一例を示す図である。 第５の実施の形態によるストレージシステムの概要図である。

以下、図面について、本発明の一実施の形態を詳述する。本実施の形態は、例えば、１以上のＳＤＳが実装された複数のストレージノードを備えるストレージシステムに関するものである。本実施の形態では、ボリュームの移行の最中に停電等によりストレージシステムがダウンすると、移行の過渡状態を示す情報が失われてしまい、移行を最初からやり直す事態を解決する方法について主に説明する。更には、本実施の形態では、ボリュームの移行中に受領したＩ／Ｏデータをロストしたりする事態を解決する方法についても説明する。

また、スナップショット機能では、ボリュームに対する差分データのみを保持することで容量を必要以上に消費しないことが重要である。つまり、ボリュームの移行においても差分データ以上のストレージノード間の転送を行ったり、差分データ以上の書き込みを行わなかったりすることも、スナップショット機能の性能、容量効率等の観点から重要である。本実施の形態では、スナップショットボリュームの移行において、スナップショット機能の性能、容量効率等が低下してしまう事態を解決する方法についても説明する。

なお、以下の説明では、同種の要素を区別しないで説明する場合には、枝番を含む参照符号のうちの共通部分（枝番を除く部分）を使用し、同種の要素を区別して説明する場合は、枝番を含む参照符号を使用することがある。例えば、ストレージノードを特に区別しないで説明する場合には、「ストレージノード１０２」と記載し、個々のストレージノードを区別して説明する場合には、「ストレージノード１０２−１」、「ストレージノード１０２−２」のように記載することがある。

（１）第１の実施の形態
（１−１）本実施の形態によるストレージシステムの構成
図１において、１００は全体として第１の実施の形態によるストレージシステムを示す。

ストレージシステム１００は、例えば、複数のホスト装置１０１（Host）と、複数のストレージノード１０２（Storage Node）と、管理ノード１０３（Management Node）とを備える。ホスト装置１０１とストレージノード１０２と管理ノード１０３とは、ファイバーチャネル（Fibre Channel）、イーサネット（登録商標）、ＬＡＮ（Local Area Network）等から構成されるネットワーク１０４を介して相互に接続される。

ホスト装置１０１は、ユーザ操作、実装されたアプリケーションプログラム等からの要求に応じて、ストレージノード１０２に対してリード要求またはライト要求（以下、適宜、これらをまとめてＩ／Ｏ（Input/Output）要求と呼ぶ）を送信する汎用のコンピュータ装置である。なお、ホスト装置１０１は、仮想マシンのような仮想的なコンピュータ装置であってもよい。

ストレージノード１０２は、データを読み書きするための記憶領域をホスト装置１０１に対して提供するコンピュータ装置である。ストレージノード１０２は、例えば、汎用のサーバ装置である。

管理ノード１０３は、システム管理者が本ストレージシステム１００全体を管理するために利用するコンピュータ装置である。管理ノード１０３は、複数のストレージノード１０２をクラスタと呼ぶグループとして管理する。なお、図１では、クラスタが１つのみ設けられた例を示しているが、ストレージシステム１００内に複数のクラスタを設けるようにしてもよい。

図２は、ストレージノード１０２の物理構成の一例を示す図である。

ストレージノード１０２は、ＣＰＵ（Central Processing Unit）２０１、メモリ２０２（Memory）、複数の記憶デバイス２０３（Drive）および通信装置２０４（NIC：Network Interface Card）を備える。

ＣＰＵ２０１は、ストレージノード１０２全体の動作制御を司るプロセッサである。メモリ２０２は、ＳＲＡＭ（Static RAM(Random Access Memory)）、ＤＲＡＭ（Dynamic RAM）等の揮発性の半導体メモリから構成される。メモリ２０２は、各種のプログラム、必要なデータを一時的に保持するために利用される。メモリ２０２に格納されたプログラムをＣＰＵ２０１が実行することにより、後述のようなストレージノード１０２全体としての各種の処理が実行される。

記憶デバイス２０３は、ＳＳＤ（Solid State Drive）、ＳＡＳ（Serial Attached SCSI(Small Computer System Interface)）ハードディスクドライブ、ＳＡＴＡ（Serial
ATA(Advanced Technology Attachment)）ハードディスクドライブ等の１または複数種類の大容量の不揮発性の記憶装置から構成される。記憶デバイス２０３は、ホスト装置１０１からのＩ／Ｏ要求に応じてデータをリードまたはライトするための物理的な記憶領域を提供する。

通信装置２０４は、ストレージノード１０２がネットワーク１０４を介してホスト装置１０１、他のストレージノード１０２または管理ノード１０３と通信を行うためのインターフェースである。通信装置２０４は、例えば、ＮＩＣ、ＦＣカード等から構成される。通信装置２０４は、ホスト装置１０１、他のストレージノード１０２または管理ノード１０３との通信時におけるプロトコル制御を行う。

図３は、ストレージノード１０２の論理構成の一例を示す図である。

ストレージノード１０２は、フロントエンドドライバ３０１（Front-end driver）と、バックエンドドライバ３０２（Back-end driver）と、１または複数のストレージ制御部３０３（Storage Controller）と、容量制御部３０４（Capacity Controller）と、移行制御部３０５（Migration Controller）と、を備える。

フロントエンドドライバ３０１は、通信装置２０４を制御し、ストレージ制御部３０３に対してホスト装置１０１、他のストレージノード１０２または管理ノード１０３との通信時における抽象化したインターフェースをＣＰＵ２０１に提供する機能を有するソフトウェアである。

バックエンドドライバ３０２は、自ストレージノード１０２内の各記憶デバイス２０３を制御し、各記憶デバイス２０３との通信時における抽象化したインターフェースをＣＰＵ２０１に提供する機能を有するソフトウェアである。

ストレージ制御部３０３は、ＳＤＳのコントローラとして機能するソフトウェアである。ストレージ制御部３０３は、ホスト装置１０１からのＩ／Ｏ要求を受け付け、当該Ｉ／Ｏ要求に応じたＩ／Ｏコマンドを容量制御部３０４に発行する。また、ストレージ制御部３０３は、スナップショット機能を有する。

本実施の形態の場合、ストレージノード１０２に実装された各ストレージ制御部３０３は、別のストレージノード１０２に配置された他のストレージ制御部３０３と共に冗長構成を構成するペアとして管理される。以下においては、このペアをストレージ制御部ペア３１０と呼ぶものとする。

なお、図３では、２つのストレージ制御部３０３により１つのストレージ制御部ペア３１０が構成される場合を示している。以下においても、２つのストレージ制御部３０３によりストレージ制御部ペア３１０が構成されるものとして説明を進めるが、３つ以上のストレージ制御部３０３により１つの冗長構成を構成するようにしてもよい。

ストレージ制御部ペア３１０では、一方のストレージ制御部３０３がホスト装置１０１からのＩ／Ｏ要求を受け付けることができる状態（現用系の状態であり、以下、アクティブモードと呼ぶ）に設定される。また、ストレージ制御部ペア３１０では、他方のストレージ制御部３０３がホスト装置１０１からのＩ／Ｏ要求を受け付けない状態（待機系の状態であり、以下、パッシブモードと呼ぶ）に設定される。

そして、ストレージ制御部ペア３１０では、アクティブモードに設定されたストレージ制御部３０３（以下、アクティブストレージ制御部と呼ぶ）、アクティブストレージ制御部が配置されたストレージノード１０２に障害が発生した場合等に、それまでパッシブモードに設定されていたストレージ制御部３０３（以下、パッシブストレージ制御部と呼ぶ）の状態がアクティブモードに切り替えられる。これにより、アクティブストレージ制御部が稼働し得なくなった場合に、当該アクティブストレージ制御部が実行していたＩ／Ｏ処理を、パッシブストレージ制御部により引き継ぐことができる。

容量制御部３０４は、各ストレージ制御部ペア３１０に対して自ストレージノード１０２内または他のストレージノード１０２内の記憶デバイス２０３が提供する物理的な記憶領域を割り当てると共に、ストレージ制御部３０３から与えられる上述のＩ／Ｏコマンドに従って、指定されたデータを対応する記憶デバイス２０３にリードまたはライトする機能を有するソフトウェアである。

この場合、容量制御部３０４は、ストレージ制御部ペア３１０に対して他のストレージノード１０２内の記憶デバイス２０３が提供する物理的な記憶領域を割り当てたときには、当該他のストレージノード１０２に実装された容量制御部３０４と協働して、その容量制御部３０４との間でネットワーク１０４を介してデータをやり取りすることにより、そのストレージ制御部ペア３１０のアクティブストレージ制御部から与えられたＩ／Ｏコマンドに従ってそのデータをその記憶領域にリードまたはライトする。

移行制御部３０５は、ストレージノード１０２間、ストレージ制御部３０３間等でボリュームを移行するソフトウェアである。

図４は、容量制御部３０４が管理する記憶領域の一例を示す図である。

容量制御部３０４は、図４に示すように、各ストレージノード１０２内の記憶デバイス２０３がそれぞれ提供する物理的な記憶領域を、それぞれ所定大きさの物理記憶領域４０１（以下、物理チャンクと呼ぶ）に分割して管理する。

また、容量制御部３０４は、各ストレージ制御部ペア３１０に対してそれぞれ専用のプールを対応付け、これらプールに物理チャンクと同じ大きさの論理的な記憶領域である論理記憶領域４０２（以下、論理チャンク）を適宜割り当て、論理チャンクに対して１または複数の物理チャンクを対応付ける。

さらに、各ストレージ制御部ペア３１０のプール上には、１または複数の仮想的な論理ボリューム（以下、仮想ボリュームまたはボリュームと呼ぶ）が定義され、これらの仮想ボリュームがホスト装置１０１にホストボリュームとして提供される。

ホスト装置１０１は、かかる仮想ボリュームにデータをライトする場合、データのライト先の仮想ボリューム（以下、ライト対象ボリュームと呼ぶ）の識別子（ＬＵＮ（Logical Number Unit））と、当該ライト対象ボリュームにおける当該データのライト先の記憶領域（以下、ライト先記憶領域と呼ぶ）とを指定したライト要求を、対応するクラスタ内のいずれかのストレージノード１０２に送信する。

ライト要求を受信したストレージノード１０２のフロントエンドドライバ３０１は、受信したライト要求において指定されたライト対象ボリュームとプールとを介して対応付けられたストレージ制御部ペア３１０のアクティブストレージ制御部またはパッシブストレージ制御部が配置されている各ストレージノード１０２のフロントエンドドライバ３０１に当該ライト要求、および、当該ライト要求と共にホスト装置１０１から送信されてきたライト対象のデータ（以下、ライトデータと呼ぶ）を転送する。

また、ライト要求およびライトデータを受領したストレージノード１０２のフロントエンドドライバ３０１は、ライト要求およびライトデータを、ライト要求において指定されたライト対象ボリュームとプールとを介して対応付けられたストレージ制御部ペア３１０のストレージ制御部３０３に引き渡す。

そして、ライト要求およびライトデータが引き渡されたストレージ制御部３０３のうちのアクティブストレージ制御部は、ライト対象ボリューム内のライト先記憶領域に対して、当該ライト対象ボリュームと対応付けられたプールを構成する論理チャンクから必要に応じて記憶領域（以下、論理領域と呼ぶ）を割り当てる。

また、アクティブストレージ制御部は、ライト要求において指定されたライト対象ボリューム内のライト先記憶領域のアドレスを、当該ライト先記憶領域に論理領域を割り当てた論理チャンクのチャンク番号と、当該論理領域のオフセット位置とに変換したＩ／Ｏコマンド（ライトコマンド）を生成し、生成したＩ／Ｏコマンドをライトデータと共に自ストレージノード１０２内の容量制御部３０４に送信する。

容量制御部３０４は、Ｉ／Ｏコマンドおよびライトデータを受信すると、当該Ｉ／Ｏコマンドで指定された論理チャンクに対応付けた各物理チャンクをそれぞれ提供する各記憶デバイス２０３内のかかるオフセット位置の記憶領域にデータをそれぞれ格納する。

このようにしてストレージシステム１００では、ホスト装置１０１からのデータが対応する論理チャンクに対応付けられた複数の物理チャンクに冗長化されて格納される。このため、論理チャンクに割り当てられる物理チャンクの数は、ストレージシステム１００における冗長化方式の設定内容によって決定される。

例えば、データを二重化して記憶する設定の場合には、１つの論理チャンクに対して２つの物理チャンクが対応付けられ、データを三重化以上に多重化して記憶する設定の場合、ＥＣ（Erasure-Coding）のようにデータから冗長化データを作成して記憶する設定がなされている場合等には、３つ以上の必要な数の物理チャンクが１つの論理チャンクに対応付けられる。

なお、１つの論理チャンクに複数の物理チャンクが対応付けられ、複数の物理チャンクにデータを多重化して格納する場合、複数の物理チャンクの中から１つの物理チャンクが「マスタ」（マスタ面）に設定され、残りの物理チャンクがすべて「ミラー」（ミラー面）に設定される。そして、後述のように、物理チャンクからのデータリードは、「マスタ」に設定された物理チャンクから行われる。また、ＥＣの場合には、１つの論理チャンクに複数の物理チャンクが対応付けられ、複数の物理チャンクにマスタデータおよび冗長データが所定パターンで格納される。

一方、ホスト装置１０１は、仮想ボリュームからデータを読み出す場合、当該仮想ボリューム（以下、リード対象ボリュームと呼ぶ）のＬＵＮと、当該リード対象ボリュームにおけるそのデータのリード先の記憶領域（以下、リード先領域と呼ぶ）とを指定したリード要求を当該リード対象ボリュームが含まれるクラスタ内のいずれかのストレージノード１０２に送信する。

リード要求を受信したストレージノード１０２のフロントエンドドライバ３０１は、受信したリード要求において指定されたリード対象ボリュームとプールとを介して対応付けられたストレージ制御部ペア３１０のアクティブストレージ制御部またはパッシブストレージ制御部が配置された各ストレージノード１０２にリード要求をそれぞれ転送する。

また、リード要求を受領したストレージノード１０２のフロントエンドドライバ３０１は、リード要求を当該リード要求において指定されたリード対象ボリュームとプールとを介して対応付けられたストレージ制御部ペア３１０のストレージ制御部３０３に引き渡す。

リード要求が引き渡されたストレージ制御部３０３のうちのアクティブストレージ制御部は、リード対象ボリューム内のリード先領域のアドレスを、当該リード先領域に論理領域を割り当てた論理チャンクのチャンク番号と、当該論理領域のオフセット位置とに変換したＩ／Ｏコマンド（リードコマンド）を生成し、生成したＩ／Ｏコマンドを自ストレージノード１０２内の容量制御部３０４に送信する。

容量制御部３０４は、Ｉ／Ｏコマンドを受信すると、当該Ｉ／Ｏコマンドで指定された論理チャンクと対応付けられた各物理チャンクのうち、「マスタ」に設定された物理チャンク内のＩ／Ｏコマンドで指定されたオフセット位置の記憶領域からデータを読み出し、読み出したデータをリードデータとしてＩ／Ｏコマンドの送信元のアクティブストレージ制御部に転送する。リードデータは、この後、アクティブストレージ制御部によりネットワーク１０４を介してリード要求の送信元のホスト装置１０１に転送される。

（１−２）論理チャンクに対する物理チャンクの割当て
上述のように１つの論理チャンクに複数の物理チャンクを対応付け、物理チャンクにデータをそれぞれ格納することによりデータを冗長化する冗長化方式を採用する場合、データ保護の観点からも、１つの論理チャンクに対応付ける複数の物理チャンクをそれぞれ異なるストレージノード１０２が提供する物理チャンクから選択することが望ましい。これは、例えば、１つの論理チャンクに対して同じストレージノード１０２内の複数の物理チャンクを対応付けた場合、当該ストレージノード１０２が障害等によりデータの読み出しを行えなくなったときにデータロストが発生することになるからである。

そこで、本ストレージシステム１００では、容量制御部３０４がストレージ制御部ペア３１０に論理チャンクを割り当て、当該論理チャンクに複数の物理チャンクを対応付ける際に、複数の物理チャンクをそれぞれ互いに異なる複数のストレージノード１０２が提供する物理チャンクの中から選択することとしている。

一方で、論理チャンクと対応付ける物理チャンクを、アクティブストレージ制御部が配置されたストレージノード１０２とは別のストレージノード１０２内の物理チャンクから選択することとした場合、当該アクティブストレージ制御部からのＩ／Ｏコマンドを受領した容量制御部３０４（アクティブストレージ制御部と同じストレージノード１０２内の容量制御部３０４）が当該物理チャンクにデータをリードまたはライトする際に、当該物理チャンクを提供するストレージノード１０２との間の通信が必要となり、その分、システム全体としての応答性能が悪くなるという問題がある。したがって、論理チャンクに複数の物理チャンクを対応付けるに際しては、物理チャンクのうちの１つを、アクティブストレージ制御部が配置されたストレージノード１０２内の記憶デバイス２０３が提供する物理チャンクの中から選択する方がシステム全体の応答性能の観点からも望ましい。

また、ストレージ制御部ペア３１０におけるアクティブストレージ制御部が配置されたストレージノード１０２に障害が発生した場合に、パッシブストレージ制御部がアクティブモードに切り替えられることを考慮すると、上述と同様の理由により、論理チャンクに対応付ける物理チャンクのうちの１つは、パッシブストレージ制御部が配置されたストレージノード１０２内の記憶デバイス２０３が提供する物理チャンクの中から選択する方がシステム全体の応答性能の観点からも望ましい。

そこで、本ストレージシステム１００では、容量制御部３０４がストレージ制御部ペア３１０に論理チャンクを割り当て、当該論理チャンクに複数の物理チャンクを対応付ける際に、当該ストレージ制御部ペア３１０のアクティブストレージ制御部が配置されたストレージノード１０２内の記憶デバイス２０３が提供する物理チャンクと、当該ストレージ制御部ペア３１０のパッシブストレージ制御部が配置されたストレージノード１０２内の記憶デバイス２０３が提供する物理チャンクとを優先的に当該論理チャンクに対応付ける容量優先割当機能が容量制御部３０４に搭載されている。

ただし、１つのストレージ制御部ペア３１０に割り当てられたプール内の論理チャンクに対して、当該ストレージ制御部ペア３１０を構成するアクティブストレージ制御部またはパッシブストレージ制御部が配置されたストレージノード１０２から物理チャンクを無制限に対応付けると、当該ストレージノード１０２にアクティブストレージ制御部またはパッシブストレージ制御部が配置された他のストレージ制御部ペア３１０の論理チャンクに対して当該ストレージノード１０２内の記憶デバイス２０３から物理チャンクを対応付けられなくなるという問題がある。

そこで、かかる容量優先割当機能には、ストレージ制御部ペア３１０に対し、当該ストレージ制御部ペア３１０のアクティブストレージ制御部が配置されたストレージノード１０２、または当該ストレージ制御部ペア３１０のパッシブストレージ制御部が配置されたストレージノード１０２から割り当てる物理チャンクの容量を抑制する機能も含まれている。

図５は、ストレージ制御部３０３、容量制御部３０４および移行制御部３０５のソフトウェアモジュール構造の一例を示す図である。

ストレージ制御部３０３は、容量仮想化処理５０１およびスナップショット処理５０２を実行する。

容量仮想化処理５０１では、ストレージ制御部３０３は、仮想ボリュームの各アドレス空間に対して、動的に論理チャンクの記憶領域を割り当てる。仮想ボリュームが作成された時点では論理チャンクの記憶領域は、対応付けられていないので、ストレージ制御部３０３は、ホスト装置１０１からのデータが書き込まれた際に書き込まれたアドレスに対応する論理チャンクの記憶領域を割り当てる。ストレージ制御部３０３は、後述する論物変換テーブル７００を用いて割当の有無、割当がある場合は割当先（論理チャンク番号、論理チャンクアドレス等）を管理する。

スナップショット処理５０２では、ストレージ制御部３０３は、仮想ボリュームに対するスナップショット（仮想ボリュームのレプリカイメージであるスナップショットボリューム）を作成する。スナップショットを作成する元の仮想ボリュームをＰＶＯＬ、スナップショットボリュームをＳＶＯＬと呼ぶ。ストレージ制御部３０３は、後述するスナップショットペア管理テーブル８００でＰＶＯＬとＳＶＯＬとのペア関係を管理する。また、スナップショットボリュームの作成時点以降に更新された記憶領域を除いてＰＶＯＬとＳＶＯＬとは同じデータを持つため、ＰＶＯＬとＳＶＯＬとの間で単一の論理チャンク上の記憶領域を消費し、ＳＶＯＬに対しては作成時点以降でＰＶＯＬまたはＳＶＯＬが更新され、両者に差分が生じた記憶領域のみ論理チャンク上の記憶領域を消費する。ストレージ制御部３０３は、この差分の有無を後述するスナップショット差分管理テーブル９００にて管理する。また、ストレージ制御部３０３は、差分のある記憶領域に対するスナップショットボリュームと論理チャンク上の記憶領域との対応関係を後述するスナップショット論物変換テーブル１０００にて管理する。

容量制御部３０４は、論理チャンクリード処理５１１、論理チャンクライト処理５１２、物理チャンク代理リード処理５１３、物理チャンク代理ライト処理５１４、制御情報リード処理５１５および制御情報ライト処理５１６を備える。それぞれの処理の詳細については後述する。

移行制御部３０５は、ボリューム移行処理５２１とボリュームコピー処理５２２とを備える。それぞれの処理の詳細については後述する。

図６は、ストレージシステム１００の概念図である。より具体的には、図６は、ストレージシステム１００におけるスナップショットを伴うボリューム移行方式の概念図である。

移行制御部３０５は、移行元のストレージノード１０２−１にある仮想ボリューム６０１（移行元ボリューム）と当該仮想ボリューム６０１のスナップショットボリューム６０２（移行元スナップショットボリューム）に対応して、移行先のストレージノード１０２−２のストレージ制御部３０３−２に仮想ボリューム６０３（移行先ボリューム）と当該仮想ボリュームのスナップショットボリューム６０４（移行先スナップショットボリューム）を作成する。移行制御部３０５は、移行元ボリュームおよび移行元スナップショットボリュームから移行先ボリュームおよび移行先スナップショットボリュームへとデータをコピーする。

この際、移行制御部３０５は、移行元のストレージノード１０２−１が持つ制御情報６１０（Meta-data）を参照し、移行元ボリュームと移行元スナップショットボリュームとの差分データのみを移行先スナップショットボリュームにコピーすることによって効率的にスナップショットを伴う移行が可能になる。移行制御部３０５が移行元のストレージノード１０２−１が持つ制御情報６１０を参照するために、移行制御部３０５は、容量制御部３０４−１が制御情報を静止化（書き込み禁止）し、リードオンリーの参照権限を、移行制御部３０５を含む他のプロセスに付与するための設定を行う。

容量制御部３０４−１は、制御情報６１０をデータと同様に冗長化しながら記憶デバイス２０３に格納している。なお、図示は省略するが、容量制御部３０４−２は、ストレージノード１０２−２がホスト装置１０１に提供する仮想ボリュームの制御情報をデータと同様に冗長化しながら記憶デバイス２０３に格納している。ただし、移行制御部３０５が設けられるストレージノード１０２−２がバッテリを備えている場合、ストレージノード１０２−２がホスト装置１０１に提供する仮想ボリュームに係る制御情報を記憶デバイス２０３に記憶しなくてもよい。

付言するならば、図６では、１つの論理チャンクは、１つの物理チャンクに対応付けられているが、複数の物理チャンクに対応付けられ、ミラーリングされていてもよく、またＥＣのような技術を用いて冗長化されていてもよい。

これによって、制御情報は、ノード障害、ドライブ障害等の際に失われることなく、移行制御部３０５は、アクセスを継続することができる。また、制御情報は、停電においても記憶デバイス２０３に格納しているため失われることがない。例えば、容量制御部３０４−１を通じて他ストレージノード１０２からも一時的に制御情報６１０を参照可能とすることにより、移行制御部３０５が制御情報６１０を参照することができ、制御情報６１０を用いてスナップショットボリューム６０２の効率的な移行が可能となる。

制御情報の更新時には、制御情報ライト処理５１６が実行され、制御情報の参照時には、制御情報リード処理５１５が実行される。以降のフローの中で制御情報の具体例である各種テーブルを参照する場合は、そのように解釈される。また、メモリ２０２に制御情報のコピーが保持されてもよい。

以下、制御情報について説明する。図７〜図１５に示すテーブルは、制御情報の一例である。

図７は、論物変換テーブル７００の一例を示す図である。論物変換テーブル７００は、容量仮想化機能を実現するために必要なテーブルである。論物変換テーブル７００は、仮想ボリューム番号７０１の各仮想ボリュームアドレス７０２に対して、割当先の論理チャンク番号７０３と論理チャンクアドレス７０４とを保持する。割当がある記憶領域に対応するエントリでは、論理チャンク番号７０３と論理チャンクアドレス７０４とに値が格納され、未割当の記憶領域に対しては値が格納されない（図中ではハイフンで表記）。

図８は、スナップショットペア管理テーブル８００の一例を示す図である。スナップショットペア管理テーブル８００は、仮想ボリュームと当該仮想ボリュームのスナップショットボリュームとの各ペア（スナップショットペア）に対して、スナップショットペア番号８０１（Snapshotペア番号）とＰＶＯＬ番号８０２とＳＶＯＬ番号８０３とを保持する。

図９は、スナップショット差分管理テーブル９００の一例を示す図である。スナップショット差分管理テーブル９００は、ＰＶＯＬとＳＶＯＬとにおいてどの記憶領域に差分があるのかを差分ビットマップ（差分ＢＭＰ）として管理する。より具体的には、スナップショット差分管理テーブル９００は、ＳＶＯＬ番号９０１の各ＳＶＯＬアドレス９０２（アドレス空間）に対して差分９０３を保持する。

図１０は、スナップショット論物変換テーブル１０００の一例を示す図である。スナップショット論物変換テーブル１０００は、ＳＶＯＬ番号１００１の各ＳＶＯＬアドレス１００２（アドレス空間）に対して、差分がある場合には論理チャンク番号１００３および論理チャンクアドレス１００４を保持する。

図１１は、ホストボリューム管理テーブル１１００の一例を示す図である。ホストボリューム管理テーブル１１００は、ホストボリューム番号１１０１（ホストボリューム）に対して、コピー状態１１０２、Ｉ／Ｏ発行先仮想ボリューム番号１１０３および移行元仮想ボリューム番号１１０４を保持する。ホストボリューム管理テーブル１１００は、通常、Ｉ／Ｏ発行先仮想ボリューム番号１１０３のみ値を持ち、コピー状態１１０２が「コピー中」である場合、移行元仮想ボリューム番号１１０４に値を持つ。

図１２は、制御情報アクセス権管理テーブル１２００の一例を示す図である。制御情報アクセス権管理テーブル１２００は、各制御情報１２０１に対して、静止化状態１２０２およびアクセス権１２０３を保持する。アクセス権１２０３には、「ＡＬＬ（リードオンリー）」またはプロセス識別子が設定される。ＡＬＬ（リードオンリー）が設定されている場合には全てのプロセスに当該制御情報へのリードアクセス権があることを意味し、プロセス識別子が設定されている場合には当該制御情報へのリードおよびライトアクセス権が当該プロセスにのみあることを示す。

図１３は、コピー済領域管理テーブル１３００の一例を示す図である。コピー済領域管理テーブル１３００は、仮想ボリュームの移行中にのみ使用され、ホストボリュームに対して、どの記憶領域がコピー済であるかを管理する。コピー済領域管理テーブル１３００は、ホストボリューム番号１３０１の各ホストボリュームアドレス１３０２に対して、コピー済み１３０３を保持する。

図１４は、コピー中差分管理テーブル１４００の一例を示す図である。コピー中差分管理テーブル１４００は、仮想ボリュームの移行中にのみ使用され、ホストボリュームに対して、コピー開始以降にどの記憶領域が更新されたのかを差分ＢＭＰとして管理する。コピー中差分管理テーブル１４００は、ホストボリューム番号１４０１の各ホストボリュームアドレス１４０２に対して、差分１４０３を保持する。

図１５は、コピー対象テーブル１５００の一例を示す図である。コピー対象テーブル１５００は、ボリュームコピー処理５２２の入力として渡され、仮想ボリュームの各仮想ボリュームアドレス１５０１に対してコピー対象１５０２を保持する。コピー対象１５０２には、コピー対象である場合、「あり」、コピー対象外である場合、「なし」が設定される。

図１６は、制御情報リード処理５１５に係るフローチャートの一例を示す図である。制御情報リード処理５１５は、容量制御部３０４によって実行される。制御情報リード処理５１５は、リード対象の制御情報の全部または一部をリード対象として指定されて呼び出される。

まず、容量制御部３０４は、制御情報アクセス権管理テーブル１２００を参照し、リード対象の制御情報に対応するエントリを読み出す（ステップＳ１６０１）。

次に、容量制御部３０４は、当該制御情報の静止化状態１２０２が「Ｙｅｓ」であり、かつ、アクセス権１２０３が「ＡＬＬ(リードオンリー)」であるか否かを判定する（ステップＳ１６０２）。容量制御部３０４は、当該制御情報の静止化状態１２０２が「Ｙｅｓ」であり、かつ、アクセス権１２０３が「ＡＬＬ(リードオンリー)」であると判定した場合、ステップＳ１６０３に処理を移し、当該制御情報の静止化状態１２０２が「Ｙｅｓ」でない、または、アクセス権１２０３が「ＡＬＬ(リードオンリー)」でないと判定した場合、ステップＳ１６０５に処理を移す。

ステップＳ１６０３では、容量制御部３０４は、論理チャンクリード処理５１１を行う。論理チャンクリード処理５１１では、容量制御部３０４は、制御情報を読み出す。

次に、容量制御部３０４は、読み出した制御情報を呼び出し元のプロセスに応答し（ステップＳ１６０４）、制御情報リード処理５１５を終了する。

ステップＳ１６０５では、容量制御部３０４は、アクセス権１２０３が自プロセスにあるか否かを判定する。容量制御部３０４は、アクセス権１２０３が自プロセスにあると判定した場合、ステップＳ１６０３に処理を移し、アクセス権１２０３が自プロセスにないと判定した場合、ステップＳ１６０６に処理を移す。

ステップＳ１６０６では、容量制御部３０４は、エラー応答し、制御情報リード処理５１５を終了する。

なお、アクセス権１２０３の判定については、プロセス単位ではなくストレージノード１０２単位で行われてもよい。

図１７は、制御情報ライト処理５１６に係るフローチャートの一例を示す図である。制御情報ライト処理５１６は、容量制御部３０４によって実行される。制御情報ライト処理５１６は、ライト対象の制御情報の全部または一部をライト対象として指定されて呼び出される。

まず、容量制御部３０４は、制御情報アクセス権管理テーブル１２００を参照し、ライト対象の制御情報に対応するエントリを読み出す（ステップＳ１７０１）。

次に、当該制御情報の静止化状態１２０２が「Ｙｅｓ」であり、かつ、アクセス権１２０３が「ＡＬＬ(リードオンリー)」であるか否かを判定する（ステップＳ１７０２）。容量制御部３０４は、当該制御情報の静止化状態１２０２が「Ｙｅｓ」であり、かつ、アクセス権１２０３が「ＡＬＬ(リードオンリー)」であると判定した場合、ステップＳ１７０６に処理を移し、当該制御情報の静止化状態１２０２が「Ｙｅｓ」でない、または、アクセス権１２０３が「ＡＬＬ(リードオンリー)」でないと判定した場合、ステップＳ１７０３に処理を移す。

ステップＳ１７０３では、容量制御部３０４は、アクセス権１２０３が自プロセスにあるか否かを判定する。容量制御部３０４は、アクセス権１２０３が自プロセスにあると判定した場合、ステップＳ１７０４に処理を移し、アクセス権１２０３が自プロセスにないと判定した場合、ステップＳ１７０６に処理を移す。

ステップＳ１７０４では、容量制御部３０４は、論理チャンクライト処理５１２を行う。論理チャンクライト処理５１２では、容量制御部３０４は、制御情報を更新する。

次に、容量制御部３０４は、呼び出し元に書き込み成功を応答し（ステップＳ１７０５）、制御情報ライト処理５１６を終了する。

ステップＳ１７０６では、容量制御部３０４は、呼び出し元にエラー応答し、制御情報ライト処理５１６を終了する。

図１８は、論理チャンクリード処理５１１に係るフローチャートの一例を示す図である。論理チャンクリード処理５１１は、容量制御部３０４によって実行される。

まず、容量制御部３０４は、指定された論理チャンクに対するマスタ面の物理チャンクが自ストレージノード１０２に存在するか否かを判定する（ステップＳ１８０１）。容量制御部３０４は、指定された論理チャンクに対するマスタ面の物理チャンクが自ストレージノード１０２に存在すると判定した場合、ステップＳ１８０２に処理を移し、指定された論理チャンクに対するマスタ面の物理チャンクが自ストレージノード１０２に存在しないと判定した場合、ステップＳ１８０５に処理を移す。

ステップＳ１８０２では、容量制御部３０４は、指定された論理チャンクのオフセット位置から物理チャンクが配置された先の記憶デバイス２０３のアドレスに変換する。

次に、容量制御部３０４は、変換したアドレスをもとに記憶デバイス２０３をリードし、データを読み出す（ステップＳ１８０３）。

ステップＳ１８０４では、容量制御部３０４は、読み出したデータを応答し、論理チャンクリード処理５１１を終了する。

ステップＳ１８０５では、容量制御部３０４は、マスタ面の物理チャンクが所属するストレージノード１０２に物理チャンク代理リード要求を発行する。物理チャンク代理リード要求が発行されたストレージノード１０２では、物理チャンク代理リード処理５１３が行われる。

図１９は、物理チャンク代理リード処理５１３に係るフローチャートの一例を示す図である。物理チャンク代理リード処理５１３は、ストレージノード１０２間の通信により依頼される処理であり、容量制御部３０４によって実行される。

まず、容量制御部３０４は、指定された論理チャンクのオフセット位置から物理チャンクが配置された記憶デバイス２０３のアドレスに変換する（ステップＳ１９０１）。

次に、容量制御部３０４は、変換したアドレスをもとに記憶デバイス２０３をリードし、データを読み出す（ステップＳ１９０２）。

次に、容量制御部３０４は、読み出したデータを応答し（ステップＳ１９０３）、物理チャンク代理リード処理５１３を終了する。

図２０は、論理チャンクライト処理５１２に係るフローチャートの一例を示す図である。論理チャンクライト処理５１２は、容量制御部３０４によって実行される。

まず、容量制御部３０４は、指定された論理チャンクに対応する物理チャンクを特定する（ステップＳ２００１）。容量制御部３０４は、特定した物理チャンク数分だけステップＳ２００２〜ステップＳ２００５を繰り返す。

ステップＳ２００２では、容量制御部３０４は、指定された論理チャンクに対するマスタ面の物理チャンクが自ストレージノード１０２に存在するか否かを判定する。容量制御部３０４は、指定された論理チャンクに対するマスタ面の物理チャンクが自ストレージノード１０２に存在すると判定した場合、ステップＳ２００３に処理を移し、指定された論理チャンクに対するマスタ面の物理チャンクが自ストレージノード１０２に存在しないと判定した場合、ステップＳ２００５に処理を移す。

ステップＳ２００３では、容量制御部３０４は、指定された論理チャンクのオフセット位置から物理チャンクが配置された記憶デバイス２０３のアドレスに変換する。

次に、容量制御部３０４は、変換したアドレスをもとに記憶デバイス２０３にデータを書き出す（ステップＳ２００４）。

ステップＳ２００５では、容量制御部３０４は、マスタ面の物理チャンクが所属するストレージノード１０２に物理チャンク代理ライト要求を発行する。物理チャンク代理ライト要求が発行されたストレージノード１０２では、物理チャンク代理ライト処理５１４が行われる。

図２１は、物理チャンク代理ライト処理５１４に係るフローチャートの一例を示す図である。物理チャンク代理ライト処理５１４は、ストレージノード１０２間の通信により依頼される処理であり、容量制御部３０４によって実行される。

まず、容量制御部３０４は、指定された論理チャンクのオフセット位置から物理チャンクが配置された記憶デバイス２０３のアドレスに変換する（ステップＳ２１０１）。

次に、容量制御部３０４は、変換したアドレスをもとに記憶デバイス２０３にデータを書き出す（ステップＳ２１０２）。

次に、容量制御部３０４は、成功を応答し（ステップＳ２１０３）、物理チャンク代理ライト処理５１４を終了する。

図２２は、ホストリードＩ／Ｏ処理に係るフローチャートの一例を示す図である。ホストリードＩ／Ｏ処理は、フロントエンドドライバ３０１によって実行される。フロントエンドドライバ３０１がホスト装置１０１からリード要求を受領すると、ホストリードＩ／Ｏ処理が、ホストボリューム番号とリード対象のホストボリュームアドレスとを伴って呼び出される。

まず、フロントエンドドライバ３０１は、指定されたホストボリューム管理テーブル１１００を参照し、当該ホストボリュームに対応するエントリのコピー状態１１０２を参照し、「コピー中」であるか否か（ホストボリュームのコピー状態がコピー中であるか否か）を判定する（ステップＳ２２０１）。フロントエンドドライバ３０１は、ホストボリュームのコピー状態がコピー中であると判定した場合、ステップＳ２２０２に処理を移し、ホストボリュームのコピー状態がコピー中でないと判定した場合、ステップＳ２２０４に処理を移す。

ステップＳ２２０２では、フロントエンドドライバ３０１は、コピー済領域管理テーブル１３００における、指定されたリード対象のアドレスに対応するエントリを参照する。

次に、フロントエンドドライバ３０１は、エントリのコピー済１３０３が「済」（コピー済）であるか否かを判定する（ステップＳ２２０３）。フロントエンドドライバ３０１は、コピー済であると判定した場合、ステップＳ２２０４に処理を移し、コピー済でないと判定した場合、ステップＳ２２０５に処理を移す。

ステップＳ２２０４では、フロントエンドドライバ３０１は、当該ホストボリュームに対応するＩ／Ｏ要求の発行対象の仮想ボリュームが所属するストレージ制御部３０３へ移行先の仮想ボリュームへのリード要求を発行する。

ステップＳ２２０５では、フロントエンドドライバ３０１は、当該ホストボリュームに対応するＩ／Ｏ要求の発行対象の仮想ボリュームが所属するストレージ制御部３０３に移行元の仮想ボリュームへのリード要求を発行する。

図２３は、ホストライトＩ／Ｏ処理に係るフローチャートの一例を示す図である。ホストライトＩ／Ｏ処理は、フロントエンドドライバ３０１によって実行される。フロントエンドドライバ３０１がホスト装置１０１からライト要求を受領すると、ホストライトＩ／Ｏ処理は、ホストボリューム番号とライト対象のホストボリュームアドレスとを伴って呼び出される。

まず、フロントエンドドライバ３０１は、指定されたホストボリューム管理テーブル１１００を参照し、当該ホストボリュームに対応するエントリのコピー状態１１０２を参照し、「コピー中」であるか否か（ホストボリュームのコピー状態がコピー中であるか否か）を判定する（ステップＳ２３０１）。フロントエンドドライバ３０１は、ホストボリュームのコピー状態がコピー中であると判定した場合、ステップＳ２３０２に処理を移し、ホストボリュームのコピー状態がコピー中でないと判定した場合、ステップＳ２３０３に処理を移す。

ステップＳ２３０２では、フロントエンドドライバ３０１は、コピー中差分管理テーブル１４００を更新し、ステップＳ２３０３に処理を移す。

ステップＳ２３０３では、フロントエンドドライバ３０１は、当該ホストボリュームに対応するＩ／Ｏ要求の発行対象の仮想ボリュームが所属するストレージ制御部３０３へ移行先の仮想ボリュームへのライト要求を発行する。

図２４は、仮想ボリュームライトＩ／Ｏ処理に係るフローチャートの一例を示す図である。仮想ボリュームライトＩ／Ｏ処理は、ストレージ制御部３０３によって実行される。仮想ボリュームライトＩ／Ｏ処理は、仮想ボリューム番号と仮想ボリュームアドレスとを伴って呼び出される。

まず、ストレージ制御部３０３は、スナップショット処理を行う（ステップＳ２４０１）。スナップショット処理とは、当該仮想ボリュームに対応するスナップショットボリュームが作られていた場合に、当該スナップショットボリュームのライト対象のアドレスに対応するスナップショット差分管理テーブル９００の差分９０３を「Ｙｅｓ」（エントリを差分あり）に更新し、スナップショット差分データを論理チャンク内の別記憶領域にコピーしてスナップショット論物変換テーブル１０００の当該アドレスに対応するエントリをコピーした別記憶領域へのポインタに更新する処理である。

次に、ストレージ制御部３０３は、論物変換テーブル７００を参照し、仮想ボリュームアドレスに対応する論理チャンク番号および論理チャンクアドレスが割り当てられているか否か（割当済みであるか否か）を判定する（ステップＳ２４０２）。ストレージ制御部３０３は、割当済みであると判定した場合、ステップＳ２４０３に処理を移し、割当済みでないと判定した場合、ステップＳ２４０５に処理を移す。

ステップＳ２４０３では、ストレージ制御部３０３は、論物変換テーブル７００を参照して、仮想ボリュームアドレスに対応する論理チャンク番号および論理チャンクアドレスを算出する。

次に、ストレージ制御部３０３は、算出した論理チャンク番号および論理チャンクアドレスを含むライトコマンドを生成し、対応する論理チャンクを管理する容量制御部３０４にライトコマンドを発行し、仮想ボリュームライトＩ／Ｏ処理を終了する。

ステップＳ２４０５では、ストレージ制御部３０３は、論理チャンク上に仮想ボリュームアドレスに対応した記憶領域を割り当て、ステップＳ２４０３に処理を移す。

図２５は、仮想ボリュームリードＩ／Ｏ処理に係るフローチャートの一例を示す図である。仮想ボリュームリードＩ／Ｏ処理は、ストレージ制御部３０３によって実行される。仮想ボリュームリードＩ／Ｏ処理は、仮想ボリューム番号と仮想ボリュームアドレスとを伴って呼び出される。

まず、ストレージ制御部３０３は、論物変換テーブル７００を参照し、仮想ボリュームアドレスに対応する論理チャンク番号および論理チャンクアドレスが割り当てられているか否か（割当済みであるか否か）を判定する（ステップＳ２５０１）。ストレージ制御部３０３は、割当済みであると判定した場合、ステップＳ２５０２に処理を移し、割当済みでないと判定した場合、ステップＳ２５０４に処理を移す。

ステップＳ２５０２では、ストレージ制御部３０３は、仮想ボリュームアドレスに対して論物変換テーブル７００を参照して、仮想ボリュームアドレスに対応する論理チャンク番号および論理チャンクアドレスを算出する。

次に、ストレージ制御部３０３は、算出した論理チャンク番号および論理チャンクアドレスを含むリードコマンドを生成し、対応する論理チャンクを管理する容量制御部３０４にリードコマンドを発行し（ステップＳ２５０３）、仮想ボリュームリードＩ／Ｏ処理を終了する。

ステップＳ２５０４では、ストレージ制御部３０３は、記憶領域を割り当てることはせず、メモリ２０２上に用意したゼロデータ記憶領域からデータを読み出して応答し、仮想ボリュームリードＩ／Ｏ処理を終了する。

図２６は、ボリューム移行処理５２１に係るフローチャートの一例を示す図である。ボリューム移行処理５２１は、移行制御部３０５によって実行される。

まず、移行制御部３０５は、移行先のストレージノード１０２に移行先ボリュームを作成する（ステップＳ２６０１）。なお、移行先ボリュームのサイズは、移行元ボリュームと同じである。

次に、移行制御部３０５は、当該ホストボリュームのコピー状態をコピー中にする（ステップＳ２６０２）。より具体的には、移行制御部３０５は、ホストボリューム管理テーブル１１００の当該ホストボリュームに対するコピー状態１１０２を「コピー中」に設定する。

次に、移行制御部３０５は、当該ホストボリュームに対してＩ／Ｏパスを切り替える（ステップＳ２６０３）。より具体的には、移行制御部３０５は、ホストボリューム管理テーブル１１００の当該ホストボリュームに対するエントリのＩ／Ｏ発行先仮想ボリューム番号１１０３を、ステップＳ２６０１で作成した移行先ボリュームの仮想ボリューム番号に更新する。

次に、移行制御部３０５は、ボリュームコピー処理５２２を行う（ステップＳ２６０４）。ボリュームコピー処理は、コピー対象テーブル１５００が入力されるが、ここではコピー対象テーブル１５００としてコピー対象１５０２に「あり」（全ボリューム空間に対して「コピー要」）が設定されて呼び出される。

移行制御部３０５は、ボリュームコピー処理５２２を終了すると、コピーを完了する（ステップＳ２６０５）。より具体的には、移行制御部３０５は、ホストボリューム管理テーブル１１００における当該ホストボリュームに対応するコピー状態１１０２を「なし」に設定する。

次に、移行制御部３０５は、移行元ボリュームを削除し（ステップＳ２６０６）、ボリューム移行処理５２１を終了する。

図２７は、ボリュームコピー処理５２２に係るフローチャートの一例を示す図である。ボリュームコピー処理５２２では、移行制御部３０５は、対象ボリュームの全アドレス空間にステップＳ２７０１〜ステップＳ２７０４の処理を繰り返す。

まず、移行制御部３０５は、入力されたコピー対象テーブル１５００を参照し、当該アドレスがコピー対象であるか否かを判定する（ステップＳ２７０１）。移行制御部３０５は、コピー対象であると判定した場合、ステップＳ２７０２に処理を移し、コピー対象でないと判定した場合、ステップＳ２７０４に処理を移す。

ステップＳ２７０２では、移行制御部３０５は、移行元ボリュームのリードを実行して（ホストリードＩ／Ｏ処理を呼び出して）データを読み出す。

次に、移行制御部３０５は、読み出したデータを移行先ボリュームの当該アドレスにライトを実行して（ホストライトＩ／Ｏ処理を呼び出して）書き出す（ステップＳ２７０３）。

ステップＳ２７０４では、移行制御部３０５は、コピーし終わった記憶領域に対応するコピー済領域管理テーブル１３００のエントリのコピー済１３０３を「済」に更新する。各アドレスに対する記憶領域が未コピー記憶領域であるか否かは、コピー済領域管理テーブル１３００にて管理される。移行制御部３０５は、ボリューム末尾までコピーが済むと、ボリュームコピー処理５２２を終了する。

図２８は、仮想ボリュームおよび当該仮想ボリュームのスナップショットボリュームのボリューム移行処理５２１（スナップショットを伴うボリューム移行処理）に係るフローチャートの一例を示す図である。スナップショットを伴うボリューム移行処理は、移行制御部３０５によって実行される。

ステップＳ２８０１〜ステップＳ２８０５については、前述の図２６におけるステップＳ２６０１〜ステップＳ２６０５と同様の処理をＰＶＯＬに実行するものである。移行制御部３０５は、ステップＳ２８０５の後にＰＶＯＬを削除するのではなく、ステップＳ２８０６に処理を移す。

ステップＳ２８０６では、移行制御部３０５は、移行先ＰＶＯＬに対するスナップショットボリューム（ＳＶＯＬ）を作成する。

次に、移行制御部３０５は、ＳＶＯＬのコピー状態をコピー中に変更する（ステップＳ２８０７）。これは、ステップＳ２８０２と同様の処理をＳＶＯＬについて実行するものである。

次に、移行制御部３０５は、ＳＶＯＬに対してＩ／Ｏパスを切り替える（ステップＳ２８０８）。これは、ステップＳ２８０３と同様の処理をＳＶＯＬについて実行するものである。

次に、移行制御部３０５は、移行元のスナップショットの制御情報（例えば、スナップショット差分管理テーブル９００、スナップショット論物変換テーブル１０００等）をリードオンリーにする（ステップＳ２８０９）。より具体的には、移行制御部３０５は、移行元の制御情報アクセス権管理テーブル１２００を更新し、当該移行元ＳＶＯＬに対するエントリの静止化状態１２０２を「Ｙｅｓ」に設定し、アクセス権１２０３を「ＡＬＬ(リードオンリー)」に設定する。

次に、移行制御部３０５は、制御情報リード処理５１５を呼び出して移行元のスナップショットの制御情報をリードする（ステップＳ２８１０）。

次に、移行制御部３０５は、移行中の差分をマージする（ステップＳ２８１１）。より具体的には、移行制御部３０５は、読みこんだスナップショットの制御情報のうちスナップショット差分管理テーブル９００と、自ストレージノード１０２のコピー中差分管理テーブル１４００とをマージする。マージするとは、つまり、両テーブルの同じアドレスに対応するエントリの差分を比較し、いずれかが「あり」である場合には「あり」を値に持つような差分テーブルを生成する処理である。

移行制御部３０５は、ＳＶＯＬのボリュームコピー処理５２２を行う（ステップＳ２８１２）。移行制御部３０５は、上述のようにして得られた差分管理テーブルをコピー対象テーブル１５００として指定して、ボリュームコピー処理５２２を呼び出すことで、移行元ＳＶＯＬから移行先ＳＶＯＬに差分コピーを実施する。差分コピーとは、コピー対象テーブル１５００のコピー対象１５０２で値が「あり」であるようなエントリのアドレスのみコピーする処理である。

次に、移行制御部３０５は、ＳＶＯＬ末尾までコピーが済むと、コピーを完了する（ステップＳ２８１３）。より具体的には、移行制御部３０５は、ホストボリューム管理テーブル１１００における当該ＳＶＯＬに対応するエントリのコピー状態１１０２を「なし」に設定する。

次に、移行制御部３０５は、移行元ＳＶＯＬを削除する（ステップＳ２８１４）。

次に、移行制御部３０５は、移行元ＰＶＯＬを削除し（ステップＳ２８１５）、スナップショットを伴うボリューム移行処理を終了する。なお、本例では、移行対象ボリュームに対するスナップショットが１つの例を示したが、複数ある場合も同様である。

本実施の形態によれば、停電時が発生した場合でも、仮想ボリュームの移行が継続でき、過渡中のＩ／Ｏデータを保護することができ、かつ、当該仮想ボリュームのスナップショットボリュームの移行を継続することができる。

（２）第２の実施の形態
本実施の形態は、ホストライトＩ／Ｏ処理、スナップショットを伴うボリューム移行処理が第１の実施の形態と異なる。

図２９は、本実施の形態におけるホストライトＩ／Ｏ処理に係るフローチャートの一例を示す図である。

まず、フロントエンドドライバ３０１は、ホストボリュームのコピー状態がコピー中であるか否かを判定する（ステップＳ２９０１）。フロントエンドドライバ３０１は、コピー中であると判定した場合、ステップＳ２９０２に処理を移し、コピー中でないと判定した場合、ステップＳ２９０３に処理を移す。

ステップＳ２９０２では、フロントエンドドライバ３０１は、移行元ボリュームにライト要求を発行する。この後は、第１の実施の形態と同様にステップＳ２９０３に処理を移す。

これによって、移行中であっても、移行元のボリュームにもライト要求が発行され続けるため、移行元ボリュームに最新データが保持される。かかる点が第１の実施の形態と異なる。

図３０は、本実施の形態におけるスナップショットを伴うボリューム移行処理に係るフローチャートの一例を示す図である。ステップＳ３００１〜ステップＳ３０１５は、図２８におけるステップＳ２８０１〜ステップＳ２８１５と同様である。第１の実施の形態と異なるのは、ステップＳ３０１０の後、図２８のステップＳ２８１１にあたる処理が削除されていること、ステップＳ３０１１が新たに追加されていること、ステップＳ３００５およびステップＳ３０１３での処理が変更になっていることである。

本実施の形態では、前述のように移行元ボリュームに最新データが保持されており、そのスナップショットの差分についても最新である。よって、図２８のステップＳ２８１１で行っていた移行中の差分のマージ処理が必要ない。その代りに、移行元ボリュームへのＩ／Ｏは、継続しているため、ステップＳ３００５での処理を変更し、ＰＶＯＬのコピーがボリューム末端まで達したことを検知した時点では当該ホストボリュームのコピー状態を「なし」に変更せず、コピー状態のままにする。代わりに、ステップＳ３０１３で、ＳＶＯＬのコピーが末端まで達したのを検知してＰＶＯＬおよびＳＶＯＬをともにコピー状態を「なし」に変更する。また、ステップＳ３０１０で移行制御部３０５がスナップショットの制御情報をリードした後、当該スナップショットの制御情報のリードオンリーを解除し、アクセス権を移行元のストレージノード１０２に変更する（ステップＳ３０１１）。

本実施の形態では、移行元の仮想ボリュームも最新の状態を保持している。よって、例えば、仮想ボリュームの移行をキャンセルする場合、キャンセル時に移行元の仮想ボリュームを最新の状態にする処理を行うことなく、移行先の仮想ボリュームを削除すればよく、仮想ボリュームの移行を迅速にキャンセルすることができる。

（３）第３の実施の形態
図３１は、本実施の形態のストレージシステム３１００の概要図である。本実施の形態と第１の実施の形態とで異なっている構成は、移行制御部３０５が移行先のストレージノード１０２−２でなく、移行元のストレージノード１０２−１で動作する点である。他の構成については、同一であるので、説明を省略する。

本実施の形態では、ストレージノード１０２間で制御情報を通信する必要がなくなる。よって、本実施の形態によれば、例えば、ストレージノード１０２間の通信量を削減することができる。

（４）第４の実施の形態
本実施の形態では、第１の実施の形態で示したボリューム移行処理５２１が異なる。

図３２は、本実施の形態におけるボリューム移行処理３２００に係るフローチャートの一例を示す図である。ステップＳ３２０３までは、図２６のステップＳ２６０１〜ステップＳ２６０３と同じであるが、ステップＳ３２０３の後、ステップＳ３２０４およびステップＳ３２０５が追加されている点が異なる。

移行制御部３０５は、Ｉ／Ｏパスを切り替えた（ステップＳ３２０３）後、制御情報リード処理５１５を呼び出し、移行元の論物変換テーブル７００をリードする（ステップＳ３２０４）。

次に、移行制御部３０５は、読み出した論物変換テーブル７００を参照し、割当がある記憶領域の仮想ボリュームアドレス１５０１に対して、コピー対象１５０２を「あり」に設定したコピー対象テーブル１５００を生成する（ステップＳ３２０５）。ステップＳ３２０６では、かかるコピー対象テーブル１５００を指定してボリュームコピー処理５２２を行うことで、未割当の記憶領域のコピーを行わないようにする。

本実施の形態では、仮想ボリュームの移行の際、当該仮想ボリュームに割り当てられていない記憶領域のデータがコピーされない。よって、本実施の形態によれば、データのコピー量を削減でき、仮想ボリュームの移行に係る時間を短縮することができる。

（５）第５の実施の形態
本実施の形態では、ストレージノード１０２の障害時の仮想ボリュームの移行について説明する。

図３３は、本実施の形態のストレージシステム３３００の概要図である。

ストレージノード１０２−１が障害を起こした際は、冗長化グループを形成するストレージ制御部３０３間でフェールオーバー処理が行われ、障害の起きたストレージノード１０２−１にアクティブモードとして配置されていたアクティブストレージ制御部に対応する冗長化グループ内のパッシブモードのパッシブストレージ制御部がアクティブモードに切り替わる。例えば、パッシブモードのパッシブストレージ制御部が設けられるストレージノード１０２―２は、パッシブストレージ制御部をパッシブモードからアクティブモードに切り替える。

また、障害を起こしたストレージノード１０２−１に存在する記憶デバイス２０３−１に配置された物理チャンクは、アクセス不能となるため、これに対応する論理チャンクへのチャンクリード処理においては、他のストレージノード１０２（本例では、ストレージノード１０２−２，１０２−３，１０２−４）に冗長化された物理チャンクのデータを用いて回復させることを行ってから読み出す処理となる。回復させるとは、ミラーリング（二重化、三重化等）であれば、他の物理チャンクのデータをそのまま読み込み、ＥＣであれば他の物理チャンクのデータおよびパリティから計算により元のデータを復元することをいう。これをコレクションリードと呼ぶ。

一方で、ストレージノード１０２−１の障害時には、新たにアクティブモードとなったフェールオーバー先のパッシブストレージ制御部が所属するストレージノード１０２−２の負荷が高くなるため、当該パッシブストレージ制御部上の仮想ボリューム、当該仮想ボリュームに対応付けられたスナップショットボリュームを他のストレージノード１０２に移行することで負荷分散を図ることが望ましい場合がある。

そこで、ストレージシステム３３００では、各仮想ボリュームの移行先の移行制御部３０５（本例では、移行制御部３０５−３，３０５−４）が論理チャンクのアクセス権を「ＡＬＬ（リードオンリー）」に設定した上で、各仮想ボリュームの移行先の移行制御部３０５が制御情報６１０をリードする。各ボリュームの移行先の容量制御部３０４（本例では、容量制御部３０４−３，３０４−４）は、これをコレクションリードによって復元して読み出す。移行先の移行制御部３０５は、移行元のデータおよび制御情報６１０を直接移行先のストレージノード１０２に読み出すことによって、ストレージノード１０２間の通信量を削減できる。

本実施の形態によれば、フェールオーバー先のストレージノード１０２−２で仮想ボリュームを復元してから当該仮想ボリュームを他のストレージノード１０２−３，１０２−４に移行するのではなく、他のストレージノード１０２−３，１０２−４で当該仮想ボリュームを直接復元することにより、ストレージノード１０２間の通信量を削減することができる。

（６）他の実施の形態
なお、上述の実施の形態においては、本発明をストレージシステムに適用するようにした場合について述べたが、本発明はこれに限らず、この他種々のシステム、装置、方法、プログラムに広く適用することができる。

また、上述の実施の形態において、各テーブルの構成は一例であり、１つのテーブルは、２以上のテーブルに分割されてもよいし、２以上のテーブルの全部または一部が１つのテーブルであってもよい。

また、上記の説明において、各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記憶装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

上述した実施の形態は、例えば、以下の特徴的な構成を有する。

複数のストレージノードを有するストレージシステム（例えば、ストレージシステム１００）であって、上記ストレージノード（例えば、移行元のストレージノード１０２、移行先のストレージノード１０２、その他のストレージノード１０２、管理ノード１０３）は、ボリュームに係る制御情報（例えば、制御情報、コピー中差分管理テーブル１４００）を記憶する不揮発性の記憶装置（例えば、記憶デバイス２０３）と、上記記憶装置への情報の読み書きに係る制御を行う容量制御部（例えば、容量制御部３０４）と、上記ボリュームを移行する移行制御部（例えば、移行制御部３０５）と、を備え、上記ストレージノード間でボリュームを移行させるときに、上記容量制御部は、上記移行制御部による上記ボリュームの移行に応じて、上記制御情報を更新する（例えば、図２３参照）。

上記構成では、制御情報が不揮発性の記憶装置に記憶されるので、例えば、ストレージノードが汎用のコンピュータ装置であって、バッテリを備えていない場合であっても、ボリュームの移行時にストレージシステムが停電によりダウンしたときに、制御情報が消失してしまうことがない。よって、ストレージシステムが復旧した際、制御情報を記憶装置から読み出すことで、ボリュームの移行を再開することができる。

上記ボリュームの移行元の第１のストレージノード（例えば、移行先のストレージノード１０２−１）は、上記ボリュームを管理する第１のストレージ制御部（例えば、アクティブストレージ制御部）と、上記ボリュームに係る第１の制御情報を記憶する不揮発性の第１の記憶装置（例えば、記憶デバイス２０３−１）と、上記第１の記憶装置への情報の読み書きに係る制御を行う第１の容量制御部（例えば、容量制御部３０４−１）と、を備え、上記移行制御部は、上記ボリュームの移行を開始するときに、上記第１の制御情報を他のプロセスに参照権限を設定し（例えば、図２８参照）、上記第１の容量制御部は、所定のプロセス（例えば、例えば、移行制御部３０５を備えるストレージノード１０２の容量制御部３０４、自ストレージノード１０２の他のプログラム等）から上記第１の制御情報の参照要求があったとき、上記第１の制御情報を上記所定のプロセスに送信する（例えば、図１６参照）。

上記構成によれば、例えば、所定のプロセスに送信する第１の制御情報を静止化することで、第１の記憶装置に記憶される第１の制御情報と、所定のプロセスが受信した第１の制御情報とが異なってしまう事態を回避することができる。

上記第１の制御情報は、上記ボリュームと上記ボリュームのスナップショットボリュームとの差分情報（例えば、ＳＶＯＬとＰＶＯＬとの差分の有無）を管理するためのスナップショット制御情報（例えば、スナップショット差分管理テーブル９００）を含み、上記移行制御部は、上記スナップショットボリュームの移行を開始するときに、上記第１のストレージノードから上記ボリュームの移行先のストレージノードにパスを切り替え、上記スナップショット制御情報を他のプロセスに参照権限を設定する（例えば、図２８参照）。

上記構成では、例えば、スナップショットボリュームの移行前に、移行先のストレージノードにパスを切り替えて、移行元の第１のストレージノードでの当該スナップショット機能を静止化することで、スナップショットボリュームの移行を適切に行うことができる。

上記制御情報には、上記ボリュームの移行中の差分情報を管理するための移行中制御情報（例えば、コピー中差分管理テーブル１４００）が含まれ、上記移行制御部は、上記移行中制御情報と上記スナップショット制御情報とから差分のデータを特定（例えば、コピー対象テーブル１５００を生成）し、特定した差分のデータを上記第１のストレージノードから上記移行先のストレージノードにコピーする（例えば、図２８参照）。

上記構成によれば、例えば、差分のデータをコピーすることで、不要なデータのコピーによる通信がなくなるので、ストレージノード間の通信量を削減することができる。

上記ボリュームの移行先のストレージノード（例えば、移行先のストレージノード１０２−２）は、上記ボリュームの移行先のボリュームに対するホスト装置からのＩ／Ｏ要求を受け付けるフロントエンドドライバ（例えば、フロントエンドドライバ３０１）を備え、上記フロントエンドドライバは、上記ホスト装置からライト要求を受信した場合、上記ボリュームが移行中であると判定したとき、上記ボリュームの移行元のストレージノードに上記ライト要求を送信する（例えば、図２９参照）。

上記構成では、移行元のボリュームも最新の状態を保持しているので、例えば、ボリュームの移行をキャンセルする場合、キャンセル時に移行元のボリュームを最新の状態にする処理を行うことなく、移行先のボリュームを削除すればよく、ボリュームの移行を迅速にキャンセルすることができる。

上記ストレージノードは、上記ボリュームの移行先のストレージノードである（例えば、図６参照）。

上記構成では、移行先のストレージノードに移行制御部が設けられているので、例えば、ストレージノードの複数のボリュームを複数のストレージノードに移行する際、ボリュームの移行にかかる負荷を分散することができる。

上記ストレージノードは、上記ボリュームの移行元のストレージノードである（例えば、図３１参照）。

上記構成によれば、例えば、ストレージノード間で制御情報を通信する必要がなくなるので、ストレージノード間の通信量を削減することができる。

上記第１の制御情報には、上記第１の記憶装置の記憶領域のうち、上記ボリュームに割り当てられている記憶領域を特定可能な記憶領域情報（例えば、論物変換テーブル７００）が含まれ、上記移行制御部は、上記記憶領域情報に基づいて、上記第１の記憶装置の記憶領域のうち、上記ボリュームに割り当てられている記憶領域のデータを上記ボリュームの移行先のストレージノードにコピーする（例えば、図３２参照）。

上記構成では、例えば、ボリュームの移行の際、上記ボリュームに割り当てられていない記憶領域のデータがコピーされないので、データのコピー量を削減でき、ボリュームの移行に係る時間を短縮することができる。

上記第１のストレージノードは、アクティブモードの第１のストレージ制御部（例えば、アクティブストレージ制御部）を備え、第２のストレージノード（例えば、ストレージノード１０２−２）は、上記第１のストレージ制御部と冗長化を構成するパッシブモードの第２のストレージ制御部（例えば、パッシブストレージ制御部）と、上記第１の制御情報を記憶する不揮発性の第２の記憶装置（例えば、２０３−２）と、上記第２の記憶装置への情報の読み書きに係る制御を行う第２の容量制御部（例えば、容量制御部３０４−２）と、を備え、上記第１のストレージノードに障害が発生した場合、上記第２のストレージノードは、上記第２のストレージ制御部をアクティブモードに切り換え、上記移行制御部は、上記第１の制御情報を読み取り専用として全てのプロセスに参照権限を設定し、上記第２の容量制御部は、上記移行制御部に上記第１の制御情報を送信し、上記移行制御部は、上記第１の制御情報を用いて第３のストレージノード（例えば、ストレージノード１０２−３，１０２−４）に上記ボリュームを復元する（例えば、図３３参照）。

上記構成では、例えば、故障した第１のストレージノードのボリュームが第２のストレージノードに設けられることによる第２のストレージノードへの負荷を分散するために、第２のストレージノードにボリュームを復元することなく、第３のストレージノードに復元する。このように、第２のストレージノードでボリュームを復元してから当該ボリュームを第３のストレージノードに移行するのではなく、第３のストレージノードで当該ボリュームを直接復元することにより、ストレージノード間の通信量を削減することができる。

また上述した構成については、本発明の要旨を超えない範囲において、適宜に、変更したり、組み替えたり、組み合わせたり、省略したりしてもよい。

１００……ストレージシステム、１０２……ストレージノード。

Claims (10)

1. 複数のストレージノードを有するストレージシステムであって、
   前記ストレージノードは、
   ボリュームに係る制御情報を記憶する不揮発性の記憶装置と、
   前記記憶装置への情報の読み書きに係る制御を行う容量制御部と、
   前記ボリュームを移行する移行制御部と、
   を備え、
   前記ストレージノード間でボリュームを移行させるときに、前記容量制御部は、前記移行制御部による前記ボリュームの移行に応じて、前記制御情報を更新する、
   ストレージシステム。
2. 前記ボリュームの移行元の第１のストレージノードは、
   前記ボリュームを管理する第１のストレージ制御部と、
   前記ボリュームに係る第１の制御情報を記憶する不揮発性の第１の記憶装置と、
   前記第１の記憶装置への情報の読み書きに係る制御を行う第１の容量制御部と、
   を備え、
   前記移行制御部は、前記ボリュームの移行を開始するときに、前記第１の制御情報を他のプロセスに参照権限を設定し、
   前記第１の容量制御部は、所定のプロセスから前記第１の制御情報の参照要求があったとき、前記第１の制御情報を前記所定のプロセスに送信する、
   請求項１に記載のストレージシステム。
3. 前記第１の制御情報は、前記ボリュームと前記ボリュームのスナップショットボリュームとの差分情報を管理するためのスナップショット制御情報を含み、
   前記移行制御部は、前記スナップショットボリュームの移行を開始するときに、前記第１のストレージノードから前記ボリュームの移行先のストレージノードにパスを切り替え、前記スナップショット制御情報を他のプロセスに参照権限を設定する、
   請求項２に記載のストレージシステム。
4. 前記制御情報には、前記ボリュームの移行中の差分情報を管理するための移行中制御情報が含まれ、
   前記移行制御部は、前記移行中制御情報と前記スナップショット制御情報とから差分のデータを特定し、特定した差分のデータを前記第１のストレージノードから前記移行先のストレージノードにコピーする、
   請求項３に記載のストレージシステム。
5. 前記ボリュームの移行先のストレージノードは、前記ボリュームの移行先のボリュームに対するホスト装置からのＩ／Ｏ要求を受け付けるフロントエンドドライバを備え、
   前記フロントエンドドライバは、前記ホスト装置からライト要求を受信した場合、前記ボリュームが移行中であると判定したとき、前記ボリュームの移行元のストレージノードに前記ライト要求を送信する、
   請求項１に記載のストレージシステム。
6. 前記ストレージノードは、前記ボリュームの移行先のストレージノードである、
   請求項１に記載のストレージシステム。
7. 前記ストレージノードは、前記ボリュームの移行元のストレージノードである、
   請求項１に記載のストレージシステム。
8. 前記第１の制御情報には、前記第１の記憶装置の記憶領域のうち、前記ボリュームに割り当てられている記憶領域を特定可能な記憶領域情報が含まれ、
   前記移行制御部は、前記記憶領域情報に基づいて、前記第１の記憶装置の記憶領域のうち、前記ボリュームに割り当てられている記憶領域のデータを前記ボリュームの移行先のストレージノードにコピーする、
   請求項２に記載のストレージシステム。
9. 前記第１のストレージノードは、アクティブモードの第１のストレージ制御部を備え、
   第２のストレージノードは、
   前記第１のストレージ制御部と冗長化を構成するパッシブモードの第２のストレージ制御部と、
   前記第１の制御情報を記憶する不揮発性の第２の記憶装置と、
   前記第２の記憶装置への情報の読み書きに係る制御を行う第２の容量制御部と、
   を備え、
   前記第１のストレージノードに障害が発生した場合、前記第２のストレージノードは、前記第２のストレージ制御部をアクティブモードに切り換え、前記移行制御部は、前記第１の制御情報を読み取り専用として全てのプロセスに参照権限を設定し、
   前記第２の容量制御部は、前記移行制御部に前記第１の制御情報を送信し、
   前記移行制御部は、前記第１の制御情報を用いて第３のストレージノードに前記ボリュームを復元する、
   請求項２に記載のストレージシステム。
10. 複数のストレージノードを有するストレージシステムにおけるストレージ制御方法であって、
    前記ストレージノードは、ボリュームに係る制御情報を記憶する不揮発性の記憶装置を備え、
    容量制御部が、前記記憶装置への情報の読み書きに係る制御を行う第１のステップと、
    移行制御部が、前記ボリュームを移行する第２のステップと、
    を備え、
    前記ストレージノード間でボリュームを移行させるときに、前記容量制御部は、前記移行制御部による前記ボリュームの移行に応じて、前記制御情報を更新する、
    ストレージ制御方法。

Images