JP2007264946A - ストレージシステム及びストレージシステムのリモートコピー制御方法 - Google Patents

Abstract

【課題】本発明のストレージシステムは、複数のリモートコピーがそれぞれ非同期で実行される場合でも、ボリューム間の記憶内容を整合させる。
【解決手段】複数の正記憶制御装置１と複数の副記憶制御装置２とが複数の経路で接続されており、各第１ボリューム１Ａと各第２ボリューム２Ａとの間で、それぞれ非同期のリモートコピーが実施される。正記憶制御装置１から副記憶制御装置２に転送されたライトデータＤ１は、ライトデータ記憶部２Ｂに保管される。ライト時刻やシーケンシャル番号を含む更新順序情報Ｄ２は、更新順序情報管理部２Ｄで管理される。更新制御部３は、各更新順序情報管理部２Ｄから更新順序情報Ｄ２を収集し、各第２ボリューム２Ａを更新可能な時点を決定して、各更新部２Ｃに通知する。これにより、各第２ボリューム２Ａの記憶内容は、更新可能時点までそれぞれ更新される。
【選択図】図１

Description

本発明は、ストレージシステム及びストレージシステムのリモートコピー制御方法に関する。

近年のコンピュータシステムでは、使用されるデータの容量が増大し、データの更新頻度も高くなっている。従って、このデータをどのようにバックアップするか、障害発生時にどれだけ迅速に正常稼働状態に復旧できるかが、ストレージ技術における重要課題となっている。

これに対する一つの解決策として、例えば、互いに離間する正サイトと副サイトに、記憶制御装置をそれぞれ複数台ずつ設置し、正サイトの各記憶制御装置（正記憶制御装置）と副サイトの各記憶制御装置（副記憶制御装置）とを転送パスでそれぞれ接続し、両サイトで管理されているデータを同期させる技術も提案されている（特許文献１）。この従来技術では、正の記憶制御装置で更新されたデータを、ホストコンピュータ（以下、「ホスト」）を経由せずに、副記憶制御装置に転送してコピーさせるという、いわゆるリモートコピー技術を使用する。

正記憶制御装置と副記憶制御装置との間でデータを整合させる技術として、ライト時刻を用いるものも提案されている（特許文献２）。この従来技術では、正ホストからライトデータを受領した正記憶制御装置は、ライトデータの受領後直ちに、ライトデータの受領完了を正ホストに報告する。正ホストは、正記憶制御装置からの報告を受領した後、正記憶制御装置からライトデータのコピーを読み出す。この読み出されたライトデータには、正ホストからライト要求が発行された時刻（ライト時刻）が付与されている。正ホストは、読み出したライトデータ及びライト時刻を副ホストに転送する。副ホストは、各ライトデータに付与されたライト時刻を参照して、ライト時刻順に、ライトデータを副記憶制御装置に書き込む。これにより、正記憶制御装置に記憶されるデータと副記憶制御装置に記憶されるデータとの整合性を維持する。
特開２００４−１３３６７号公報 欧州特許第０６７１６８６号明細書

上記従来技術では、正ホスト及び副ホストが、データの転送や反映処理（ライト時刻順にデータをボリュームに書き込む処理）を常時行うため、各ホストの負荷が大きい。各ホストは常時起動している必要があり、また、上述のデータ転送処理や反映処理を実行するためのソフトウェアを常時動作させる必要がある。

また、複数の正記憶制御装置と複数の副記憶制御装置との間にそれぞれリモートコピー経路を設定し、複数のリモートコピーを同時に並列処理する場合、ある時点において、各副記憶制御装置の受領するライトデータは、それぞれ異なる。リモートコピー処理は、正ホストからライト要求を受領したタイミングとは異なる別のタイミングで行われる非同期処理である。従って、複数のリモートコピー処理は、それぞれ異なる任意のタイミングで実行される。この結果、一方の副記憶制御装置では受信済みのライトデータであっても、他方の副記憶制御装置では未だ受信されていないという事態が生じる。

このように、正サイトと副サイトの間で、複数のリモートコピー処理を同時に実行させる場合、各リモートコピー処理の進捗状況がそれぞれ相違するため、データの整合性を維持するのが難しい。

本発明は、上記問題点に鑑みてなされたもので、その目的は、複数の記憶制御装置間でそれぞれデータの転送及び更新が行われる場合に、データの整合性を維持できるようにしたストレージシステム及びストレージシステムのリモートコピー制御方法を提供することにある。本発明の他の目的は、複数の記憶制御装置間でそれぞれリモートコピーが行われる場合において、障害が検出されたときには、各記憶制御装置間のデータの整合性を維持しながら、サスペンドを行うことができるようにしたストレージシステム及びストレージシステムのリモートコピー制御方法を提供することにある。本発明の更なる目的は、後述する実施の形態の記載から明らかになるであろう。

上記課題を解決すべく、本発明に従うストレージシステムは、複数の記憶制御装置間でデータをコピーさせるストレージシステムであって、複数の第１記憶制御装置と、これら各第１記憶制御装置にそれぞれ接続される複数の第２記憶制御装置とを備え、各第１記憶制御装置は、上位装置により入出力されるデータを記憶するための第１論理ボリュームと、上位装置による第１論理ボリュームへのデータ更新を、更新データと該更新データの更新順序を指示するための更新順序情報とを対応付けて第２記憶制御装置に送信することにより通知する更新通知部と、をそれぞれ備えている。各第２記憶制御装置は、互いに接続されており、かつ、第１論理ボリュームに対応付けられ、第１論理ボリュームに記憶されるデータのコピーが記憶される第２論理ボリュームと、更新通知部から受信した更新データを記憶する更新データ記憶部と、更新通知部から受信した更新順序情報を管理する更新順序情報管理部と、更新順序情報に基づいて、更新データ記憶部に記憶された更新データを第２論理ボリュームに順番に書き込むことにより、第２論理ボリュームに記憶されるデータを更新させる更新部と、をそれぞれ備えている。さらに、所定の通知を受けた場合には、各更新順序情報管理部から各更新順序情報をそれぞれ収集して、これら収集された各更新順序情報に基づいて各第２論理ボリュームを更新可能な時点を決定し、この決定された更新可能時点を各更新部にそれぞれ通知することにより、各更新部によって各第２論理ボリュームに記憶されるデータを更新可能時点までそれぞれ更新させる更新制御部を備えているストレージシステム。

本発明の一態様では、各更新部は、第１論理ボリュームにおける更新順序と同一の順序で、通知された更新可能時点まで、第２論理ボリュームに記憶されるデータを更新させるようになっている。

本発明の一態様では、所定の通知は、複数の第２論理ボリュームからなるボリュームグループの登録指示である。

本発明の一態様では、所定の通知は、サスペンド要因の検出通知である。

本発明の一態様では、所定の通知は、サスペンド要因の検出通知であり、更新制御部は、サスペンド要因の検出通知を受けた場合に、各更新順序情報管理部からそれぞれ収集される各更新順序情報に基づいて各第２論理ボリュームを更新可能な時点を決定し、この決定された更新可能時点を各更新部にそれぞれ通知することにより、各更新部によって各第２論理ボリュームに記憶されるデータを更新可能時点までそれぞれ更新させ、各第２記憶制御装置は、各第２論理ボリュームのうちサスペンド要因の検出通知に関わる第２論理ボリュームについて、第１論理ボリュームのデータのコピーを記憶させるコピー処理を停止させる。

本発明の一態様では、サスペンド要因は、障害が検出された場合である。

本発明の一態様では、各第１記憶制御装置内では、１つまたは複数の第１論理ボリュームによって第１ボリュームグループがそれぞれ形成されており、各第２記憶制御装置内では、１つまたは複数の第２論理ボリュームによって第２ボリュームグループがそれぞれ形成されており、各第１ボリュームグループと各第２ボリュームグループとが対応付けられており、更新制御部は、第２ボリュームグループ毎に更新可能時点をそれぞれ決定し、この決定された更新可能時点を第２ボリュームグループに関する各更新部にそれぞれ通知するようになっている。

本発明の一態様では、複数の第２ボリュームグループから少なくとも１つ以上の拡張ボリュームグループが形成されており、更新制御部は、拡張グループ毎に更新可能時点を決定し、この決定された更新可能時点を拡張グループに属する各第２ボリュームグループにそれぞれ通知する。

本発明の一態様では、更新制御部は、第２論理ボリュームを少なくとも１つ以上含むボリュームグループの形成が指示された場合に、このボリュームグループについて更新可能時点を決定し、この決定された更新可能時点をボリュームグループに属する第２論理ボリュームに関する更新部にそれぞれ通知する。

本発明の一態様では、更新制御部は、各第２記憶制御装置に受信されて各更新順序情報管理部によりそれぞれ管理されている最新の各更新順序情報のうち、最も古い更新順序情報に基づいて、更新可能時点を決定する。

本発明の一態様では、更新順序情報には、上位装置による更新要求の発行時刻が含まれている。

本発明の一態様では、更新順序情報には、上位装置による更新要求の発行時刻及び更新要求の発行順序が含まれている。

本発明の一態様では、更新制御部は、サスペンド要因が検出された場合に更新可能時点を決定して、この決定された更新可能時点及び更新停止の要求を各更新部にそれぞれ通知し、各更新部は、各第２論理ボリュームに記憶されるデータを更新可能時点までそれぞれ更新させた後、各第２論理ボリュームへの更新を停止させる。

本発明の一態様では、各第１記憶制御装置から各第２記憶制御装置に更新データ及び更新順序情報を転送することができない障害の発生が検出された場合に、サスペンド要因の検出であると判断される。

本発明の一態様では、更新制御部は、各第２論理ボリュームのうち障害に係る所定の第２論理ボリュームについてのみ、更新可能時点を決定して、この決定された更新可能時点及び更新停止の要求を所定の第２論理ボリュームに係る更新部に通知する。

本発明の一態様では、更新制御部は、各第２記憶制御装置の少なくともいずれか１つに設けられている。

本発明の他の観点に従うストレージシステムのリモートコピー制御方法は、複数の第１記憶制御装置と該各第１記憶制御装置にそれぞれ接続される複数の第２記憶制御装置とを備えたストレージシステムにおいて、各第１記憶制御装置から各第２記憶制御装置へデータをそれぞれ転送してコピーさせるリモートコピー制御方法であって、各第１記憶制御装置がそれぞれ備える第１論理ボリュームと各第２記憶制御装置がそれぞれ備える第２論理ボリュームとを対応付けることにより、リモートコピーのペアを形成するステップと、上位装置から第１論理ボリュームに対する更新要求を受信するステップと、更新要求に係る更新データを第１論理ボリュームに書き込んで、第１論理ボリュームに記憶されるデータを更新させるステップと、更新データと該更新データの更新順序を指示するための更新順序情報とを対応付けて、各第１記憶制御装置から各第２記憶制御装置に転送させるステップと、更新順序情報に基づいて、第２論理ボリュームに更新データを順番に書き込み、第２論理ボリュームに記憶されるデータを更新させるステップと、各第２記憶制御装置から各更新順序情報をそれぞれ収集するステップと、所定の通知を受けた場合に、収集された各更新順序情報に基づいて、各第２論理ボリュームを更新可能な時点を決定するステップと、決定された更新可能時点を各第２記憶制御装置にそれぞれ通知し、各第２論理ボリュームに記憶されているデータを更新可能時点までそれぞれ更新させる同期ステップと、を実行する。

さらに、各第１記憶制御装置から各第２記憶制御装置への更新データ及び更新順序情報を転送することができない障害が検出された場合に、各更新順序情報に基づいて更新可能時点を決定し、この決定された更新可能時点及びリモートコピーの停止要求を各第２記憶制御装置にそれぞれ通知し、各第２論理ボリュームに記憶されるデータを更新可能時点までそれぞれ更新させてから、各第１論理ボリュームから各第２論理ボリュームへのリモートコピー処理を停止させるステップを実行することもできる。

本発明のさらに別の観点に従うストレージシステムは、複数の記憶制御装置間でデータをコピーさせるストレージシステムであって、第１サイト及び第２サイトを備え、第１サイトは、それぞれ複数の第１論理ボリュームを有する複数の第１記憶制御装置と、各第１記憶制御装置に接続され、各第１論理ボリュームにデータを入出力する上位装置と、を備えており、第２サイトは、それぞれ複数の第２論理ボリュームを有し、互いに接続された複数の第２記憶制御装置を備えており、各第１論理ボリュームは少なくとも１つ以上の第１ボリュームグループを構成しており、各第２論理ボリュームは少なくとも１つ以上の第２ボリュームグループを構成しており、第１ボリュームグループに属する各第１論理ボリュームと第２ボリュームグループに属する第２論理ボリュームとが、リモートコピーのペアとして対応付けられており、各第１記憶制御装置は、上位装置による各第１論理ボリュームへのデータ更新を、更新データと該更新データの更新順序を指示するための更新順序情報とを対応付けて各第２記憶制御装置に送信することにより通知する更新通知部と、リモートコピーの作動を停止させるためのサスペンド要求を各第２記憶制御装置に通知するサスペンド要求通知部と、をそれぞれ備えており、各第２記憶制御装置は、更新通知部から受信した更新データを記憶する更新データ記憶部と、更新通知部から受信した更新順序情報を管理する更新順序情報管理部と、更新順序情報に基づいて、更新データ記憶部に記憶された更新データを第２論理ボリュームに順番に書き込むことにより、第２論理ボリュームに記憶されるデータを更新させる更新部と、をそれぞれ備えている。さらに、各第２記憶制御装置のうち所定の第２記憶制御装置は、各第２記憶制御装置による各第２論理ボリュームの更新処理を同期させるための更新制御部を備えており、更新制御部は、所定の通知を受けた場合に、各更新順序情報管理部から各更新順序情報をそれぞれ収集して、これら収集された各更新順序情報に基づいて各第２論理ボリュームを更新可能な時点を決定し、この決定された更新可能時点を各更新部にそれぞれ通知することにより、各更新部によって各第２論理ボリュームに記憶されるデータを更新可能時点までそれぞれ更新させるようになっている。

なお、本発明は、以下の通り、例えば、リモートコピーシステムの制御方法として表現することも可能である。即ち、複数の記憶装置システム間でデータを複写するリモートコピーシステムの制御方法であって、リモートコピーシステムは、計算機からデータが入出力される複数の第１記憶装置システムと、第１記憶装置システムの各々に接続される複数の第２記憶装置システムとを有し、各第１記憶装置システムは、入出力されるデータが格納される第１論理ボリュームを有し、各第２記憶装置システムは、第１論理ボリュームに格納されるデータの複製が格納される第２論理ボリュームを有し、第２記憶装置システムのうち少なくとも１つはマスタ処理部を有し、登録指示をうけて第２記憶装置システムに反映処理変更指示を行うステップと、変更指示をうけて反映可能時刻に基づく反映処理を行うステップと、各第２記憶装置システムから到着済み時刻を収集して、反映可能時刻を決定するステップと、第２記憶装置システムに反映可能時刻を通知するステップと、第２記憶装置システムが第１記憶システムから転送されたライトデータについて、通知された反映可能時刻までのライトデータを第２論理ボリュームに格納するステップを含む、リモートコピーシステムの制御方法。

また、本発明は、リモートコピーシステムとして表現することもできる。即ち、複数の記憶装置システム間でデータを複写するリモートコピーシステムであって、計算機からデータが入出力される複数の第１記憶装置システムと、第１記憶装置システムの各々に接続される複数の第２記憶装置システムとを有し、各第１記憶装置システムは、入出力されるデータが格納される第１論理ボリュームを有し、各第２記憶装置システムは、第１論理ボリュームに格納されるデータの複製が格納される第２論理ボリュームを有し、第２記憶装置システムのうち少なくとも１つはマスタ処理部を有し、マスタ処理部は登録指示をうけて第２記憶装置システムに反映処理変更指示を行い、変更指示をうけて第２記憶装置システムは反映可能時刻に基づく反映処理を行い、マスタ処理部は各第２記憶装置システムから到着済み時刻を収集して、反映可能時刻を決定し、第２記憶装置システムに通知し、第２記憶装置システムは第１記憶システムから転送されたライトデータについて、通知された反映可能時刻までのライトデータを第２論理ボリュームに格納するリモートコピーシステム。

本発明の各手段、各部、各ステップの少なくとも一部は、コンピュータプログラムによって実行可能な場合がある。そして、このコンピュータプログラムは、各種記録媒体に固定された状態で配布したり、あるいは、通信媒体を介して送信することができる。

以下、図面に基づき、本発明の実施形態を説明する。図１は、本発明の全体概念を模式的に示す説明図である。本実施形態のストレージシステムは、互いに離間する正サイト及び副サイトを備えている。例えば、災害等に備えて、正サイトと副サイトとは、それぞれ別々の地域に配置されている。正サイトと副サイトとは、例えば、専用線やWAN（Wide Area Netwrok）等の通信回線で、双方向通信可能に接続されている。

正サイトには、正ホストＨ１及び複数の正記憶制御装置１が設けられており、副サイトには、副ホストＨ２及び複数の副記憶制御装置２が設けられている。各正記憶制御装置１は、それぞれ第１ボリューム１Ａ及びライトデータ転送部１Ｂを備える。

各副記憶制御装置２は、第２ボリューム２Ａと、ライトデータ記憶部２Ｂと、更新部２Ｃ及び更新順序情報管理部２Ｄを備える。さらに、少なくとも１つの副記憶制御装置２は、上記の構成２Ａ〜２Ｄに加えて、更新制御部３を備えている。

なお、説明の便宜上、図１では、それぞれ１つずつのホストＨ１，Ｈ２と、２つずつの記憶制御装置１，２を示す。しかし、これに限らず、各サイトに、より多くのホストや記憶制御装置を配置することができる。

ユーザは、通常の場合、正サイトを用いて、各種の業務処理等を行う。業務処理としては、例えば、受発注処理、在庫管理処理、顧客管理処理、電子メール管理処理、ドキュメント管理処理等を挙げることができる。ユーザは、正ホストＨ１を介して、各正記憶制御装置１にアクセスし、第１ボリューム１Ａにデータを書き込んだり、あるいは、第１ボリューム１Ａに記憶されているデータを読み出して利用する。

正サイトの中で、ユーザの使用するデータ（ユーザデータ）をバックアップすることもできる。例えば、通常時において使用される第１ボリューム１Ａの記憶内容を、テープデバイスやディスクデバイス等のバックアップ装置に保存しておくことにより、ユーザデータを保護することができる。また、作成後に所定時間が経過して、利用価値の低下した旧データを、第１ボリューム１Ａからバックアップ装置に移し替えることにより、第１ボリューム１Ａの空き容量を確保し、ストレージシステムの運用コストを低減させることもできる。

正サイトの中でユーザデータを保護している場合でも、大規模な災害等によって、正サイトの運用に支障を生じる可能性がある。この場合、正サイトが復旧するまでの長い期間、ユーザの業務処理が停止することになる。そこで、正サイトから適当な距離だけ離れた場所に、副サイトが設置される。副サイトには、万が一に備えて、正サイトで管理されているユーザデータと同一のデータが記憶される。このような物理的に離れた複数の拠点でユーザデータをそれぞれ管理し、万が一の災害に備えるシステムは、ディザスタリカバリシステムと呼ばれる。

正サイトの第１ボリューム１Ａの記憶内容をテープデバイス等にバックアップし、このテープデバイスを副サイトに搬入し、第２ボリューム２Ａの記憶内容を更新させることも考えられる。しかし、このような方法では、正サイトと副サイトとの記憶内容を一致させるまでに時間がかかり、手間も大きい。

そこで、正サイトと副サイトを通信回線で接続し、第１ボリューム１Ａのデータが更新された場合には、新たに書き込まれたライトデータ（更新データ）Ｄ１を副サイトに転送して、第２ボリューム２Ａのデータを更新させる。それぞれ異なる記憶制御装置間でデータを転送してコピーさせる技術を、リモートコピーと呼ぶ。

正サイトに設置されている複数の正記憶制御装置１は、副サイトに設置されている複数の副記憶制御装置２と、それぞれ別々の通信経路を介して接続されている。各ライトデータ転送部２Ｂは、正ホストＨ１によって第１ボリューム１Ａ内のデータが更新されると、ライトデータＤ１及び更新順序情報Ｄ２を副記憶制御装置２に転送する。

更新順序情報Ｄ２とは、更新の順序を指示するための情報であり、例えば、正ホストＨ１がライトデータの書込みを要求した時刻（ライト時刻）やシーケンシャル番号等を含めることができる。更新順序情報Ｄ２は、正ボリュームである第１ボリューム１Ａの更新内容を副ボリュームである第２ボリューム２Ａに正しく反映させるための情報である。

副記憶制御装置２は、正記憶制御装置１からライトデータＤ１及び更新順序情報Ｄ２を受信すると、ライトデータＤ１をライトデータ記憶部２Ｂに記憶させる。更新順序情報Ｄ２は、更新順序情報管理部２Ｄによって管理される。更新部２Ｃは、更新順序情報Ｄ２に基づいて、ライトデータ記憶部２Ｂに記憶されたライトデータＤ１を読出し、更新された順番に従って、第２ボリューム２Ａのデータを書き換える。

各正記憶制御装置１内の各第１ボリューム１Ａは、互いに関連するデータ、または同一のデータをそれぞれ記憶している。一方の第１ボリューム１Ａは、一方の第２ボリューム２Ａに対応付けられて、リモートコピーのペアを形成する。他方の第１ボリューム１Ａは、他方の第２ボリュームに対応付けられて、別のリモートコピーのペアを形成する。各第１ボリューム１Ａのデータは互いに関連等するので、各第２ボリューム２Ａのデータも整合している必要がある。

リモートコピーは、各正記憶制御装置１によって、それぞれ任意のタイミングで実行される。正ホストＨ１からライト要求が発行された場合、各正記憶制御装置１は、ライトデータＤ１を受信した時点で、ライト要求の処理が完了した旨を正ホストＨ１に通知し、その後、別のタイミングでライトデータＤ１を副記憶制御装置２に転送する。
なお、副記憶制御装置２が主導してリモートコピーを行う構成も可能である。この場合、例えば、副記憶制御装置２は、正記憶制御装置１に定期的に問合せすることにより、更新の有無を確認し、正記憶制御装置１からライトデータＤ１を読み出す。

このように、ライト要求の発行とリモートコピーの実行とは、それぞれ別々のタイミングで実行される。従って、正ホストＨ１から同一時刻に発行されたライト要求であっても、一方の副記憶制御装置２にはライトデータが到着しているが、他方の副記憶制御装置２にはライトデータが到着していないことがあり得る。

そこで、本実施形態のストレージシステムでは、複数の副記憶制御装置２のうち、所定の副記憶制御装置に更新制御部３を設けている。更新制御部３は、各副記憶制御装置２のリモートコピーの進捗状況を同期させるためのものである。

更新制御部３は、例えば、更新順序情報収集部３Ａと、更新可能時点決定部３Ｂ及び更新指示部３Ｃとを備えて構成される。更新順序情報収集部３Ａは、各更新順序情報管理部２Ｄから最新の更新順序情報Ｄ２をそれぞれ収集するものである。更新可能時点決定部３Ｂは、収集された最新の更新順序情報のうち、最も古い更新順序情報に示されたライト時刻を、更新可能時点として選択するものである。更新指示部３Ｃは、各更新部２Ｃに対して、更新可能時点までのライトデータ更新を許可するものである。

説明の便宜上、ここでは、例えば、一方の副記憶制御装置２には、ライト要求発行時刻（ライト時刻）Ｎ１ａのライトデータＤ１（Ｎ１ａ）と、同Ｎ２ａのライトデータＤ１（Ｎ２ａ）及び同Ｎ３ａのライトデータＤ１（Ｎ３ａ）がそれぞれ到着しているとする。他方の副記憶制御装置２には、ライト要求発行時刻Ｎ１ｂ及び同Ｎ２ｂのライトデータＤ１（Ｎ１ｂ），Ｄ１（Ｎ２ｂ）だけがそれぞれ到着しているものとする。ここで、ライトデータの到着順序で、符号”Ｎ”に数値”１”や”２”を添えているが、Ｎ１ａとＮ１ｂ、Ｎ２ａとＮ２ｂは、それぞれ異なる時刻である。ライト時刻Ｎ１→Ｎ２→Ｎ３の順で、時間が経過するものとする。
各正記憶制御装置１がホストＨ１からライト要求を受領する時刻は、区々のため、各副記憶制御装置２が受信するライトデータＤ１のライト時刻は、偶然一致する場合もあるが、基本的にそれぞれ異なっている。

一方の副記憶制御装置２で管理されている最新の更新順序情報は、Ｎ３ａに係る情報Ｄ２（Ｎ３ａ）であり、他方の副記憶制御装置２で管理されている最新の更新順序情報は、Ｎ２ｂに係る情報Ｄ２（Ｎ２ｂ）である。更新順序情報Ｄ２（Ｎ３ａ）と更新順序情報Ｄ２（Ｎ２ｂ）とを比較すると、Ｄ２（Ｎ２ｂ）の方が時間的に前である。

そこで、更新可能時点決定部３Ｂは、最新の更新順序情報Ｄ２（Ｎ３ａ），Ｄ２（Ｎ２ｂ）のうち、最も古い更新順序情報Ｄ２（Ｎ２ｂ）に示された時刻Ｎ２ｂを、更新可能時点として決定する。更新可能時点とは、その時点（今の例ではＮ２ｂ）まで、ライトデータの更新が許可される時点である。つまり、更新可能時点は、各副記憶制御装置２の記憶内容を同期させることができる時期を示している。

更新指示部３Ｃは、決定された更新可能時点を各副記憶制御装置２の更新部２Ｃにそれぞれ通知する。この通知を受領した各更新部２Ｃは、ライトデータ記憶部２Ｂに記憶されているライトデータＤ１を読み出し、更新の順番に従って、第２ボリューム２Ａに書き込んでいく。

上記の例では、各更新部２Ｃは、ライト時刻Ｎ１のライトデータＤ１（Ｎ１）を第２ボリューム２Ａに書き込んだ後、ライト時刻Ｎ２のライトデータＤ１（Ｎ２）を第２ボリューム２Ａに書き込む。一方の副記憶制御装置２は、ライト時刻Ｎ３のライトデータＤ１（Ｎ３）も入手しているが、このライトデータＤ１（Ｎ３）は、第２ボリューム２Ａに書き込まれない。ライトデータＤ１（Ｎ３）は、更新可能時点Ｎ２の後に到着しており、第２ボリューム２Ａへの書込みが許可されていないためである。これにより、各第２ボリューム２Ａの記憶内容は、ライト時刻Ｎ２の時点で一致する。

時間が経過して、他方の副記憶制御装置２にライトデータＤ１（Ｎ３）が到着した場合は、新たな更新可能時点としてＮ３が選択され、各第２ボリューム２Ａの内容がライト時刻Ｎ３で一致する。

本実施形態は、上述のように構成されるので、以下の効果を奏する。本実施形態では、複数の経路を介してリモートコピーをそれぞれ行う場合において、各経路のリモートコピーを受信側（副記憶制御装置側）で同期させるための更新制御部３を設ける。従って、各更新順序情報管理部２Ｄから各更新順序情報Ｄ２をそれぞれ収集し、収集された各更新順序情報Ｄ２に基づいて各第２ボリューム２Ａを更新可能な時点を決定し、各第２ボリューム２Ａの記憶内容を更新可能時点までそれぞれ更新させることができる。

この結果、各ホストＨ１，Ｈ２の処理負荷を増大させることなく、記憶制御装置２間でデータを整合させることができる。即ち、いわゆるホストフリーで、複数のリモートコピー処理の結果を同期させることができ、使い勝手や信頼性が向上する。そして、正サイトで障害が生じて副サイトにフェイルオーバされた場合に、整合性を有するデータを用いてユーザの業務処理を継続して実行させることができ、ストレージシステムの信頼性を高めることができる。以下、本実施形態を詳細に説明する。

図２は、本実施例によるストレージシステムの全体構成を示す説明図である。このストレージシステムは、例えば、正サイトＰｓ及び副サイトＳｓと、各サイトＰｓ，Ｓｓを管理するための管理サーバ４３を備えている。

正サイトＰｓは、少なくとも１つ以上の正ホスト３１と、複数の正記憶制御装置１０と、各正記憶制御装置１０を管理する管理端末４１とを備えることができる。同様に、副サイトＳｓは、少なくとも１つ以上の副ホスト３２と、複数の副記憶制御装置２０と、管理端末４２とを備えることができる。ここで、図１との対応関係を述べると、正ホスト３１，副ホスト３２は、図１中の正ホストＨ１，副ホストＨ２にそれぞれ対応する。正記憶制御装置１０は図１中の正記憶制御装置１に、副記憶制御装置２０は図１中の副記憶制御装置２にそれぞれ対応する。正ボリューム５３０Ａは図１中の第１ボリューム１Ａに、副ボリューム５３０Ｂは図１中の第２ボリューム２Ａに、それぞれ対応する。

まず、正サイトＰｓの接続構成を説明する。正ホスト３１は、SAN（Storage Area Network）等のデータ入出力用経路CN１１を介して、各正記憶制御装置１０とそれぞれ接続されている。正ホスト３１と各正記憶制御装置１０とは、直接的に接続することもできるし、ファイバチャネルスイッチ等の中継装置を介して接続することもできる。

各管理端末４１は、それぞれに接続された正記憶制御装置１０の状態を管理したり、構成変更を指示するためのものである。各正記憶制御装置１０は、管理端末４１を介して、管理用ネットワークCN１４にそれぞれ接続されている。管理用ネットワークCN１４は、例えば、LAN（Local Area Network）やWANのようなネットワークとして構成される。なお、管理端末４１を介さずに、正記憶制御装置１０を管理用ネットワークCN１４に直接的に接続することもできる。

副サイトＳｓも正サイトＰｓと同様に、副ホスト３２は、SAN等のデータ入出力用経路CN１１を介して、各副記憶制御装置２０にそれぞれ接続されている。各副記憶制御装置２０は、管理端末４２を介して、管理用ネットワークCN１４にそれぞれ接続されている。さらに、各副記憶制御装置２０は、ファイバチャネル等の更新制御用経路CN１３を介して、互いに接続されている。

各サイトＰｓ，Ｓｓ間のネットワーク構成を説明する。各サイトＰｓ，Ｓｓは、管理用ネットワークCN１４を介して接続されている。各正記憶制御装置１０と各副記憶制御装置２０とは、SAN等のリモートコピー用経路CN１２を介してそれぞれ接続されている。各正記憶制御装置１０内の正ボリューム５３０Ａと各副記憶制御装置２０内の副ボリューム５３０Ｂとは、それぞれリモートコピーのペアを形成している。

詳細は後述するが、正ボリューム５３０Ａの記憶内容は、初期コピーによって、コピーペアを形成する副ボリューム５３０Ｂにも記憶される。そして、正ボリューム５３０Ａでデータ更新が行われた場合、このデータ更新に関する情報は、副ボリューム５３０Ｂにも転送される。副ボリューム５３０Ｂの記憶内容が更新されることにより、正ボリューム５３０Ａの記憶内容と一致する。

厳密には、正ホスト３１からのライト要求を正記憶制御装置１０が処理するタイミングと、このライト要求に応じてリモートコピー処理を開始するタイミングとは同期していないため、正ボリューム５３０Ａと副ボリューム５３０Ｂの記憶内容が完全に一致する期間は少ない。しかし、正ボリューム５３０Ａに対するデータ更新は、多少の時間遅れの後で、副ボリューム５３０Ｂにも反映される。従って、正ホスト３１がライト要求の発行を停止した後、時間の経過によって、正ボリューム５３０Ａと副ボリューム５３０Ｂの記憶内容は、やがて一致する。

なお、副サイトＳｓは、正サイトのバックアップ専用として設けてもよいし、副サイト独自の業務処理を行うこともできる。即ち、副ホスト３２は、リモートコピーに使用されていない別のボリュームを用いて、別の業務処理を行うこともできる。この場合、副サイトＳｓで独自に実行される業務処理を、正サイトＰｓがバックアップできるように構成してもよい。

副サイトＳｓに設けられている複数の副記憶制御装置２０のうち、いずれか所定の１台は、マスタ副記憶制御装置２０（Ｍ）として使用される。このマスタ副記憶制御装置２０（Ｍ）は、リモートコピーに係る全ての副記憶制御装置２０のリモートコピーの進捗状況を一元的に管理する。

管理サーバ４３は、管理用ネットワークCN１４を介して、正ホスト３１及び副ホスト３２と、各正記憶制御装置１０及び各副記憶制御装置２０とにそれぞれ接続されている。管理サーバ４３は、各ホスト３１，３２や各記憶制御装置１０，２０の状態を管理等するものである。

なお、正記憶制御装置１０と副記憶制御装置２０とは、一対一で接続される必要はなく、Ｎ台の正記憶制御装置１０がＭ台の副記憶制御装置に接続される構成でもよい。即ち、後述のように、リモートコピーのコピー元（ソース側）とコピー先（ディステネーション側）との間で、論理ボリュームが対応していればよく、各記憶制御装置１０，２０に設けられるボリューム５３０Ａ，５３０Ｂの数は同数である必要はない。

また、副ホスト３２と正記憶制御装置１０とを別のデータ入出力用のネットワークで接続する構成でもよい。このような構成の場合、正ホスト３１に障害が発生したときに、副ホスト３２は、正ボリューム５３０Ａに直接アクセスして、正ホスト３１が行っていた処理を引き継ぐことができる。

図３は、ストレージシステムのハードウェア構成の一部を示す説明図である。図３には、副サイトＳｓの構成の一部が示されている。副サイトＳｓと正サイトＰｓとは、同一のハードウェア構成を備えることができるため、正サイトＰｓ側の説明は省略する。

副ホスト３２は、例えば、サーバマシンやメインフレームマシン等のようなコンピュータ装置である。副ホスト３２は、例えば、プロセッサ３０１と、メモリ３０２と、データ入出力用のインターフェース（以下「I/F」）３０３と、管理用のI/F３０４とを備えて構成することができる。

プロセッサ３０１は、メモリ３０２に記憶された各種プログラムを読み込んで実行することにより、所定の機能を実現する。各種プログラムとしては、図４と共に後述する管理部３１２，OS（Operating System）３２２，アプリケーションプログラム（APP）３３２を挙げることができる。

副ホスト３２は、各データ入出力用I/F３０３から各データ入出力用経路CN１１を介して、各副記憶制御装置２０にそれぞれ接続されている。また、管理用I/F３０４は、管理用ネットワークCN１４に接続されている。

副記憶制御装置２０のハードウェア構成を説明する。副記憶制御装置２０は、コントローラ５１０と記憶部５２０とに大別可能である。コントローラ５１０と記憶部５２０とは、同一筐体内に設けてもよいし、それぞれ別々の筐体に設けることもできる。

コントローラ５１０は、副記憶制御装置２０の動作を制御するものである。コントローラ５１０は、例えば、複数のチャネルアダプタ（以下、CHA）５１１と、複数のディスクアダプタ（以下、DKA）５１２と、キャッシュメモリ５１３と、共有メモリ５１４と、接続制御部５１５，５１６と、SVP５１７とを備えて構成可能である。

各CHA５１１は、副ホスト３２や各記憶制御装置１０，２０との間のデータ転送を制御するもので、複数の通信ポート５１１Ａを備えている。図３に示す例では、１つのCHA５１１は、副ホスト３２との通信に使用される。他の１つのCHA５１１は、副記憶制御装置２０との通信に接続される。さらに別の１つのCHA５１１は、正記憶制御装置１０との通信に使用される。なお、上述のように、CHA５１１に代えて、副記憶制御装置２０間をLAN用のI/Fで接続する構成でもよい。

各DKA５１２は、各ディスクドライブ５２１との間のデータ通信を制御する。各DKA５１２と各ディスクドライブ５２１とは、接続制御部５１６を介して接続されており、ファイバチャネルプロトコルに従ってブロック単位のデータ転送を行う。各DKA５１２は、ディスクドライブ５２１の状態を随時監視しており、この監視結果は、内部ネットワークを介して、SVP５１７に送信される。各CHA５１１及び各DKA５１２をそれぞれ別々の制御回路基板として構成することもできるし、一つの制御回路基板にCHA機能及びDKA機能をそれぞれ設けることもできる。なお、各ディスクドライブ５２１と各DKA５１２とは、複数の通信経路を介してそれぞれ接続されている。いずれか一方の通信経路に障害が生じた場合でも、各DKA５１２は、他方の通信経路を介して、各ディスクドライブ５２１にアクセス可能である。さらに、各DKA５１２のいずれかに障害が生じた場合でも、正常なDKA５１２を介して各ディスクドライブ５２１にアクセスすることができる。

キャッシュメモリ５１３は、正記憶制御装置１０から転送されてきたライトデータや副ホスト３２から受信したライトデータ等を記憶する。キャッシュメモリ５１３は、例えば、不揮発メモリから構成可能であるが、揮発メモリから構成することもできる。キャッシュメモリ５１３が揮発メモリから構成される場合、キャッシュメモリ５１３はバッテリによってバックアップされる。

共有メモリ（あるいは制御メモリ）５１４には、副記憶制御装置２０の作動を制御するための各種制御情報や管理情報等が記憶される。共有メモリ５１４は、例えば、不揮発メモリから構成される。制御情報等は、複数の共有メモリ５１４によって多重管理することができる。

なお、キャッシュメモリ５１３と共有メモリ５１４とを別々のメモリ回路基板として構成してもよいし、一つのメモリ回路基板内にキャッシュメモリ５１３及び共有メモリ５１４を実装してもよい。また、キャッシュメモリの一部を制御情報を格納するための制御領域として使用し、他の部分をデータを記憶するためのキャッシュ領域として使用する構成でもよい。

接続制御部５１５は、各CHA５１１と、各DKA５１２と、キャッシュメモリ５１３と、共有メモリ５１４とをそれぞれ接続するものである。接続制御部５１５により、全てのCHA５１１，DKA５１２は、キャッシュメモリ５１３及び共有メモリ５１４にそれぞれアクセス可能である。接続制御部５１５は、例えば、クロスバスイッチ等として構成される。

SVP５１７は、例えば、LAN等の内部ネットワークを介して、各CHA５１１にそれぞれ接続されている。SVP５１７は、各CHA５１１及び各DKA５１２の状態や、キャッシュメモリ５１３の使用状況等を取得可能である。SVP５１７は、管理端末４２を介して管理用ネットワークCN１４に接続されている。

以上のように、コントローラ５１０は、複数種類の基板（CHA５１１，DKA５１２等）をコントローラ筐体に実装することにより、構成することができる。これに限らず、単一の制御基板上に、上述した各機能（副ホスト３２との通信機能、ディスクドライブ５２１との通信機能、データ処理機能等）を実装する構成でもよい。この場合、複数の制御基板を設けて冗長構成とするのが、信頼性向上の観点からは好ましい。

記憶部５２０の構成を説明する。記憶部５２０は、複数のディスクドライブ５２１を備えている。ディスクドライブ５２１としては、例えば、ハードディスクドライブ、半導体メモリドライブ、光ディスクドライブ、光磁気ディスクドライブ、磁気テープドライブ等の種々の記憶デバイスを用いることができる。また、ハードディスクドライブを使用する場合、例えば、FC（Fibre Channel）ディスク、SATA（Serial AT Attachment）ディスク、SCSI（Small Computer System Interface）ディスクのように、種々の種類のハードディスクドライブを利用可能である。また、記憶部５２０内に、異なる種類の記憶デバイスを混在させることもできる。

RAIDレベル等によっても相違するが、所定数のディスクドライブ５２１によってRAIDグループ（パリティグループ）が構成される。例えば、３個のデータディスクと１個のパリティディスクとから、RAID５の構成を得ることができる（３Ｄ＋１Ｐ）。

RAIDグループは、冗長化された物理的な記憶領域であり、物理的な記憶デバイスと呼ぶこともできる。RAIDグループの提供する物理的な記憶領域上に、論理的な記憶デバイスである論理ボリューム５３０Ｂを１つまたは複数設定することができる。以下の説明では、論理ボリュームをLU（Lugical Unit）と略す場合がある。ジャーナルボリューム５３１Ｂは、論理ボリューム５３０Ｂと同様に論理的な記憶デバイスとして構成される。ジャーナルボリューム５３１Ｂには、正記憶制御装置１０から転送されてきたライトデータ等を記憶させることができる。

正ホスト３１及び正記憶制御装置１０は、副ホスト３２及び副記憶制御装置２０と同様のハードウェア構成を備えることができるため、説明を省略する。但し、正ホスト３１と副ホスト３２、正記憶制御装置１０と副記憶制御装置２０とは、それぞれ同一のハードウェア構成を備えている必要はない。例えば、正記憶制御装置１０として最新型の記憶制御装置を用い、副記憶制御装置２０として旧型の記憶制御装置を用いる場合のように、正サイトＰｓと副サイトＳｓとで、その物理的な構成が異なる場合もある。
なお、正記憶制御装置１０のジャーナルボリューム５３１Ａは、正記憶制御装置１０と副記憶制御装置２０との間の転送がリンク障害（パス障害）等で一時的にできなくなった場合に、未転送データを蓄えておくために使用可能である。この場合、リンク障害から回復した後、ジャーナルボリューム５３１Ａに蓄積された未転送データは、副記憶制御装置２０に転送される。このように正側のジャーナルボリューム５３１Ａを用いることにより、リンク障害への耐性を向上させることができる。

図４は、ストレージシステムのソフトウェア構成を示す説明図である。正ホスト３１は、通常運用に使用されるコンピュータ装置であり、副ホスト３２は、障害の発生等に備えて待機しているコンピュータ装置である。正ホスト３１では、例えば、管理部３１１と、OS３２１と、アプリケーションプログラム（図中「APP」と略記）３３１が、それぞれ動作している。同様に、副ホスト３２でも、管理部３１２と、OS３２２及びアプリケーションプログラム３３２がそれぞれ動作している。アプリケーションプログラム３３１，３３２には、例えば、データベース管理システム（DBMS）等のソフトウェアも含まれる。管理部３１１，３１２は、後述のように、リモートコピーを行うグループにボリュームを登録等する処理や、サスペンド処理の指示等を行うものである。

正記憶制御装置１０のコントローラ５１０は、ライトデータ受領部１１０と、ライトデータ転送部１２０と、マーカ作成部１３０とをそれぞれ実現する。ライトデータ受領部１１０は、正ホスト３１から送信されたライト要求やライトデータを受信するための機能である。ライトデータ転送部１２０は、コピー先の副記憶制御装置２０に、ライトデータ等を転送するための機能である。マーカ作成部１３０は、サスペンド処理を制御するための制御情報を副記憶制御装置２０に送信する機能である。これらの各機能１１０，１２０，１３０は、例えば、CHA５１１内のプロセッサが所定のプログラムを読み込んで実行することにより、それぞれ実現される。

正記憶制御装置１０の共有メモリ５１４には、例えば、ボリュームグループ管理情報Ｔ１１と、相手方ボリューム情報Ｔ１２と、ライトデータ管理情報Ｔ１３と、最新ライト時刻管理情報Ｔ１４と、差分ビットマップＴ１５とを記憶させることができる。これらの制御用の情報については、さらに後述する。

正記憶制御装置１０のキャッシュメモリ５１３には、正ホスト３１から受信したライトデータが記憶される。なお、ライトデータの記憶用デバイスとして、ジャーナルボリューム５３１Ａを用いてもよい。ジャーナルボリューム５３１Ａにライトデータを記憶させることにより、キャッシュメモリ５１３の使用率を低減させることができ、多量のライトデータを記憶することができる。なお、ジャーナルボリューム５３１Ａのサイズは、予め設定された固定値としてもよいし、その時々の必要に応じて設定することもできる。

副記憶制御装置２０の構成を説明する。副記憶制御装置２０のコントローラ５１０は、ライトデータ受領部２１０と、ライトデータ反映部２２０と、マスタ処理部２３０とをそれぞれ実現する。ライトデータ受領部２１０は、正記憶制御装置１０から送信されたライトデータ等を受信するための機能である。ライトデータ反映部２２０は、正記憶制御装置１０から受信したライトデータを順番通りに副ボリューム５３０Ｂに書き込むための機能である。

マスタ処理部２３０は、複数の副記憶制御装置２０のうち、いずれか１つの副記憶制御装置２０で作動する。マスタ処理部２３０は、リモートコピーを行う各副記憶制御装置２０のライトデータ反映部２２０の動作を制御するための機能である。マスタ処理部２３０は、更新制御用経路CN１３を介して、他の副記憶制御装置２０内のライトデータ反映部２２０に所定の指示を与えることができる。なお、マスタ処理部２３０を、各副記憶制御装置２０に予めそれぞれ実装しておき、いずれか１つのマスタ処理部２３０のみを起動させる構成でもよい。

副記憶制御装置２０の共有メモリ５１４には、例えば、ボリュームグループ管理情報Ｔ２１と、相手方ボリューム情報Ｔ２２と、ライトデータ管理情報Ｔ２３と、到着済みライト時刻管理情報Ｔ２４と、反映可能ライト時刻管理情報Ｔ２５と、マスタ情報Ｔ２６と、拡張グループ管理情報Ｔ２７と、マスタ時刻情報Ｔ２８と、差分ビットマップＴ２９とがそれぞれ記憶されている。

なお、差分ビットマップＴ２９，Ｔ１５は、ボリューム５３０Ｂ，５３０Ａの更新状態をそれぞれ管理するためのものである。例えば、差分ビットマップＴ２９，Ｔ１５は、ボリュームの各ブロックに対応するビットデータの列から構成され、更新されたブロックには更新フラグとしてのビット「１」がセットされる。従って、差分ビットマップＴ２９，Ｔ１５を用いることにより、ボリュームのどの箇所が更新されたか否かを判断することができる。

ここで、本実施例のストレージシステムは、正ボリューム５３０Ａ及び副ボリューム５３０Ｂをそれぞれグループ化することにより、グループ単位でリモートコピーを行うことができるようになっている。どのボリュームからグループを構成するか等は、ユーザが適宜設定することができる。このグループ設定は、例えば、ホスト３１，３２または管理端末４１，４２あるいは管理サーバ４３から行うことができる。

図５は、論理ボリュームグループの概念を示す説明図である。本実施例では、ボリューム５３０Ａ，５３０Ｂ間の関係をグループ化している。図５中、リモートコピーのペアを形成するボリューム５３０Ａ，５３０Ｂ同士を波線で接続して示す。正ボリューム５３０Ａはコピー元であり、副ボリューム５３０Ｂはコピー先である。

１つまたは複数の正ボリューム５３０Ａによって、ボリュームグループ５４０Ａが形成されている。同様に、１つまたは複数の副ボリューム５３０Ｂによって、ボリュームグループ５４０Ｂが形成されている。ソース側のボリュームグループ（正ボリュームグループ）５４０Ａとディステネーション側のボリュームグループ（副ボリュームグループ）５４０Ｂとが対応付けられており、各グループ５４０Ａ，５４０Ｂを構成するボリューム５３０Ａ，５３０Ｂ間でリモートコピーがそれぞれ行われるようになっている。また、後述のように、副ボリュームグループ５４０Ｂの単位で、リモートコピーの反映処理が制御されるようになっている。

ライトデータの転送やライトデータのボリューム５３０Ｂへの書込み処理（反映処理）等を行うために必要となるコンピュータリソースは、各ボリュームグループ５４０Ａ，５４０Ｂ毎にそれぞれ割り当てられている。

もしも仮に、各ボリューム５３０Ａ，５３０Ｂ毎に、リモートコピーをそれぞれ管理したり、個別にリソースを割り当てたりする場合は、管理対象が多くなり、管理作業が煩雑化する。また、処理対象が多くなるため、処理に必要なリソースが増大する可能性もあり、各記憶制御装置１０，２０の負荷が増大する。

一方、正記憶制御装置１０，副記憶制御装置２０の全体をそれぞれ一つの管理単位とすると、各ボリューム５３０Ａ，５３０Ｂの特質に応じた管理を行うのが難しい。アプリケーションプログラム３３１の種類や業務処理の種類等に応じて、ボリューム５３０Ａ，５３０Ｂに要求される性能は、それぞれ異なる。

例えば、あるアプリケーションプログラム３３１は、より高性能で高信頼性を有するボリュームを要求し、別のアプリケーションプログラム３３１は、低価格なボリュームを要求する。従って、各ボリューム５３０Ａ，５３０Ｂを、その特質（例えば、ディスクドライブ５２１の種別やボリュームサイズ等）に応じてグループ化し、それぞれのボリュームグループ５４０Ａ，５４０Ｂ毎にリモートコピーを管理する方が好ましい。

従って、本実施例のように、ボリュームをグループ化して管理することにより、ユーザは、ボリュームグループ５４０Ａ，５４０Ｂ毎にリモートコピーの構成や条件等を設定することができ、利便性が向上する。

さらに、本実施例では、各副ボリュームグループ５４０Ｂの中から任意の副ボリュームグループ５４０Ｂを選択して、拡張グループ５５０を構成可能としている。拡張グループ５５０は、筐体をまたいで構成することができる。つまり、１つの副記憶制御装置２０内の副ボリュームグループ５４０Ｂと、別の１つの副記憶制御装置２０内の副ボリュームグループ５４０Ｂとから、１つの拡張グループ５５０を構成することができる。図５中では、拡張グループ５５０を１つだけ示しているが、ユーザは、複数の拡張グループ５５０を設定することができる。

ある拡張グループ５５０に属している各副ボリュームグループ５４０Ｂは、それぞれ互いに別の副記憶制御装置２０内に存在している場合でも、リモートコピーの進捗状況が同期するように制御される。即ち、後述のように、リモートコピーが停止された状態（サスペンド状態）において、拡張グループ５５０にそれぞれ属する複数の副ボリュームグループ５４０Ｂ間では、所定の時刻（反映可能ライト時刻）までライトデータがそれぞれ反映されて、データの整合性が維持されるようになっている。

次に、リモートコピーを制御するための各種情報について説明する。まず、図６は、ボリュームグループ管理情報Ｔ１１（Ｔ２１）及び相手方ボリューム情報Ｔ１２（Ｔ２２）の一例を示す説明図である。

ボリュームグループ管理情報Ｔ１１（Ｔ２１）は、図５に示したボリュームグループ５４０Ａ，５４０Ｂを管理するための情報である。正記憶制御装置１０に記憶されるボリュームグループ管理情報Ｔ１１は、正記憶制御装置１０側に設けられる正ボリュームグループ５４０Ａの構成を管理する。副記憶制御装置２０に記憶されるボリュームグループ管理情報Ｔ２１は、副記憶制御装置２０側に設けられる副ボリュームグループ５４０Ｂの構成を管理する。

各ボリュームグループ管理情報Ｔ１１，Ｔ２１は、同一の構造を備えている。そこで、以下、ボリュームグループ管理情報Ｔ１１を中心に説明する。但し、構造自体は共通であっても、各項目に設定される値はそれぞれ異なる場合がある。

ボリュームグループ管理情報Ｔ１１は、例えば、ボリュームグループＩＤと、シーケンシャル番号と、ボリューム数と、ボリュームＩＤと、相手方記憶制御装置ＩＤと、相手方グループＩＤ及び未転送シーケンシャル番号を対応付けることにより、構成される。

ボリュームグループＩＤは、ボリュームグループを特定するための識別情報である。正側のボリュームグループ管理情報Ｔ１１では、ボリュームグループＩＤに、正ボリュームグループ５４０Ａを特定するための識別情報が設定される。副側のボリュームグループ管理情報Ｔ２１では、ボリュームグループＩＤに、副ボリュームグループ５４０Ｂを特定するための識別情報が設定される。

シーケンシャル番号は、ボリュームグループＩＤで特定されるボリュームグループに属するボリュームへのライトデータの発行順序や発行数を管理する情報である。シーケンシャル番号は、ボリュームへのライトデータについて連続的に与えられる。初期値を”０”とすると、ライトデータが一回発行されるたびに、シーケンシャル番号の値も１つずつ増加するようになっている。

ボリューム数は、ボリュームグループＩＤで特定されるボリュームグループに属するボリュームの総数を示す情報である。

ボリュームＩＤは、ボリュームグループＩＤで特定されるボリュームグループに属する１つまたは複数のボリュームを、それぞれ一意に特定するための識別情報である。そのボリュームグループに属する全てのボリュームのボリュームＩＤがボリュームグループ管理情報Ｔ１１にそれぞれ登録される。

相手方記憶制御装置ＩＤは、ボリュームグループＩＤで特定されるボリュームグループとリモートコピーのペアを形成する相手方ボリュームグループを有する記憶制御装置を特定するための識別情報である。相手方記憶制御装置ＩＤには、例えば、各記憶制御装置に予め設定されているシリアル番号等を用いることができる。正側のボリュームグループ管理情報Ｔ１１では、相手方記憶制御装置ＩＤとして、副記憶制御装置２０のシリアル番号が設定される。副側のボリュームグループ管理情報Ｔ２１では、正記憶制御装置１０のシリアル番号が設定される。

相手方グループＩＤは、ボリュームグループＩＤで特定されるボリュームグループとリモートコピーのペアを形成するボリュームグループを特定するための識別情報である。正側のボリュームグループ管理情報Ｔ１１では、相手方グループＩＤとして、副ボリュームグループ５４０Ｂを特定するための識別情報が設定される。副側のボリュームグループ管理情報Ｔ２１では、相手方グループＩＤとして、正ボリュームグループ５４０Ａを特定するための識別情報が設定される。

未転送シーケンシャル番号は、後述するライトデータの転送処理で用いられる情報であり、転送が必要となるライトデータの最小のシーケンシャル番号を示す。なお、未転送シーケンシャル番号は、正記憶制御装置１０でのみ使用され、副記憶制御装置２０では使用されない。従って、ボリュームグループ管理情報Ｔ２１では、未転送シーケンシャル番号は使用されない。

図６の下側には、相手方ボリューム情報Ｔ１２（Ｔ２２）が示されている。正記憶制御装置１０で使用される相手方ボリューム情報Ｔ１２（正側の相手方ボリューム情報）と、副記憶制御装置２０で使用される相手方ボリューム情報Ｔ２２（副側の相手方ボリューム情報）とは、同一の構造を備えている。そこで、正側の相手方ボリューム情報Ｔ１２を中心に説明する。

相手方ボリューム情報Ｔ１２には、リモートコピーのペア関係が定義されている。相手方ボリューム情報Ｔ１２は、例えば、ボリュームＩＤと、相手方記憶制御装置ＩＤと、相手方ボリュームＩＤとを対応付けることにより、構成される。

ボリュームＩＤには、コピー元となる正ボリューム５３０Ａを特定するための情報が設定される。相手方記憶制御装置ＩＤには、ボリュームＩＤで特定される正ボリューム５３０Ａとコピーペアを形成する副ボリューム５３０Ｂを有する副記憶制御装置２０を特定するための情報が設定される。

相手方ボリュームＩＤには、ボリュームＩＤで特定される正ボリューム５３０Ａとコピーペアを形成する副ボリューム５３０Ｂを特定するための情報が設定される。

副側の相手方ボリューム情報Ｔ２２の場合、ボリュームＩＤには副ボリューム５３０Ｂを特定するための情報が、相手方記憶制御装置ＩＤには正記憶制御装置１０を特定するための情報が、相手方ボリュームＩＤには正ボリューム５３０Ａを特定するための情報が、それぞれ設定される。

図７には、ライトデータ管理情報Ｔ１３（Ｔ２３）及び最新ライト時刻管理情報Ｔ１４がそれぞれ示されている。正側のライトデータ管理情報Ｔ１３と副側のライトデータ管理情報Ｔ２３とは、同一の構造を備えている。そこで、正側のライトデータ管理情報Ｔ１３を中心に説明する。

ライトデータ管理情報Ｔ１３は、コピー元である正ボリューム５３０Ａに書き込まれたライトデータを管理するための情報である。ライトデータ管理情報Ｔ１３は、例えば、正ボリュームグループ５４０Ａ毎に、それぞれリスト形式で作成され、管理される。

１つのライトデータ管理情報Ｔ１３は、例えば、ボリュームＩＤと、ライトアドレスと、ライトデータ長と、ライトデータポインタと、シーケンシャル番号と、ライト時刻と、マーカ属性ビット及びマーカ種別とを対応付けることにより、構成される。

ボリュームＩＤには、正ボリューム５３０Ａを特定するための情報が設定される。ライトアドレスは、特定された正ボリュームにおいて、ライトデータが書き込まれる先頭アドレスを示す。ライトデータ長は、ライトデータのサイズである。ライトデータポインタは、キャッシュメモリ５１３に記憶されているライトデータの先頭アドレスである。

正記憶制御装置１０は、正ホスト３１から受信したライトデータをキャッシュメモリ５１３に記憶させた時点で、正ホスト３１に書込み完了を通知する。その後、正記憶制御装置１０は、適当なタイミングで、キャッシュメモリ５１３に保存しておいたライトデータを、正ボリューム５３０Ａに書き込む。従って、ライトデータは、最初にキャッシュメモリ５１３に記憶され、次に、正ボリューム５３０Ａに記憶される。このため、ライトデータ管理情報Ｔ１３には、ライトデータポインタが含まれている。

なお、正ボリューム５３０Ａに書き込まれる前のライトデータのステータスは、「ダーティ」である。正ボリューム５３０Ａに書き込まれた後のライトデータのステータスは、「クリーン」となる。キャッシュメモリ５１３上のライトデータがクリーンステータスに変化した場合、ライトデータが記憶されているキャッシュ領域は、他のライトデータを記憶するために再使用することができる。

シーケンシャル番号は、ボリュームＩＤで特定される正ボリューム５３０Ａに書き込まれるライトデータについて連続的に付与される番号である。ライト時刻は、正ホスト３１がライトデータの書込みを要求した時刻である。即ち、このライト時刻は、特定された正ボリューム５３０Ａに対して、正ホスト３１からライト要求が発行された時刻を示す。

マーカ属性ビットは、リモートコピーを制御するための特殊なライトデータ（以下、この制御用のライトデータを「マーカ」と呼ぶ）であるか、それとも通常のライトデータであるかを識別するための情報である。詳細は後述するが、通常のライトデータの場合、マーカ属性ビットには”０”が設定される。マーカの場合は、マーカ属性ビットに”１”が設定される。

マーカ種別は、マーカの種類を特定するための情報である。詳細は後述するが、マーカ種別として、例えば、”フラッシュサスペンド”、”パージサスペンド”、”スワップサスペンド”等を挙げることができる。

図７の下側には、最新ライト時刻管理情報Ｔ１４が示されている。最新ライト時刻管理情報Ｔ１４は、各リモートコピーにおいて、正ボリューム５３０Ａに書込みが要求された最新のライトデータのライト時刻を管理するものである。従って、最新ライト時刻管理情報Ｔ１４は、各正ボリューム５３０Ａ毎にそれぞれ用意される。最新ライト時刻管理情報Ｔ１４は、例えば、正ボリュームグループ５４０Ａを特定するためのグループＩＤと、最新ライト時刻とを対応付けることにより、構成される。

図８には、拡張グループ管理情報Ｔ２７及びマスタ情報Ｔ２６が示されている。拡張グループ管理情報Ｔ２７から説明する。拡張グループ管理情報Ｔ２７は、複数の各副記憶制御装置２０間にまたがって形成可能な拡張グループ５５０を管理する情報である。拡張グループ管理情報Ｔ２７は、各拡張グループ５５０毎にそれぞれ用意される。

拡張グループ管理情報Ｔ２７は、例えば、拡張グループＩＤと、ボリュームグループ数と、記憶制御装置ＩＤと、ボリュームグループＩＤとを対応付けることにより、構成することができる。

拡張グループＩＤは、拡張グループ５５０を特定するための識別情報である。ボリュームグループ数は、特定された拡張グループ５５０に含まれる副ボリュームグループ５４０Ｂの数を示す。記憶制御装置ＩＤは、その拡張グループ５５０に含まれる副ボリュームグループ５４０Ｂが存在する副記憶制御装置２０を特定するための識別情報である。ボリュームグループＩＤは、その拡張グループ５５０に含まれる副ボリュームグループ５４０Ｂを特定するための識別情報である。

図８の下側には、マスタ情報Ｔ２６が示されている。マスタ情報Ｔ２６は、マスタ処理部２３０を特定するための情報である。マスタ処理部２３０は、後述のように、リモートコピーの同期等について、各副記憶制御装置２０に所定の指示を与える。従って、各副記憶制御装置２０は、どこから所定の指示を受けるのかを示す情報として、マスタ情報Ｔ２６をそれぞれ保持している。

マスタ情報Ｔ２６は、例えば、ボリュームグループＩＤと、拡張グループＩＤ及びマスタ記憶制御装置ＩＤを対応付けることにより、構成される。ボリュームグループＩＤは、副ボリュームグループ５４０Ｂを特定するための識別情報である。拡張グループＩＤは、その特定された副ボリュームグループ５４０Ｂが属している拡張グループ５５０を特定するあめの識別情報である。マスタ記憶制御装置ＩＤは、その特定された副ボリュームグループ５４０Ｂに所定の指示を発行するためのマスタ処理部２３０を有する副記憶制御装置２０を特定するための識別情報である。

本実施例では、１つのマスタ処理部２３０によって、各副記憶制御装置２０におけるリモートコピーの進捗状況を調停する構成となっている。これに代えて、例えば、それぞれ異なる副記憶制御装置２０にマスタ処理部２３０をそれぞれ設け、各マスタ処理部２３０がそれぞれ別々の拡張グループ５５０を担当する構成でもよい。

図９には、到着済みライト時刻管理情報Ｔ２４とマスタ時刻情報Ｔ２８及び反映可能ライト時刻管理情報Ｔ２５が、それぞれ示されている。

到着済みライト時刻管理情報Ｔ２４は、副記憶制御装置２０に到着した最新のライトデータのライト時刻を管理するための情報である。到着済みライト時刻管理情報Ｔ２４は、例えば、ボリュームグループＩＤと、到着済みライト時刻と、マーカ種別及びマーカ時刻を対応付けることにより、構成される。

ボリュームグループＩＤは、副ボリュームグループ５４０Ｂを特定するための識別情報である。到着済みライト時刻には、その特定された副ボリュームグループ５４０Ｂに関する到着済みのライトデータのうち、最新のライトデータのライト時刻が記録される。到着済みライト時刻の初期値は”０”である。マーカ種別は、ライトデータ受領部２１０により検出されたマーカの種別を示す情報であり、初期値は無効値である。マーカ時刻は、マーカに付与されている時刻であり、初期値は”０”である。

マスタ時刻情報Ｔ２８は、マスタ処理部２３０により使用される情報である。マスタ時刻情報Ｔ２８は、例えば、拡張グループＩＤと、記憶制御装置ＩＤと、ボリュームグループＩＤと、到着済みライト時刻と、マ−カ種別及びマーカ時刻とを対応付けることにより、構成される。

拡張グループＩＤは、拡張グループ５５０を特定するための識別情報である。記憶制御装置ＩＤは、その特定された拡張グループ５５０に属する副ボリュームグループ５４０Ｂを有する副記憶制御装置２０を特定するための識別情報である。ボリュームグループＩＤは、その特定された拡張グループ５５０に属する副ボリュームグループ５４０Ｂを特定するための識別情報である。到着済みライト時刻は、その副ボリュームグループ５４０Ｂについて到着済みのライトデータのうち、最新のライトデータのライト時刻を示す。到着済みライト時刻の初期値は”０”である。各副記憶制御装置２０は、副ボリュームグループ５４０Ｂに到着した最新のライトデータのライト時刻を、マスタ処理部２３０にそれぞれ通知する。マーカ種別は、マーカの種別を示す情報であり、初期値は無効値である。マーカ時刻は、マーカに付与されている時刻であり、初期値は０である。

反映可能ライト時刻管理情報Ｔ２５は、各副ボリュームグループ５４０Ｂ毎に、反映可能なライト時刻をそれぞれ管理するための情報である。反映可能ライト時刻とは、その副ボリュームグループ５４０Ｂに属する各副ボリューム５３０Ｂに反映させることができるライトデータの範囲を特定する情報である。反映可能ライト時刻は、「更新可能時点」に対応する。

反映可能ライト時刻として示された時点まで、副ボリューム５３０Ｂにライトデータを順番に書き込むことができる。ライト時刻Ｎ１，Ｎ２，Ｎ３，Ｎ４の４個のライトデータがある場合を例に挙げる。ライト時刻Ｎ４が最新のライト時刻であるとする。もしも、マスタ処理部２３０が反映可能ライト時刻としてＮ３を選択した場合、ライトデータ反映部２２０は、ライト時刻Ｎ１のライトデータを副ボリューム５３０Ｂに書込み、次に、ライト時刻Ｎ３のライトデータを副ボリューム５３０Ｂに書込み、最後に、ライト時刻Ｎ３のライトデータを副ボリューム５３０Ｂに書き込むことができる。

反映可能ライト時刻管理情報Ｔ２５は、例えば、ボリュームグループＩＤと、反映可能ライト時刻及びマーカ種別を対応付けることにより、構成される。ボリュームグループＩＤは、副ボリュームグループ５４０Ｂを特定するための識別情報である。反映可能ライト時刻は上述の通りであり、その初期値は”０”である。マーカ種別は、マーカの種別を示し、初期値は無効値である。

図１０は、ライト要求の処理を示すフローチャートである。このライト要求処理は、正記憶制御装置１０のコントローラ５１０（詳しくは、ライトデータ受領部１１０）によって実行される。説明の便宜上、動作の主体を正記憶制御装置１０とする。しかし、実際には、コントローラ５１０内の１つまたは複数のプロセッサが、所定のプログラムに従って動作することにより、ライト要求が処理される。なお、以下の各フローチャートも同様であるが、各フローチャートは、本発明の理解及び実施に必要な程度に、各処理の内容を示しており、実際のプログラムとは相違する。また、以下の説明では、ステップを「Ｓ」と略記する。

正記憶制御装置１０は、正ボリューム５３０Ａを書込み対象とするライト要求を、正ホスト３１から受信する（Ｓ１１）。このライト要求には、正ホスト３１によってライト時刻が付与されている。

正記憶制御装置１０は、正ホスト３１から受信したライトデータを、キャッシュメモリ５１３に記憶させる（Ｓ１２）。正記憶制御装置１０は、ボリュームグループ管理情報Ｔ１１を参照し、既に記憶されているシーケンシャル番号を１つ増加させて、新たなシーケンシャル番号（図中「SEQ番号」と略記）を取得する（Ｓ１３）。

正記憶制御装置１０は、その取得したシーケンシャル番号及びライト時刻を、正ホスト３１から受信したライトデータに関連付けることにより、ライトデータ管理情報Ｔ１３を生成する（Ｓ１４）。このライトデータ管理情報Ｔ１３には、上述の通り、ライトデータの書込み先として指定された正ボリューム５３０ＡのボリュームＩＤや、ライトアドレス等も設定される。

正記憶制御装置１０は、最新ライト時刻管理情報Ｔ１４に、Ｓ１１で受信したライト要求に示されているライト時刻を記憶させる（Ｓ１５）。そして、正記憶制御装置１０は、ライト要求の処理が完了した旨を正ホスト３１に通知する（Ｓ１６）。

つまり、正記憶制御装置１０は、ライトデータを正ボリューム５３０Ａに実際に書き込むよりも前に、ライトデータの書込みが完了した旨を正ホスト３１に報告する。正ホスト３１への書込み完了を報告した後で、正ボリューム５３０Ａへの書込みや副ボリューム５３０Ｂへの転送を行うため、正記憶制御装置１０の応答性能を高めることができる。また、これにより、正サイトＰｓと副サイトＳｓとが遠く離れている場合でも、両サイト間の伝播時間による遅れを正ホスト３１に認識させることなく、速やかにライト要求処理を行うことができる。従って、上述した非同期処理は、正サイトＰｓと副サイトＳｓとの距離が離れているディザスタリカバリシステムに好適である。

最後に、正記憶制御装置１０は、適当なタイミングで、キャッシュメモリ５１３に記憶されたライトデータを、正ボリューム５３０Ａを構成する各ディスクドライブ５２１に書き込む（Ｓ１７）。ディスクドライブ５２１への書込み方法は、正ボリューム５３０ＡのRAID構成に依存する。もしも、正ボリューム５３０ＡがRAID１に設定されている場合、正ディスクドライブ及び副ディスクドライブの両方に、同一のライトデータがそれぞれ書き込まれる。もしも、正ボリューム５３０ＡがRAID５等のようなパリティデータを用いる構成に設定されている場合、新たなパリティデータを算出した後で、ライトデータ及びパリティデータが所定のディスクドライブ５２１にそれぞれ書き込まれる。

図１１は、正記憶制御装置１０から副記憶制御装置２０へライトデータを転送して、副ボリューム５３０Ｂにコピーさせるための処理を示すフローチャートである。この処理は、ライトデータ転送処理またはリモートコピー処理と呼ぶことができる。

図１１に示す処理は、正記憶制御装置１０のライトデータ転送部１２０と、副記憶制御装置２０のライトデータ受領部２１０によって実行される。より詳しくは、上述のように、各記憶制御装置１０，２０の有する１つまたは複数のプロセッサが、所定のプログラムを実行することにより、図１１に示す処理が実現される。

まず、正記憶制御装置１０は、ボリュームグループ管理情報Ｔ１１に記憶されている未転送シーケンシャル番号を参照し、副記憶制御装置２０への転送が必要なライトデータを特定する。そして、正記憶制御装置１０は、ライトデータ管理情報Ｔ１３，ボリュームグループ管理情報Ｔ１１及び相手方ボリューム情報Ｔ１２をそれぞれ参照することにより、ライトデータ関連情報を生成する（Ｓ２１）。

ライトデータ関連情報とは、転送先（コピー先）の副記憶制御装置２０において、ライトデータを管理するために必要な諸情報を含んだ情報である。ライトデータ関連情報は、ライトアドレスと、ライトデータ長と、シーケンシャル番号と、ライト時刻と、マーカ属性ビット及びマーカ種別を含んでいる。これらライトアドレスやシーケンシャル番号等は、ライトデータ管理情報Ｔ１３からそれぞれ取得される。ライトデータ関連情報には、ライトデータの転送先を特定するための情報も含まれている。ライトデータの転送先を特定するための情報とは、相手方ボリューム情報Ｔ１２から取得される相手方記憶制御装置ＩＤ及び相手方ボリュームＩＤである。さらに、ライトデータ関連情報には、ボリュームグループ管理情報Ｔ１１から取得される相手方ボリュームグループＩＤも含まれる。

そして、正記憶制御装置１０は、キャッシュメモリ５１３に記憶されているライトデータと、Ｓ２２で作成したライトデータ関連情報とを対応付けて、副記憶制御装置２０に転送する（Ｓ２２）。

副記憶制御装置２０は、正記憶制御装置１０からライトデータ及びライトデータ関連情報を受信すると（Ｓ２３）、ライトデータを副記憶制御装置２０内のキャッシュメモリ５１３に記憶させる（Ｓ２４）。

副記憶制御装置２０は、正記憶制御装置１０から受信したライトデータ関連情報に基づいて、ライトデータ管理情報Ｔ２３を生成する（Ｓ２５）。そして、副記憶制御装置２０は、Ｓ２３で受信したライトデータに設定されているシーケンシャル番号に抜けがないかを判定する（Ｓ２６）。

シーケンシャル番号が連続している場合（S26:YES）、副記憶制御装置２０は、Ｓ２３で受信した最新のライトデータのライト時刻と、到着済みライト時刻管理情報Ｔ２４に記憶されている到着済みライト時刻とを比較し、到着済みライト時刻の方がＳ２３で受信したライトデータのライト時刻よりも前であるか否かを判定する（Ｓ２７）。Ｓ２６とＳ２７の判定ステップは、入れ替えることもできる。

Ｓ２３で受信したライトデータのライト時刻よりも、到着済みライト時刻管理情報Ｔ２４に記憶されている到着済みライト時刻の方が古い場合（S27:YES）、副記憶制御装置２０は、到着済みライト時刻管理情報Ｔ２４に登録されている到着済みライト時刻を、Ｓ２３で受信したライトデータのライト時刻で置き換える（Ｓ２８）。副記憶制御装置２０は、ライトデータの受信が完了した旨を、正記憶制御装置１０に報告する（Ｓ２９）。

正記憶制御装置１０は、副記憶制御装置２０からの完了報告を受信すると、ボリュームグループ管理情報Ｔ１１内の未転送シーケンシャル番号を更新する（Ｓ３０）。副記憶制御装置２０へのライトデータ転送が完了した場合、この転送されたライトデータを既に正ボリューム５３０Ａに書込み済みであるならば、正記憶制御装置１０は、キャッシュメモリ５１３に記憶されているライトデータを破棄することができる。正ボリューム５３０Ａへの書込み用とは別に、副記憶制御装置２０への転送用にライトデータを保持している場合は、副記憶制御装置２０からの完了報告を受信後に、この転送用のライトデータを破棄することができる。

なお、図１１に示す処理では、正記憶制御装置１０から副記憶制御装置２０にライトデータ等を送信する構成になっている（Ｓ２２）。これに代えて、副記憶制御装置２０から正記憶制御装置１０に、ライトデータの転送要求を発行し、この転送要求に応じて、正記憶制御装置１０が副記憶制御装置２０にライトデータ等を送信する構成でもよい。このように、副記憶制御装置２０からの転送要求に応じて、正記憶制御装置１０から副記憶制御装置２０にライトデータ等を送信する構成にした場合、副記憶制御装置２０の状況に応じて、ライトデータの転送処理を行うことができる。即ち、例えば、副記憶制御装置２０におけるライトデータの処理状況、負荷量、ライトデータの蓄積量（キャッシュメモリ５１３の使用率）等に応じて、正記憶制御装置１０から副記憶制御装置２０にライトデータ等を転送することができる。

また、図１１に示す処理では、副記憶制御装置２０は、ライトデータをキャッシュメモリ５１３に保存するものとして述べた（Ｓ２４）。これに代えて、副記憶制御装置２０がジャーナルボリューム５３１Ｂを有する場合、ジャーナルボリューム５３１Ｂにライトデータを記憶させるように構成してもよい。一般に、ジャーナルボリューム５３１Ｂの方がキャッシュメモリ５１３よりも大容量に形成することができるため、より多くのライトデータを蓄積することができる。ジャーナルボリューム５３１Ｂを用いる場合、キャッシュメモリ５１３は、副ボリューム５３０Ｂ及びジャーナルボリューム５３１Ｂのキャッシュ領域として使用される。
同様に、正記憶制御装置１０においても、ジャーナルボリューム５３１Ａをキャッシュ領域として使用することができる。

なお、ジャーナルボリューム５３１Ｂのボリュームサイズは、可変に設定することもできる。例えば、最初のうちは、ジャーナルボリューム５３１Ｂのサイズを小さく設定しておき、正記憶制御装置１０からのライトデータ転送量が増大した場合には、このライトデータ転送量の増大に応じて、ジャーナルボリューム５３１Ｂのサイズを拡張する構成でもよい。

図１２は、各副記憶制御装置２０でそれぞれ実行されるリモートコピーの反映処理と、複数の反映処理を同期させるための調停処理を示すフローチャートである。本実施例では、この調停処理によって、各副ボリューム５３０Ｂ間のデータの整合性を保証する。マスタ処理部２３０は、いずれか１つの副記憶制御装置２０上で作動している。マスタ処理部２３０の作動している副記憶制御装置２０をマスタ副記憶制御装置と、マスタ処理部２３０からの指示を受ける他の副記憶制御装置２０をスレーブ副記憶制御装置と、図中では示している。

マスタ処理部２３０は、拡張グループ５５０に属している各副ボリュームグループ５４０Ｂのそれぞれについて、到着済みライト時刻管理情報Ｔ２４に記憶されている最新の到着済みライト時刻を問い合わせる（Ｓ４１）。マスタ処理部２３０は、更新制御用経路CN１３を介して、各副記憶制御装置２０のコントローラ５１０に、最新の到着済みライト時刻をそれぞれ問い合わせる。

各副記憶制御装置２０は、マスタ処理部２３０からの問合せを受信すると、到着済みライト時刻管理情報Ｔ２４を参照し（Ｓ４２）、そこに記憶されている到着済みライト時刻をマスタ処理部２３０に送信する（Ｓ４３）。

マスタ処理部２３０は、各副記憶制御装置２０から受信した到着済みライト時刻を、マスタ時刻情報Ｔ２８にそれぞれ記録する（Ｓ４４）。マスタ処理部２３０は、マスタ時刻情報Ｔ２８に記録された各到着済みライト時刻を比較することにより、その中で最も古い到着済みライト時刻を１つ検出する（Ｓ４５）。この検出された最古の到着済みライト時刻が、反映可能ライト時刻として選択される。そして、マスタ処理部２３０は、反映可能ライト時刻までに到着したライトデータの副ボリューム５３０Ｂへの書込みを、各副記憶制御装置２０にそれぞれ許可する（Ｓ４６）。

各副記憶制御装置２０は、マスタ処理部２３０から通知された反映可能ライト時刻を、反映可能ライト時刻管理情報Ｔ２５に記憶させる（Ｓ４７）。Ｓ４１〜Ｓ４７の調停処理を１サイクルとして、マスタ処理部２３０は、この調停処理を、定期的にまたは不定期に、繰り返す。

上述のように、調停処理では、マスタ処理部２３０の動作する副記憶制御装置（マスタ副記憶制御装置）と他の副記憶制御装置２０との間で、更新制御用経路CN１３を介して、指示や応答が交換される。従って、これら指示及び応答の交換状態を監視することにより、各副記憶制御装置２０や更新制御用経路CN１３に障害が生じた否かを検出することもできる。例えば、マスタ処理部２３０からの指示に対して、一定期間内に、他の副記憶制御装置２０から応答が無い場合は、障害の発生と推定することができる。

図１３は、副記憶制御装置２０における副ボリューム５３０Ｂへのライトデータ反映処理を示すフローチャートである。反映処理とは、正記憶制御装置１０から受信したライトデータを副ボリューム５３０Ｂに書き込むことにより、副ボリューム５３０Ｂの内容を更新させる処理である。ライトデータ反映部２２０は、各副ボリュームグループ５４０Ｂ毎に反映処理をそれぞれ行う。以下、動作の主体を副記憶制御装置２０として述べる。

副記憶制御装置２０は、ある副ボリュームグループ５４０Ｂに属する副ボリューム５３０Ｂについて、ライトデータ管理情報Ｔ２３を参照し（Ｓ５１）、ライト時刻順及びシーケンシャル番号順に、ライトデータ管理情報を選択する（Ｓ５２）。これにより、到着済みのライトデータを副ボリューム５３０Ｂに格納する順序が定められる。

副記憶制御装置２０は、その副ボリュームグループ５４０Ｂのマスタ情報Ｔ２６を参照し（Ｓ５３）、その副ボリュームグループ５４０Ｂが拡張グループ５５０に属しているか否かを判定する（Ｓ５４）。即ち、副記憶制御装置２０は、その副ボリュームグループ５４０Ｂについて、マスタ情報Ｔ２６が設定されているか否かを判定する。

副ボリュームグループ５４０Ｂが拡張グループ５５０に属している場合（S54:YES）、その副ボリュームグループ５４０Ｂは、同期反映処理の対象となっている。そこで、副記憶制御装置２０は、Ｓ５２で選択したライトデータのライト時刻と反映可能ライト時刻管理情報Ｔ２５に記憶されている反映可能ライト時刻とを比較する。副記憶制御装置２０は、選択したライトデータのライト時刻が反映可能ライト時刻よりも前の場合、その選択したライトデータを副ボリューム５３０Ｂに書き込む（Ｓ５６）。即ち、副記憶制御装置２０は、書込み対象のライトデータについてライトデータ管理情報Ｔ２３を参照し、ライトアドレス及びライトデータ長を特定し、副ボリューム５３０Ｂの所定の場所にライトデータを記憶させる。

これに対し、副ボリュームグループ５４０Ｂが拡張グループ５５０に属していない場合（S54:NO）、副記憶制御装置２０は、Ｓ５５をスキップしてＳ５６に移り、書込み対象のライトデータを副ボリューム５３０Ｂに書き込む。副ボリュームグループ５４０Ｂが拡張グループ５５０に属していない場合、その副ボリュームグループ５４０Ｂは、同期反映処理の対象外だからである。

上述したＳ５１〜Ｓ５６の反映処理を１サイクルとして、副記憶制御装置２０は、各副ボリューム５３０Ｂ毎に、反映処理をそれぞれ行う。これにより、副記憶制御装置２０は、拡張グループ５５０に属している副ボリュームグループ５４０Ｂについて、反映可能ライト時刻までに受信したライトデータを、ライト時刻順及びシーケンシャル番号順に、副ボリューム５３０Ｂに書き込むことができる。

ここで、ライト時刻と反映可能ライト時刻とを比較し、反映可能ライト時刻までのライトデータを、ライト時刻順及びシーケンシャル番号順に、副ボリューム５３０Ｂに書き込ませる動作を、以下の説明では、「指示による反映処理モード」と呼ぶ。これに対し、到着済みの全てのライトデータを、ライト時刻順及びシーケンシャル番号順に、副ボリューム５３０Ｂに書き込ませる動作を、「自動反映処理モード」と呼ぶ。「指示による反映処理モード」では、拡張グループ５５０に属する各副ボリューム５３０Ｂの更新時期が、マスタ処理部２３０から許可された時刻（反映可能ライト時刻）にそれぞれ一致するため、「同期反映処理モード」と呼ぶこともできる。また、例えば、「自動反映処理モード」を第１反映処理モードと、「指示による反映処理モード」を第２反映処理モードと、それぞれ呼ぶこともできる。

このように、「指示による反映処理モード」の場合、拡張グループ５５０に属する各副ボリューム５３０Ｂには、マスタ処理部２３０から指示された反映可能ライト時刻まで、ライトデータが反映される。

従って、データの転送タイミングやデータ転送経路上のバッファリングが非同期に動作する複数のリモートコピーが並列して行われる場合でも、副ボリューム５３０Ｂの記憶内容に整合性を持たせることができる。

これにより、例えば、もしも正記憶制御装置１０等に障害が生じ、あるライトデータが副ボリューム５３０Ｂに到着しなかった場合でも、この未着のライトデータよりも後に発行されたライトデータは、副ボリューム５３０Ｂへの反映が許可されない。従って、拡張グループ５５０に属する各副ボリューム５３０Ｂでは、更新の順序が変わったり、一部のライトデータが抜けたりすることがなく、整合性が確保される。従って、副ホスト３２は、整合性の確保されている副ボリューム５３０Ｂを用いて、正ホスト３１の業務処理を引き継ぐことができ、信頼性の高いフェイルオーバを実現することができる。

図１４は、拡張グループ５５０に副ボリュームグループ５４０Ｂを登録するための処理を示すフローチャートである。上述のように、副ボリュームグループ５４０Ｂが拡張グループ５５０に登録された場合、その副ボリュームグループ５４０Ｂに属する副ボリューム５３０Ｂには、「指示による反映処理モード」が適用される。

まず、副ホスト３２の管理部３１２（以下、副ホスト３２）は、マスタ処理部２３０が動作しているマスタ副記憶制御装置２０に、拡張グループ５５０への副ボリュームグループ５４０Ｂの登録を要求する（Ｓ６１）。この登録要求には、例えば、登録先となる拡張グループ５５０の拡張グループＩＤと、その拡張グループ５５０に登録を希望する副ボリュームグループ５４０Ｂを示すボリュームグループＩＤと、その副ボリュームグループ５４０Ｂが設けられている副記憶制御装置２０の記憶制御装置ＩＤとが含まれている。

マスタ処理部２３０は、副ホスト３２からの登録要求を受信すると、指定された副ボリュームグループ５４０Ｂを有する副記憶制御装置２０に、指定された副ボリュームグループ５４０Ｂの拡張グループ５５０への登録を要求する（Ｓ６２）。マスタ処理部２３０から発行される要求には、例えば、副ホスト３２から指定されたボリュームグループＩＤ及び拡張グループＩＤとが含まれる。

マスタ処理部２３０からの要求を受信した副記憶制御装置２０は、マスタ情報Ｔ２６を設定する（Ｓ６３）。即ち、登録対象の副ボリュームグループ５４０Ｂを有する副記憶制御装置２０は、指定されたボリュームグループＩＤに対応するマスタ情報Ｔ２６に、指定された拡張グループＩＤ及びマスタ処理部２３０を有する副記憶制御装置２０の記憶制御装置ＩＤを、それぞれ設定する（Ｓ６３）。

マスタ情報Ｔ２６を設定した副記憶制御装置２０は、拡張グループ５５０に登録された副ボリュームグループ５４０Ｂの処理モードを、「自動反映処理モード」から「指示による反映処理モード」に変更する（Ｓ６４）。処理モードを変更した副記憶制御装置２０は、マスタ副記憶制御装置２０に、登録処理が完了した旨を報告する（Ｓ６５）。

マスタ副記憶制御装置２０は、拡張グループ管理情報Ｔ２７を参照し（Ｓ６６）、Ｓ６３でマスタ情報Ｔ２６に設定された拡張グループＩＤが、拡張グループ管理情報Ｔ２７に登録されているか否かを判定する（Ｓ６７）。

その拡張グループＩＤが拡張グループ管理情報Ｔ２７に登録されていない場合は（S67:NO）、その拡張グループＩＤへの最初の副ボリュームグループ５４０Ｂの登録であることを意味する。そこで、マスタ副記憶制御装置２０は、拡張グループ管理情報Ｔ２７に、新しい拡張グループＩＤと、副記憶制御装置２０の記憶制御装置ＩＤと、副ボリュームグループ５４０ＢのボリュームグループＩＤと、をそれぞれ設定する（Ｓ６８）。また、「ボリュームグループ数」には”１”が設定される。

続いて、マスタ副記憶制御装置２０は、その新設された拡張グループ５５０に属する副ボリュームグループ５４０Ｂについて、上述の調停処理を実行させる（Ｓ６９）。即ち、拡張グループ５５０が新たに設定された場合（S67:NO）、マスタ副記憶制御装置２０は、その拡張グループ５５０に属する各副ボリューム５３０Ｂの記憶内容を整合させる。

これに対し、Ｓ６３でマスタ情報Ｔ２６に設定された拡張グループＩＤが、拡張グループ管理情報Ｔ２７に登録済みの場合（S67:YES）、マスタ副記憶制御装置２０は、その拡張グループＩＤに関する内容を更新する（Ｓ７０）。即ち、マスタ副記憶制御装置２０は、追加された副ボリュームグループ５４０ＢのボリュームグループＩＤと、追加された副ボリュームグループ５４０Ｂを有する副記憶制御装置２０の記憶制御装置ＩＤとを、拡張グループ管理情報Ｔ２７にそれぞれ設定する。また、マスタ副記憶制御装置２０は、「ボリュームグループ数」を１つ増加させる。

マスタ副記憶制御装置２０は、拡張グループ管理情報Ｔ２７の設定変更を完了した後、副ホスト３２に、副ボリュームグループ５４０Ｂの拡張グループ５５０への登録が完了した旨を報告する（Ｓ７１）。これにより、副ホスト３２は、拡張グループ５５０への登録が完了したことを確認する。なお、説明の便宜上、図１４では、マスタ副記憶制御装置２０は、調停処理（Ｓ６９）の後で、副ホスト３２に設定完了を報告するかのように示しているが、拡張グループ管理情報Ｔ２７の設定後に（Ｓ６８）、設定完了を報告する構成でもよい。

図１５は、拡張グループ５５０から副ボリュームグループ５４０Ｂを削除するための処理を示すフローチャートである。

副ホスト３２は、マスタ副記憶制御装置２０に、拡張グループ５５０から副ボリュームグループ５４０Ｂの削除を要求する（Ｓ８１）。この削除要求には、例えば、削除対象の副ボリュームグループ５４０ＢのボリュームグループＩＤと、削除対象の副ボリュームグループ５４０Ｂを有する副記憶制御装置２０の記憶制御装置ＩＤと、削除対象の副ボリュームグループ５４０Ｂが属している拡張グループ５５０の拡張グループＩＤとが、含まれている。

マスタ副記憶制御装置２０は、副ホスト３２からの削除要求を受信すると、記憶制御装置ＩＤで特定された副記憶制御装置２０に、副ボリュームグループ５４０Ｂの拡張グループ５５０からの削除を要求する（Ｓ８２）。この削除要求には、例えば、削除対象の副ボリューム５３０ＢのボリュームグループＩＤと、拡張グループ５５０の拡張グループＩＤとが含まれる。

マスタ副記憶制御装置２０からの削除要求を受信した副記憶制御装置２０は、指定された副ボリュームグループ５４０Ｂに関連付けられているマスタ情報Ｔ２６を、初期化する（Ｓ８３）。続いて、この副記憶制御装置２０は、拡張グループ５５０への登録が解除された副ボリュームグループ５４０Ｂの処理モードを、「指示による反映処理モード」から「自動反映モード」に変更する（Ｓ８４）。処理モードを変更した副記憶制御装置２０は、マスタ副記憶制御装置２０に、拡張グループ５５０からの削除が完了した旨を報告する（Ｓ８５）。

マスタ副記憶制御装置２０は、Ｓ８５で発行された完了報告を受信すると、拡張グループ管理情報Ｔ２７を参照し（Ｓ８６）、副ボリュームグループ５４０Ｂの削除された拡張グループ５５０に設定されている「ボリュームグループ数」が”１”であるか否かを判定する（Ｓ８７）。

その拡張グループ５５０の「ボリュームグループ数」が”２”以上の場合（S87:NO）、マスタ副記憶制御装置２０は、「ボリュームグループ数」の値を１だけ減少させ、また、削除された副ボリュームグループ５４０ＢのボリュームグループＩＤを拡張グループ管理情報Ｔ２７から消去する（Ｓ８８）。

副ボリュームグループ５４０Ｂの削除された拡張グループ５５０に設定されている「ボリュームグループ数」が”１”の場合（S87:YES）、マスタ副記憶制御装置２０は、その拡張グループ５５０に関する拡張グループ管理情報Ｔ２７を初期化する（Ｓ９０）。その拡張グループ５５０には、１つも副ボリュームグループ５４０Ｂが登録されていないためである。そして、マスタ副記憶制御装置２０は、調停処理を停止する（Ｓ９１）。

マスタ副記憶制御装置２０は、拡張グループ５５０から副ボリュームグループ５４０Ｂの削除を完了した旨を、副ホスト３２に通知する（Ｓ８９）。これにより、副ホスト３２は、拡張グループ５５０から副ボリュームグループ５４０Ｂの削除が完了したことを確認する（Ｓ９２）。

ここで、拡張グループ５５０に属する各副ボリュームグループ５４０Ｂについて、記憶内容の整合性が確保される条件について考察する。まず、最初に、形成コピー（初期コピー）に関する条件を検討する。

形成コピーとは、リモートコピーの開始時点において、正ボリューム５３０Ａと副ボリューム５３０Ｂとの差分を一致させるためのコピーである。形成コピーでは、相違箇所のデータを、正ボリューム５３０Ａから副ボリューム５３０Ｂにコピーさせる。

形成コピーは、上述のライトデータのリモートコピーと並行して行うことができる。即ち、正ボリューム５３０Ａと副ボリューム５３０Ｂとの差分を解消させつつ、正ホスト３１から正ボリューム５３０Ａに新たに書き込まれたライトデータを、副ボリューム５３０Ｂに転送してコピーさせることができる。

しかし、形成コピーによって、正ボリューム５３０Ａから副ボリューム５３０Ｂに送信されるデータは、正ボリューム５３０Ａに書き込み済みのデータであり、ライト時刻（正ホスト３１によるライト要求の発行時刻）が付与されていない。従って、形成コピーの実行中は、ライトデータの書込み順序（反映順序）を副記憶制御装置２０側で把握することができないため、データの整合性を確保することができない。

この場合、正副ボリューム間のデータの整合性は、形成コピーの完了時点で、確保されることになる。例えば、形成コピー中の副ボリューム５３０Ｂの状態を「Duplex Pending状態」、形成コピー完了後の副ボリューム５３０Ｂの状態を「Duplex状態」と表現するならば、「Duplex Pending状態」から「Duplex状態」になった時点で、データの整合性が確保される。

但し、形成コピーの完了した副ボリュームグループ５４０Ｂを拡張グループ５５０に登録した場合は、図１５中のＳ６９で述べたように、拡張グループ５５０へ登録された時点から、調停処理が実行される。

従って、副ボリュームグループ５４０Ｂを拡張グループ５５０に登録した時点では、その拡張グループ５５０に属する各副ボリュームグループ５４０Ｂ内の各副ボリューム５３０Ｂは、それぞれ記憶内容が相違しうる。即ち、同一の拡張グループ５５０に属する場合でも、各副ボリューム５３０Ｂの記憶内容が時間的にずれている可能性がある。

このような「ずれ」は、リモートコピー処理の遅れている副ボリュームグループ５４０Ｂが、リモートコピー処理の先行している他の副ボリュームグループ５４０Ｂに追いつくまでの間、継続する。よって、この場合は、下記の式（１）が成立したときに、データの整合性が確保される。

反映可能ライト時刻≧拡張グループに登録された副ボリュームグループの到着済みライト時刻・・・（式１）

つまり、式１は、拡張グループ５５０について指示される反映可能ライト時刻が、拡張グループ５５０に登録された副ボリュームグループ５４０Ｂの最新の到着済みライト時刻と同じかそれよりも後であることを示す。

そこで、副記憶制御装置２０は、式（１）の条件が満たされたか否かを監視し、式（１）の条件が満たされるまでの間、拡張グループ５５０に登録される副ボリューム５３０Ｂの状態を「Duplex Pending状態（形成コピー中）」として扱う。

即ち、副記憶制御装置２０は、拡張グループ５５０へ登録される副ボリュームグループ５４０Ｂの副ボリューム５３０Ｂが、実際には形成コピーを完了している場合（Duplex状態）でも、式（１）の条件が満たされない期間は、その副ボリューム５３０Ｂの状態を「Duplex Pending状態」として扱い、式（１）の条件が満たされた場合に「Duplex状態」とする。これにより、上述の形成コピーに関する条件と合わせて、「Duplex Pending状態」の場合は整合性が確保されておらず、「Duplex状態」の場合は整合性が確保されていると知ることができる。リモートコピーのペアを形成する副記憶制御装置２０及び正記憶制御装置１０は、データの整合性が確保されているか否かの情報を、例えば、正ホスト３１，副ホスト３２，管理サーバ４３等に提供することができる。

本実施例は上述のように構成されるため、複数のリモートコピーが非同期で実行されている場合でも、複数の副ボリューム５３０Ｂの記憶内容を所定の単一時刻（反映可能ライト時刻）の記憶内容に統一させることができる。これにより、それぞれ異なるリモートコピーが適用される複数のボリューム５３０Ｂ間の整合性を維持することができ、使い勝手及び信頼性を向上させることができる。

次に、リモートコピーを停止させる処理について説明する。リモートコピーを停止させる処理は、サスペンド処理とも呼ばれる。リモートコピーを行うシステムでは、リモートコピーの停止させたい場合が存在する。例えば、ストレージシステムの各機器をメンテナンスする場合や、ストレージシステムの構成を変更等する場合である。このような場合、リモートコピーを停止させる必要がある。

本実施例では、上述のように、各副記憶制御装置２０が連携して、リモートコピー処理の実行を協調動作させている。従って、各副記憶制御装置２０が連携してサスペンド処理を行う必要がある。

ここで、サスペンド処理には、コピー停止の指示元（サスペンド指示元）や、サスペンド処理に関する仕様（例えば、処理時間や処理結果の仕様）等によって、幾つかの種類が存在する。サスペンド指示元としては、正ホスト３１と副ホスト３２がある。サスペンド処理に関する仕様には、「フラッシュ」，「パージ」及び「スワップ」等がある。以下、各サスペンドの種類をそれぞれ説明する。

図１６は、正ホスト３１からフラッシュサスペンドを要求された場合のフラッシュサスペンド処理を示すフローチャートである。

正ホスト３１の管理部３１１（以下、正ホスト３１）は、サスペンド種別として「フラッシュ」を指定したサスペンド要求を、正記憶制御装置１０に発行する（Ｓ１０１）。このサスペンド要求には、例えば、サスペンド種別及びサスペンド要求の発行時刻がそれぞれ含まれる。このサスペンド要求は、正ホスト３１からデータ入出力用経路CN１１を介して、サスペンド対象の拡張グループ５５０に対応する正ボリューム５３０Ａを有する正記憶制御装置１０に送信される。

正記憶制御装置１０のマーカ作成部１３０は、マーカを作成して、サスペンド対象の副ボリュームグループ５４０Ｂを有する副記憶制御装置２０に送信する（Ｓ１０２）。即ち、マーカ作成部１３０は、ボリュームグループ管理情報Ｔ２１を参照して新たなシーケンシャル番号を１つ取得して、マーカとして使用されるライトデータ管理情報を生成する。マーカ作成部１３０は、マーカ属性ビットをオンに設定し、マーカ種別に「フラッシュサスペンド」を設定する。上述のように、マーカ属性ビットは、当該ライトデータがマーカであることを示すビットであり、通常のライトデータではオフに設定されるが、マーカの場合はオンに設定される。また、マーカ内のライト時刻には、正ホスト３１がサスペンド要求を発行した時刻が記録される。

マーカ作成部１３０は、ライトデータ受領部１１０と同様に、前回の値を１だけ増加させた新たなシーケンシャル番号を取得してマーカに設定すると共に、この新たに取得されたシーケンシャル番号をボリュームグループ管理情報Ｔ１１に記録する。マーカは、ライトデータ管理情報と同様に構成されて副記憶制御装置２０に送信される。しかし、マーカは、リモートコピーの動作を制御するための制御情報であるから、副ボリューム５３０Ｂに書き込まれることはない。

正記憶制御装置１０は、マーカの作成後に、サスペンド対象の正ボリューム５３０Ａに関するライトデータ管理情報の新規生成を中止し（Ｓ１０３）、これ以後の正ホスト３１による更新を、差分ビットマップＴ１５によって管理する（Ｓ１０４）。即ち、正記憶制御装置１０は、リモートコピーが再開されるまでの間、リモートコピーが停止される正ボリューム５３０Ａへの新たなライト要求を差分ビットマップＴ１５で管理する。

サスペンド対象の副ボリュームグループ５４０Ｂを有する副記憶制御装置２０は、正記憶制御装置１０からのマーカを受信すると（Ｓ１０５）、ライトデータ受領部２１０によってライトデータ管理情報Ｔ２３を作成させる（Ｓ１０６）。マーカに基づいて作成されるライトデータ管理情報Ｔ２３には、ライト時刻（サスペンド要求発行時刻）やマーカ属性ビット及びマーカ種別がそれぞれ記録される。

ライトデータ受領部２１０は、サスペンド対象の副ボリュームグループ５４０Ｂに関する到着済みライト時刻管理情報Ｔ２４について、到着済みライト時刻を更新し、また、マーカ種別及びマーカ時刻をそれぞれ記録する（Ｓ１０７）。到着済みライト時刻は、フラッシュサスペンド要求に設定されたライト時刻で記録される。

上述のように、調停処理では、マスタ処理部２３０は、各副記憶制御装置２０から最新の到着済みライト時刻を収集する（図１２のＳ４１〜Ｓ４４）。サスペンド要求のマーカを受信した副記憶制御装置２０は、マスタ処理部２３０から到着済みライト時刻の問い合わせを受けると、到着済みライト時刻管理情報Ｔ２４に記録されているライト時刻に加えて、マーカ種別及びマーカ時刻をマスタ処理部２３０に通知する（Ｓ１０８）。

マスタ処理部２３０は、副記憶制御装置２０から受信したライト時刻やマーカ種別等をマスタ時刻情報Ｔ２８に記録する（Ｓ１０９）。マスタ処理部２３０は、上述のように、各副記憶制御装置２０から収集した到着済みライト時刻を比較し、最古の到着済み時刻を反映可能ライト時刻として選択する。マスタ処理部２３０は、選択された反映可能ライト時刻及びマーカ種別を、各副記憶制御装置２０にそれぞれ通知する（Ｓ１１０）。

各副記憶制御装置２０は、マスタ処理部２３０から反映可能ライト時刻及びマーカ種別を受信すると、これらの反映可能ライト時刻及びマーカ種別を反映可能ライト時刻管理情報Ｔ２５に記録する（Ｓ１１１）。

各副記憶制御装置２０は、サスペンド対象の副ボリューム５３０Ｂに、反映可能ライト時刻までの各ライトデータを書き込み（Ｓ１１２）、反映可能ライト時刻よりも後のライトデータについては副ボリューム５３０Ｂに書き込まずに、差分ビットマップＴ２９で管理する（Ｓ１１３）。即ち、副記憶制御装置２０は、フラッシュサスペンドが要求された場合、反映可能ライト時刻までのライトデータを副ボリューム５３０Ｂに反映させるが、反映可能ライト時刻よりも後のライトデータについては、副ボリューム５３０Ｂに書き込まず、副ボリューム５３０Ｂの更新箇所を差分ビットマップＴ２９で管理する。差分ビットマップを用いる差分管理方法は、例えば、特開２００４−１３３６７号公報に開示されている。

そして、各副記憶制御装置２０は、サスペンド対象に指定された副ボリュームグループ５４０Ｂ内の各副ボリューム５３０Ｂについて、その状態を「サスペンド状態」に変更し（Ｓ１１４）、副ボリューム５３０Ｂの状態変更が完了した旨を正記憶制御装置１０に通知する（Ｓ１１５）。この状態変更通知は、リモートコピー用経路CN１２を介して、副記憶制御装置２０から正記憶制御装置１０に送信される。

正記憶制御装置１０は、副記憶制御装置２０から前記状態変更通知を受信すると、正ボリューム５３０Ａの状態を「サスペンド状態」に変更する（Ｓ１１６）。正記憶制御装置１０は、サスペンド処理が完了した旨を正ホスト３１に通知する（Ｓ１１７）。これにより、正ホスト３１は、リモートコピーが停止したことを確認する（Ｓ１１８）。

このようなフラッシュサスペンドを行うことにより、フラッシュサスペンド要求の発行時刻以前に更新された各ライトデータを、調停処理の対象となっている各副ボリューム５３０Ｂにそれぞれ反映させた後で、リモートコピーを停止させることができる。フラッシュサスペンド要求の発行後のライトデータは、差分管理される。従って、データの整合性を維持したままで、リモートコピーを停止させることができる。

例えば、正ホスト３１が、ライト要求の発行を停止してから、フラッシュサスペンド要求を発行する場合、正ボリューム５３０Ａの記憶内容と副ボリューム５３０Ｂの記憶内容とを一致させた状態でサスペンド処理を完了することができる。

図１７は、副ホスト３２からフラッシュサスペンド要求を発行する場合の処理を示すフローチャートである。副ホスト３２は、常時は使用されず、正サイトＰｓに障害の生じた場合に使用されるスタンバイ系のホストである。この副ホスト３２からもフラッシュサスペンドを要求することができる。

副ホスト３２の管理部３１２は、データ入出力用経路CN１１を介して、所定の副記憶制御装置２０にフラッシュサスペンド要求を発行する（Ｓ１２１）。所定の副記憶制御装置２０とは、サスペンド対象の拡張グループ５５０に属するいずれかの副ボリュームグループ５４０Ｂを有する副記憶制御装置２０である。ここで、副ホスト３２は、正ホスト３１の使用する時刻情報（基準タイマ）を利用できないため、Ｓ１２１で発行されるフラッシュサスペンド要求には、サスペンド要求の発行時刻は含まれていない。

副ホスト３２からのサスペンド要求を受信した副記憶制御装置２０は、リモートコピー用経路CN１２を介して、サスペンド要求を正記憶制御装置１０に通知する（Ｓ１２２）。正記憶制御装置１０のマーカ作成部１３０は、図１６と共に述べた正ホスト３１からのサスペンド要求に対する処理と同様にマーカを作成し、作成したマーカを副記憶制御装置２０に通知する（Ｓ１２３）。但し、図１６に示すマーカ作成ステップとは異なり、マーカに含まれるライト時刻には、最新ライト時刻管理情報Ｔ１４に記録されているライト時刻が使用される。

以下、図１６に示す処理と同様に、正記憶制御装置１０は、新たなライトデータ管理情報の生成を中止し（Ｓ１２４）、以後の正ホスト３１からの更新を差分ビットマップＴ１５で管理する（Ｓ１２５）。そして、副ボリューム５３０Ｂが「サスペンド状態」に変更された旨を副記憶制御装置２０から受信すると、正記憶制御装置１０は、正ボリューム５３０Ａを「サスペンド状態」に変更する（Ｓ１２６）。正記憶制御装置１０は、副ホスト３２に、サスペンド処理の完了を通知する（Ｓ１２７）。この通知により、副ホスト３２は、サスペンド処理の完了を確認する（Ｓ１２８）。

このように、正ホスト３１からフラッシュサスペンド要求を発行できない場合でも、正記憶制御装置１０で管理されている最新のライト時刻を用いて、副ホスト３２からフラッシュサスペンドを要求することができる。これにより、最新のライト時刻以前の各ライトデータを副ボリューム５３０Ｂに反映させてから、リモートコピーを停止させることができる。

図１８は、パージサスペンド処理を示すフローチャートである。パージサスペンド処理とは、フラッシュサスペンド処理と同様に、整合性を保持してコピーを停止させる処理である。しかし、パージサスペンド処理では、サスペンド要求の発行以前に行われた正ボリューム５３０Ａへの更新について、このライトデータの副ボリューム５３０Ｂへの更新を待たずしてコピー停止を完了させる点で、フラッシュサスペンドと異なる。

正ホスト３１の管理部３１１は、サスペンド種別として「パージ」を指定したサスペンド要求を、データ入出力用経路CN１１を介して、所定の正記憶制御装置１０に発行する（Ｓ１３１）。ここで、所定の正記憶制御装置１０とは、サスペンド対象の拡張グループ５５０に対応する正ボリュームグループ５４０Ａを有する正記憶制御装置１０のいずれかである。

このパージサスペンド要求を受信した正記憶制御装置１０は、リモートコピー用経路CN１２を介して、副記憶制御装置２０に、パージサスペンド要求を受領した旨を通知する（Ｓ１３２）。

なお、副記憶制御装置２０から正記憶制御装置１０へのライトデータの転送要求（ライトデータのリード要求）に応じて、正記憶制御装置１０がライトデータを副記憶制御装置２０に転送する構成も考えられる。この場合、正記憶制御装置１０が、副記憶制御装置２０からの転送要求を拒絶することにより、パージサスペンド要求の受領を副記憶制御装置２０に通知する構成でもよい。または、正記憶制御装置１０から副記憶制御装置２０への前記転送要求の戻り値を用いて、パージサスペンド要求の受領を副記憶制御装置２０に通知する構成でもよい。

パージサスペンド要求の受領を副記憶制御装置２０に通知すると、正記憶制御装置１０は、正ボリュームグループ５４０Ａに関する新たなライトデータ管理情報の生成を停止する（Ｓ１３３）。このライトデータ管理情報の生成停止は、リモートコピーが再開されるまで継続する。正記憶制御装置１０は、これ以後に、正ホスト３１から受領したライト要求について、正ボリューム５３０Ａの更新箇所を差分ビットマップＴ１５によって管理する（Ｓ１３４）。

パージサスペンド要求の受領が通知された副記憶制御装置２０のライトデータ受領部２１０は、到着済みライト時刻管理情報Ｔ２４のマーカ種別に「パージサスペンド」を設定し、また、到着済みライト時刻管理情報Ｔ２４の到着済みライト時刻をマーカ時刻で更新する（Ｓ１３５）。

以後、上述したフラッシュサスペンド処理と同様のステップが実行される（Ｓ１３６〜Ｓ１４６）。即ち、マスタ処理部２３０は、到着済みライト時刻と共にマーカ種別及びマーカ時刻も副記憶制御装置２０から収集し（Ｓ１３６，Ｓ１３７）、最も過去の到着済みライト時刻を反映可能ライト時刻として決定する。マスタ処理部２３０は、反映可能ライト時刻及びマーカ種別を各副記憶制御装置２０に通知する（Ｓ１３８）。

各副記憶制御装置２０は、反映可能ライト時刻管理情報Ｔ２５を更新し（Ｓ１３９）、反映可能ライト時刻までの各ライトデータを副ボリューム５３０Ｂにそれぞれ反映させる（Ｓ１４０）。各副記憶制御装置２０は、反映可能ライト時刻よりも後のライトデータについては、副ボリューム５３０Ｂに反映させず、差分ビットマップＴ２９によって管理する（Ｓ１４１）。

そして、副記憶制御装置２０は、副ボリューム５３０Ｂを「サスペンド状態」に変更し（Ｓ１４２）、この状態変更をリモートコピー用経路CN１２を介して、正記憶制御装置１０に通知する（Ｓ１４３）。

正記憶制御装置１０は、副記憶制御装置２０から副ボリューム５３０Ｂの状態変更が通知されると、正ボリューム５３０Ａを「サスペンド状態」に変更し（Ｓ１４４）、正ホスト３１にパージサスペンド処理の完了を報告する（Ｓ１４５）。これにより、正ホスト３１は、パージサスペンド処理の完了を確認する（Ｓ１４６）。

このようなパージサスペンド処理を行うことにより、単一時刻（反映可能ライト時刻）までの各ライトデータを、拡張グループ５５０に属している各副ボリュームグループ５４０Ｂの副ボリューム５３０Ｂにそれぞれ反映させることができる。そして、前記単一時刻より後のライトデータは、副ボリューム５３０Ｂに反映せずに、コピー処理を停止させることができる。即ちデータの整合性を保持して、リモートコピーを停止させることができる。

なお、マスタ処理部２３０が、Ｓ１３８で、マーカ種別（パージサスペンド）及び反映可能ライト時刻を副記憶制御装置２０に通知するまでの間、パージサスペンド要求受領の通知を受けた副ボリュームグループ５４０Ｂ以外の他の副ボリュームグループ５４０Ｂで、到着済みライト時刻が更新されてしまう可能性がある。

従って、マスタ処理部２３０が各副記憶制御装置２０に反映可能ライト時刻をそれぞれ通知する際に、マスタ処理部２３０に障害等が発生して、一部の副記憶制御装置２０に反映可能ライト時刻及びマーカ種別を通知できなかった場合、復旧後に調停処理を行うだけでは、統一された単一時刻でのコピー停止を実現できない可能性がある。

そこで、本実施例では、Ｓ１３２において、マスタ処理部２３０がパージサスペンドのマーカ種別を検出した時点で、マスタ処理部２３０は、調停処理対象の全副記憶制御装置２０のライトデータ転送停止を指示する。この指示を受けた副記憶制御装置２０は、ライトデータ転送を一旦停止する処理を行う。これにより、マスタ処理部２３０の障害によって、一部の副記憶制御装置２０へ反映可能ライト時刻及びマーカ種別を通知できなかった場合でも、マスタ処理部２３０の復旧後に調停処理をするだけで、統一された単一時刻でリモートコピー処理を停止させることができる。

なお、上述のように、副記憶制御装置２０から正記憶制御装置１０にライトデータの転送を要求する構成の場合、副記憶制御装置２０から正記憶制御装置へのライトデータ転送要求の発行を停止させることにより、正記憶制御装置１０から副記憶制御装置２０へのライトデータの転送を停止させることができる。

また、図１８に示す処理では、パージサスペンド要求受領の通知を受けた副ボリュームグループ５４０Ｂであっても、マスタ処理部２３０から反映可能ライト時刻及びマーカ種別の通知を受けるまでは（Ｓ１３８）、反映処理の停止及び差分管理が行われない（Ｓ１４０，Ｓ１４１）。これに代えて、パージサスペンド要求受領の通知を正記憶制御装置１０から受領した時点で（Ｓ１３２）、反映処理の停止及び差分管理を行うことにより、パージサスペンド処理を短縮することもできる。

図１９は、副ホスト３２からパージサスペンドを要求する場合の処理を示すフローチャートである。副ホスト３２の管理部３１２は、サスペンド種別として「パージ」を指定したサスペンド要求を、データ入出力用経路CN１１を介して、所定の副記憶制御装置２０に通知する（Ｓ１５１）。所定の副記憶制御装置２０とは、サスペンド対象の拡張グループ５５０に属する副ボリュームグループ５４０Ｂを有する副記憶制御装置２０のいずれか１つである。

パージサスペンド要求を受信した副記憶制御装置２０は、このサスペンド要求を、リモートコピー用経路CN１２を介して、正記憶制御装置１０に通知する（Ｓ１５２）。サスペンド要求の通知を受信した正記憶制御装置１０は、副記憶制御装置２０に、リモートコピー用経路CN１２を介して、パージサスペンド要求の受領を通知する（Ｓ１５３）。

続いて、正記憶制御装置１０は、正ボリュームグループ５４０Ａへのライト要求に関するライトデータ管理情報の作成を停止し（Ｓ１５４）、これ以降に正ホスト３１から受領したライト要求については、正ボリューム５３０Ａの更新箇所を差分ビットマップＴ１５で管理する（Ｓ１５５）。

以後の処理は、正ホスト３１から発行されたパージサスペンド要求に関するステップと同様のステップが実行される。正記憶制御装置１０は、副ボリューム５３０Ｂが「サスペンド状態」に変更された旨の通知を副記憶制御装置２０から受信すると、正ボリューム５３０Ａを「サスペンド状態」に変更する（Ｓ１６８）。正記憶制御装置１０は、副ホスト３２に、サスペンド処理が完了した旨を報告する（Ｓ１６９）。これにより、副ホスト３２は、パージサスペンド処理が完了したことを確認する（Ｓ１７０）。

このように、副ホスト３２から発行されるパージサスペンド要求の場合でも、単一時刻以前のライトデータを、拡張グループ５５０に属している各副ボリュームグループ５４０Ｂの各副ボリューム５３０Ｂにそれぞれ反映させて、前記単一時刻より後のライトデータを副ボリューム５３０Ｂに反映せずに、コピー処理を停止させることができる。即ち、データの整合性を保持して、リモートコピーを停止させることができる。

次に、副ホスト３２からの指示に基づいて、スワップサスペンドを行わせる場合の処理を説明する。スワップサスペンド要求は、スタンバイ系の副ホスト３２を使用する際に、副記憶制御装置２０の副ボリューム５３０Ｂに格納されているデータを使用可能にするために発行される。即ち、障害等で停止した正サイトＰｓから副サイトＳｓに業務処理を受け継ぐ際に、副ホスト３２はスワップサスペンド要求を発行する。

副ホスト３２を使用する場合、通常の運用に使用される正ホスト３１を使用できないことも考えられる。そこで、正ホスト３１を使用せずにサスペンド処理を行わせる。また、正ホスト３１の業務処理を副ホスト３２に引き継がせるために、正記憶制御装置１０が受領しているライトデータを、各副ボリューム５３０Ｂに全て反映させる。即ち、正ホスト３１がライト要求の発行を停止している間に、後述のスワップサスペンド処理を行う場合は、サスペンド対象の拡張グループ５５０に対応する正ボリュームグループ５４０Ａについて、正記憶制御装置１０がそれまでに受領したライトデータを、副記憶制御装置２０の副ボリュームグループ５４０Ｂの各副ボリューム５３０Ｂに全て反映させる。

スワップサスペンド処理としては、以下に述べる３つの種類を挙げることができる。そこで、第１のスワップサスペンド処理から第３のスワップサスペンド処理まで、順番にそれぞれ説明する。

図２０は、第１のスワップサスペンド処理を示すフローチャートである。副ホスト３２の管理部３１２は、所定の正ボリュームグループ５４０Ａに関する最新のライト時刻を正記憶制御装置１０からそれぞれ収集し、収集した各ライト時刻の中から最も新しいライト時刻（時間的に最も進んだライト時刻）を１つ取得する（Ｓ１６１）。

所定の正ボリュームグループ５４０Ａとは、サスペンド対象の拡張グループ５５０にソースとして対応するボリュームグループ５４０Ａである。また、副ホスト３２は、複数の経路を介して、正記憶制御装置１０から最新のライト時刻を収集できる。第１の収集経路として、副ホスト３２は、副サイトＳｓ内のデータ入出力用経路CN１１と副記憶制御装置２０及びリモートコピー用経路CN１２を介して、各正記憶制御装置１０から最新のライト時刻を収集できる。また、第２の収集経路として、副ホスト３２は、管理用ネットワークCN１４と正ホスト３１及び正サイトＰｓ内のデータ入出力用経路CN１１を介して、正記憶制御装置１０から最新のライト時刻を収集可能である。

副ホスト３２は、所定の副記憶制御装置２０に、スワップサスペンドを要求する（Ｓ１６２）。所定の副記憶制御装置２０とは、サスペンド対象の拡張グループ５５０に属する副ボリュームグループ５４０Ｂを有するいずれか１つの副記憶制御装置２０である。Ｓ１６２で発行されるスワップサスペンド要求には、Ｓ１６１で取得された最新のライト時刻が含まれており、サスペンド種別には「スワップ」が設定されている。このスワップサスペンド要求は、副サイトＳｓ内のデータ入出力用経路CN１１を介して、前記所定の副記憶制御装置２０に送信される。

スワップサスペンド要求を受信した副記憶制御装置２０は、リモートコピー用経路CN１２を介して、スワップサスペンド要求を正記憶制御装置１０に通知する（Ｓ１６３）。スワップサスペンド要求を受信した正記憶制御装置１０のマーカ作成部１３０は、前記サスペンド要求に設定されている最新のライト時刻と、最新ライト時刻管理情報Ｔ１４に記録されているライト時刻とを比較して、最新ライト時刻管理情報Ｔ１４に記録されるライト時刻を更新させる（Ｓ１６４）。即ち、マーカ作成部１３０は、スワップサスペンド要求に設定されているライト時刻と、最新ライト時刻管理情報Ｔ１４に記録されているライト時刻とのうち、いずれか新しい方のライト時刻を選択し、この選択したライト時刻で、最新ライト時刻管理情報Ｔ１４のライト時刻を更新する。

そして、マーカ作成部１３０は、上述した副ホスト３２から発行されたフラッシュサスペンド要求の場合の処理と同様にマーカを作成し、作成したマーカを副記憶制御装置２０に送信する（Ｓ１６５）。即ち、マーカ作成部１３０は、Ｓ１６４で選択されたライト時刻をマーカに設定する。このマーカに設定されるマーカ種別は、「スワップサスペンド」である。

以後の処理は、上述の正ホスト３１から発行されたフラッシュサスペンド要求に対する処理と同様である（Ｓ１６６〜Ｓ１７０）。即ち、正記憶制御装置１０は、正ボリューム５３０Ａに関するライトデータ管理情報の生成を停止し（Ｓ１６６）、差分ビットマップＴ１５による差分管理を開始する（Ｓ１６７）。そして、正記憶制御装置１０は、副ボリューム５３０Ｂが「サスペンド状態」に変更された旨の通知を副記憶制御装置２０から受信すると、正ボリューム５３０Ａを「サスペンド状態」に変更し（Ｓ１６８）、スワップサスペンドの完了を副ホスト３２に通知する（Ｓ１６９）。これにより、副ホスト３２は、スワップサスペンド処理の完了を確認する（Ｓ１７０）。

図２１は、第２のスワップサスペンド処理を示すフローチャートである。副ホスト３２の管理部３１２は、サスペンド種別として「スワップ」を指定したサスペンド要求を、所定の副記憶制御装置２０に発行する（Ｓ１８１）。上記同様に、所定の副記憶制御装置２０とは、サスペンド対象の拡張グループ５５０に属する副ボリュームグループ５４０Ｂを有する副記憶制御装置２０のうちいずれか１つの副記憶制御装置である。また、副ホスト３２は、正ホスト３１が使用している時計を利用することができないため、スワップサスペンド要求には、その発行時刻が設定されない。

スワップサスペンド要求を受領した副記憶制御装置２０は、サスペンド対象の副ボリュームグループ５４０Ｂに関する到着済みライト時刻管理情報Ｔ２４内のマーカ種別に「スワップサスペンド要求受領」を設定する（Ｓ１８２）。

調停処理のために、マスタ処理部２３０が副記憶制御装置２０に到着済みライト時刻を問い合わせた場合、スワップサスペンド要求を受領した副記憶制御装置２０は、到着済みライト時刻とマーカ種別及びマーカ時刻を、マスタ処理部２３０にそれぞれ通知する（Ｓ１８３）。マスタ処理部２３０は、サスペンド対象の拡張グループ５５０に関係する各副記憶制御装置２０に、スワップサスペンド要求をそれぞれ通知する（Ｓ１８４）。

マスタ処理部２３０からスワップサスペンド要求を通知された副記憶制御装置２０は、正記憶制御装置１０に、スワップサスペンド要求を通知する（Ｓ１８５）。スワップサスペンド要求を受信した正記憶制御装置１０のマーカ作成部１３０は、上述の副ホスト３２からのフラッシュサスペンド要求に対する処理と同様に、マーカを作成する。このマーカは、副記憶制御装置２０に送信される（Ｓ１８６）。

即ち、マーカ作成部１３０は、最新ライト時刻管理情報Ｔ１４に記録されているライト時刻をマーカに設定し、マーカ種別に「スワップサスペンド」を設定する。ここで、正記憶制御装置１０は、マーカ作成時点では、正ボリュームグループ５４０Ａに関するライトデータ管理情報の作成を停止させず、また、差分ビットマップＴ１５による差分管理も行わない。

正記憶制御装置１０からスワップサスペンドを要求するマーカを受信した副記憶制御装置２０は（Ｓ１８７）、再びマスタ処理部２３０から到着済みライト時刻の問合せを受ける。副記憶制御装置２０は、到着済みライト時刻、マーカ種別及びマーカ時刻を、マスタ処理部２３０に通知する（Ｓ１８８）。

マスタ処理部２３０は、副記憶制御装置２０から受信した到着済みライト時刻とマーカ種別及びマーカ時刻を、マスタ時刻情報Ｔ２８にそれぞれ記録する（Ｓ１８９）。マスタ処理部２３０は、サスペンド対象の拡張グループ５５０に属する全ての副ボリュームグループ５４０Ｂについて、マスタ時刻情報Ｔ２８のマーカ種別に「スワップサスペンド」が設定され、かつ、マーカ時刻が設定されると、各副ボリュームグループ５４０Ｂのマーカ時刻を比較し、最も新しいマーカ時刻を１つ検出する（Ｓ１９０）。

マスタ処理部２３０は、マスタ時刻情報Ｔ２８を用いて到着済みライト時刻を比較し、この中で最も過去の到着済みライト時刻を求める。ここで、求めた到着済みライト時刻よりもＳ１９０で検出された最新のマーカ時刻の方が、過去であるか、または同じである場合、マスタ処理部２３０は、前記検出されたマーカ時刻を反映可能ライト時刻として選択する（Ｓ１９１）。マスタ処理部２３０は、この反映可能ライト時刻及びマーカ種別（スワップサスペンド）を、各副記憶制御装置２０に通知する（Ｓ１９２）。

以後の処理は、上述のフラッシュサスペンド要求の処理と同様である（Ｓ１９３〜Ｓ１９９）。即ち、反映可能ライト時刻及びマーカ種別の前記通知を受けた副記憶制御装置２０は、反映可能ライト時刻管理情報Ｔ２５の反映可能ライト時刻を更新し（Ｓ１９３）、反映可能ライト時刻までのライトデータを副ボリューム５３０Ｂに反映させる（Ｓ１９４）。

そして、副記憶制御装置２０は、反映可能ライト時刻よりも後のライトデータについては、副ボリューム５３０Ｂに書き込まず、差分ビットマップＴ２９によって管理する（Ｓ１９５）。そして、副記憶制御装置２０は、副ボリューム５３０Ｂを「サスペンド状態（リード／ライト共に可能）」に変更する（Ｓ１９６）。

副記憶制御装置２０は、副ボリューム５３０Ｂの状態変更を、リモートコピー用経路CN１２を介して、正記憶制御装置１０に通知する（Ｓ１９７）。この通知を受けた正記憶制御装置１０は、正ボリュームグループ５４０Ａに関するライトデータ管理情報の作成を停止し（Ｓ１９８）、これ以降に生じたライト要求については、差分ビットマップＴ１５で管理する（Ｓ１９９）。

図２２は、第３のスワップサスペンド処理を示すフローチャートである。

副ホスト３２の管理部３１２は、サスペンド種別として「スワップ」を設定したサスペンド要求を、データ入出力用経路CN１１を介して、サスペンド対象の拡張グループ５５０に属する副ボリュームグループ５４０Ｂを有する副記憶制御装置２０のいずれか１つに発行する（Ｓ２０１）。但し、副ホスト３２は、スワップサスペンド要求に、発行時刻を設定しない。

副ホスト３２からのサスペンド要求を受領した副記憶制御装置２０は、副ボリュームグループ５４０Ｂに関する到着済みライト時刻管理情報Ｔ２４のマーカ種別に「スワップサスペンド要求受領」を設定する（Ｓ２０２）。副記憶制御装置２０は、マスタ処理部２３０から到着済みライト時刻の問い合わせを受けた場合、到着済みライト時刻とマーカ種別及びマーカ時刻をマスタ処理部２３０に通知する（Ｓ２０３）。

マスタ処理部２３０は、サスペンド対象の拡張グループ５５０に関係する各副記憶制御装置２０に、スワップサスペンド要求を通知する（Ｓ２０４）。このサスペンド要求を受信した副記憶制御装置２０は、コピー元である正ボリュームグループ５４０Ａについて、未転送のライトデータが存在しているか否かを、正記憶制御装置１０に問い合わせる（Ｓ２０５）。この問合せは、定期的にまたは不定期に行うことができる。

副記憶制御装置２０は、正ボリュームグループ５４０Ａの未転送シーケンシャル番号等に基づいて未転送または未到着のライトデータが存在していないことを検出した時点で、副ボリュームグループ５４０Ｂについての到着済みライト時刻管理情報Ｔ２４の到着済みライト時刻をマーカ時刻に記録し、マーカ種別に「スワップサスペンド」を設定する（Ｓ２０６）。

上記同様に、調停処理において、これらの到着済みライト時刻及びマーカ種別等は、マスタ処理部２３０に通知される（Ｓ２０７）。マスタ処理部２３０は、到着済みライト時刻を反映可能ライト時刻として選択し（Ｓ２０８）、反映可能ライト時刻及びマーカ種別を各副記憶制御装置２０に通知する（Ｓ２０９）。

この通知を受けた副記憶制御装置２０は、反映可能ライト時刻管理情報Ｔ２５を更新し（Ｓ２１０）、前記同様の処理を行う（Ｓ２１１〜Ｓ２１４）。

即ち、副記憶制御装置２０は、反映可能ライト時刻までのライトデータを副ボリューム５３０Ｂに順番に書込む（Ｓ２１１）。副記憶制御装置２０は、反映可能ライト時刻より後のライトデータを副ボリューム５３０Ｂに書き込まず、差分ビットマップＴ２９で更新箇所を管理する（Ｓ２１２）。

さらに、副記憶制御装置２０は、副ボリューム５３０Ｂを「サスペンド状態（リード／ライト共に可能）」に変更し（Ｓ２１３）、この状態変更を正記憶制御装置１０に通知する（Ｓ２１４）。

副ボリューム５３０Ｂの状態変更通知を受信した正記憶制御装置１０は、正ボリュームグループ５４０Ａについてのライト要求に対するライトデータ管理情報の作成を停止する（Ｓ２１５）。正記憶制御装置１０は、ライトデータ管理情報の作成を停止した後に受領したライト要求については、正ボリューム５３０Ａの更新箇所を、差分ビットマップＴ１５で管理する（Ｓ２１６）。

上記のように処理することによって、サスペンド対象の拡張グループ５５０に対応する正ボリュームグループ５４０Ａについて、正記憶制御装置１０がそれまでに受領した全てのライトデータを、副ボリュームグループ５４０Ｂの副ボリューム５３０Ｂに全て反映させて、リモートコピー処理を停止させることができる。このサスペンド処理に、正ホスト３１は使用されない。

なお、上述した各サスペンド処理では、副記憶制御装置２０からマスタ処理部２３０へのマーカに関する情報の報告や、マスタ処理部２３０から副記憶制御装置２０への通知は調停処理とと共に行うものとして述べた。しかし、これに限らず、マーカに関する報告やマスタ処理部２３０から副記憶制御装置２０への通知を、調停処理とは別の独立した通信で行う構成でもよい。

また、上記の各サスペンド処理において、サスペンド要求のパラメータとして、拡張グループＩＤを明示的に指定することにより、サスペンド対象の拡張グループ５５０を指定することもできるし、または、拡張グループ５５０に属する副ボリュームグループ５４０Ｂまたは副ボリューム５３０Ｂのいずれかを指定することにより、これらが属する拡張グループ５５０に対してサスペンド処理が引き起こされる構成でもよい。

次に、図２３は、障害等のサスペンド要因を自動的に検出してサスペンド処理を行う場合の処理を示すフローチャートである。

上述の各種サスペンド処理は、正ホスト３１または副ホスト３２のいずれかから発行されたサスペンド要求に基づいて、実行される。しかし、各ホスト３１，３２からの明示の指示に基づく場合以外に、他の要因で、サスペンド処理を行う必要もある。

例えば、リモートコピー用経路CN１２等の障害により、リモートコピー処理を継続できない場合は、自動的にサスペンド処理を行う必要がある。また、上述した第３のスワップサスペンド処理において、未転送または未到着のライトデータが存在していないことを、一定時間（この時間は、ユーザが設定可能である）内に検出できなかった場合、やはり、自動的にリモートコピー処理を停止させる必要がある。

そこで、図２３の処理では、サスペンド要因を検出した場合に、自動的にサスペンド処理を実行させる。まず、正記憶制御装置１０または副記憶制御装置２０のいずれかでサスペンド要因が検出される。正記憶制御装置１０がサスペンド要因を検出した場合（S221:YES）、リモートコピー用経路CN１２を介して、サスペンド要因の検出が副記憶制御装置２０に通知される（Ｓ２２２）。

サスペンド要因を通知する方法は、正ホスト３１から発行されたパージサスペンド要求についての処理におけるサスペンド要求受領の通知方法と同様である。サスペンド要因を検出した副記憶制御装置２０、または、サスペンド要因の通知を受けた副記憶制御装置２０は、到着済みライト時刻管理情報Ｔ２４内のマーカ種別に「障害サスペンド」（または、スワップサスペンドの処理中であれば「スワップサスペンド」）を設定する。また、副記憶制御装置２０は、到着済みライト時刻管理情報Ｔ２４に記録されている到着済みライト時刻を、マーカ時刻に記録する（Ｓ２２３）。

以後の処理は、上述のパージサスペンド処理と同様である（Ｓ２２４〜Ｓ２３５）。即ち、マスタ処理部２３０は、到着済みライト時刻とマーカ種別及びマーカ時刻を副記憶制御装置２０から収集する（Ｓ２２４，Ｓ２２５）。マスタ処理部２３０は、最も過去の到着済みライト時刻を反映可能ライト時刻として決定し、反映可能ライト時刻及びマーカ種別を各副記憶制御装置２０にそれぞれ通知する（Ｓ２２６）。

副記憶制御装置２０は、反映可能ライト時刻管理情報Ｔ２５内の反映可能ライト時刻を更新する（Ｓ２２７）。そして、副記憶制御装置２０は、反映可能ライト時刻までのライトデータを順番に副ボリューム５３０Ｂに書込む（Ｓ２２８）。副記憶制御装置２０は、反映可能ライト時刻より後のライトデータを副ボリューム５３０Ｂに書き込まず、差分ビットマップＴ２９で差分を管理する（Ｓ２２９）。

副記憶制御装置２０は、副ボリューム５３０Ｂを「サスペンド状態」に変更する（Ｓ２３０）。但し、スワップサスペンドの場合は、副記憶制御装置２０は、副ボリューム５３０Ｂを「サスペンド状態（リード／ライト共に可能）」に変更する。この副ボリューム５３０Ｂの状態変更は、正記憶制御装置１０に通知される。（Ｓ２３１）。

正記憶制御装置１０は、副ボリューム５３０Ｂの状態変更通知を受信した場合、正ボリューム５３０Ａに関するライトデータ管理情報の作成を停止し（Ｓ２３２）、以後に発行されるライト要求を差分ビットマップＴ１５で管理する（Ｓ２３３）。そして、正記憶制御装置１０は、正ボリューム５３０Ａを「サスペンド状態」に変更し（Ｓ２３４）、サスペンド処理の完了を外部に通知する（Ｓ２３５）。

上記の処理により、単一時刻以前に各副記憶制御装置２０に到着している各ライトデータを、拡張グループ５５０に属している各副ボリュームグループ５４０Ｂの副ボリューム５３０Ｂにそれぞれ反映させて、前記単一時刻より後のライトデータを反映させずに、リモートコピー処理を停止させることができる。即ち、整合性を保持してサスペンドすることができる。

なお、サスペンド状態から回復させる場合、必要ならば、サスペンド要因を取り除き、各副ボリュームグループ５４０Ｂについてリモートコピーの再開を指示する。リモートコピー再開の指示により、形成コピー処理が行われ、前記副ボリュームグループ５４０Ｂに属している副ボリューム５３０Ｂの状態が回復する。

なお、上述した自動サスペンド処理では、拡張グループ５５０に属している全ての副ボリュームグループ５４０Ｂの副ボリューム５３０Ｂについて、リモートコピー処理を停止している。これに代えて、障害によりリモートコピー処理を継続できない副ボリュームグループ５４０Ｂまたは副ボリューム５３０Ｂについてのみ、リモートコピー処理を停止する構成でもよい。この場合、リモートコピー処理を継続可能な他の副ボリュームグループ５４０Ｂについては、リモートコピーを続行することも可能である。これは例えば、マスタ処理部２３０が、障害発生に係る副ボリュームグループ５４０Ｂについてのみ、マーカ種別の通知を行い、以降の調停処理の対象から、障害発生に係る副ボリュームグループ５４０Ｂを除外することにより実現可能である。このように処理することによって、正常な他の副ボリュームグループ５４０Ｂではリモートコピーを継続させることができ、差分ビットマップＴ２９の使用量を削減することができる。この結果、リモートコピー処理を再開するときの形成コピーの量及び形成コピーに要する時間を削減できる。

また、上述の自動サスペンド処理では、マスタ処理部２３０と副記憶制御装置２０との間の通知や指示において、マーカ種別を通知内容や指示内容として用いる。これに代えて、例えば「サスペンド処理指示」等の別種の通知や指示を用いてもよい。

なお、本発明は、上述した実施の形態に限定されない。当業者であれば、本発明の範囲内で、種々の追加や変更等を行うことができる。例えば、各実施例を適宜組み合わせることができる。

また、正ホスト３１に管理部３１１を、副ホスト３２に管理部３１２を、それぞれ設ける場合を述べたが、これに限らず、正記憶制御装置１０，副記憶制御装置２０や管理端末４１，４２、管理サーバ４３に管理部を設ける構成でもよい。

また、マスタ処理部２３０は、いずれか１つの副記憶制御装置２０に設ける場合を説明したが、これに限らず、例えば、各ホスト３１，３２、正記憶制御装置１０、管理端末４２，管理サーバ４３等に、調停処理を行うためのマスタ処理部を設けてもよい。さらに、各副記憶制御装置２０にそれぞれマスタ処理部を予め設けておき、いずれか１つまたは複数のマスタ処理部を自動的にまたは手動操作で選択して起動させる構成でもよい。

また、ライト要求時に正ホスト３１がライトデータに付与するライト時刻を用いて、反映の順序を制御する場合を述べたが、これに代えて、シーケンシャル番号のみで反映順序を制御することも可能である。例えば、各記憶制御装置１０，２０が、ライトデータやサスペンド要求を受領するたびに、抜けのない連続した番号を設定することにより、ライトデータ同士の先後関係を把握できる。番号は、正サイトＰｓ及び副サイトＳｓにおいて、共通に使用される連続番号であればよい。

さらに、各記憶制御装置１０，２０は、それぞれディスクドライブ５２１を内蔵する場合を述べたが、これに限らず、外部の記憶資源を利用する構成でもよい。即ち、正記憶制御装置１０，副記憶制御装置２０の少なくともいずれか一方は、自分自身の筐体の外部に存在する記憶デバイスを、あたかも自分自身の内蔵記憶デバイスであるかのように利用することもできる。例えば、仮想的な中間デバイスを記憶制御装置１０，２０内に設け、この中間記憶デバイスに、外部の別の筐体内に設けられている論理ボリュームをマッピングすることにより、外部の記憶デバイスを自己の内蔵記憶デバイスであるかのようにして利用することができる。

本発明の全体概念を示す説明図である。 実施形態のストレージシステムの全体を示す説明図である。 ホスト及び記憶制御装置のハードウェア構成を示す説明図である。 ホスト及び各記憶制御装置のソフトウェア構成を示す説明図である。 複数の論理ボリュームをグループ化してリモートコピーを行う様子を模式的に示す説明図である。 ボリュームグループ管理情報及び相手方ボリューム情報の構成を示す説明図である。 ライトデータ管理情報及び最新ライト時刻管理情報の構成を示す説明図である。 拡張グループ管理情報及びマスタ情報の構成を示す説明図である。 到着済みライト時刻管理情報とマスタ時刻情報及び反映可能ライト時刻管理情報の構成を示す説明図である。 ライト要求の処理方法を示すフローチャートである。 リモートコピー処理（ライトデータ転送処理）を示すフローチャートである。 各副ボリュームの反映時期を制御するための調停処理を示すフローチャートである。 副ボリュームにライトデータを書き込んで反映させるための処理を示すフローチャートである。 調停処理の対象となる拡張グループにボリュームを登録するための処理を示すフローチャートである。 拡張グループからボリュームを削除するための処理を示すフローチャートである。 第２実施例に係るストレージシステムで実行されるフラッシュサスペンド処理を示すフローチャートである。 副ホストからの指示によってフラッシュサスペンド処理を実行させる場合のフローチャートである。 第３実施例に係るストレージシステムで実行されるパージサスペンド処理を示すフローチャートである。 副ホストからの指示によってパージサスペンド処理を実行させる場合のフローチャートである。 第４実施例に係るストレージシステムで実行される第１スワップサスペンド処理を示すフローチャートである。 第２スワップサスペンド処理を示すフローチャートである。 第３スワップサスペンド処理を示すフローチャートである。 障害等のサスペンド要因を検出した場合に自動的に実行されるサスペンド処理を示すフローチャートである。

符号の説明

１…正記憶制御装置、１Ａ…第１ボリューム、１Ｂ…ライトデータ転送部、２…副記憶制御装置、２Ａ…第２ボリューム、２Ｂ…ライトデータ記憶部、２Ｃ…更新部、２Ｄ…更新順序情報管理部、３…更新制御部、３Ａ…更新順序情報収集部、３Ｂ…更新可能時点決定部、３Ｃ…更新指示部、Ｄ１…ライトデータ、Ｄ２…更新順序情報、Ｈ１…正ホスト、Ｈ２…副ホスト、１０…正記憶制御装置、２０…副記憶制御装置、３１…正ホスト、３２…副ホスト、４１，４２…管理端末、４３…管理サーバ、CN１１…データ入出力用経路、CN１２…リモートコピー用経路、CN１３…更新制御用経路、ＣＮ１４…管理用ネットワーク、Ｐｓ…正サイト、Ｓｓ…副サイト、
１１０…ライトデータ受領部、１２０…ライトデータ転送部、１３０…マーカ作成部、２１０…ライトデータ受領部、２２０…ライトデータ反映部、２３０…マスタ処理部、３１１，３１２…管理部、３２１，３２２…オペレーティングシステム（OS）、３３１，３３２…アプリケーションプログラム、５１０…コントローラ、５１１…チャネルアダプタ（CHA）、５１２…ディスクアダプタ（DKA）、５１３…キャッシュメモリ、５１４…共有メモリ、５１５，５１６…接続部、５１７…サービスプロセッサ（SVP）、５２１…ディスクドライブ、５３０Ａ…正ボリューム、５３０Ｂ…副ボリューム、５３１Ａ，５３１Ｂ…ジャーナルボリューム、５４０…副ボリュームグループ、５４０Ａ…正ボリュームグループ、５４０Ｂ…副ボリュームグループ、５５０…拡張グループ、Ｔ１１…ボリュームグループ管理情報、Ｔ１２…相手方ボリューム情報、Ｔ１３…ライトデータ管理情報、Ｔ１４…最新ライト時刻管理情報、Ｔ１５…差分ビットマップ、Ｔ２１…ボリュームグループ管理情報、Ｔ２１…ボリュームグループ管理情報、Ｔ２２…相手方ボリューム情報、Ｔ２３…ライトデータ管理情報、Ｔ２４…到着済みライト時刻管理情報、Ｔ２５…反映可能ライト時刻管理情報、Ｔ２６…マスタ情報、Ｔ２７…拡張グループ管理情報、Ｔ２８…マスタ時刻情報、Ｔ２９…差分ビットマップ

Claims (19)

1. 複数の記憶制御装置間でデータをコピーさせるストレージシステムであって、
   複数の第１記憶制御装置と、これら各第１記憶制御装置にそれぞれ接続される複数の第２記憶制御装置とを備え、
   前記各第１記憶制御装置は、
   上位装置により入出力されるデータを記憶するための第１論理ボリュームと、
   前記上位装置による前記第１論理ボリュームへのデータ更新を、更新データと該更新データの更新順序を指示するための更新順序情報とを対応付けて前記第２記憶制御装置に送信することにより通知する更新通知部と、
   をそれぞれ備えており、
   前記各第２記憶制御装置は、互いに接続されており、かつ、
   前記第１論理ボリュームに対応付けられ、前記第１論理ボリュームに記憶されるデータのコピーが記憶される第２論理ボリュームと、
   前記更新通知部から受信した前記更新データを記憶する更新データ記憶部と、
   前記更新通知部から受信した前記更新順序情報を管理する更新順序情報管理部と、
   前記更新順序情報に基づいて、前記更新データ記憶部に記憶された前記更新データを前記第２論理ボリュームに順番に書き込むことにより、前記第２論理ボリュームに記憶されるデータを更新させる更新部と、
   をそれぞれ備えており、
   さらに、所定の通知を受けた場合には、前記各更新順序情報管理部から前記各更新順序情報をそれぞれ収集して、これら収集された各更新順序情報に基づいて前記各第２論理ボリュームを更新可能な時点を決定し、この決定された更新可能時点を前記各更新部にそれぞれ通知することにより、前記各更新部によって前記各第２論理ボリュームに記憶されるデータを前記更新可能時点までそれぞれ更新させる更新制御部を備えているストレージシステム。
2. 前記各更新部は、前記第１論理ボリュームにおける更新順序と同一の順序で、前記通知された更新可能時点まで、前記第２論理ボリュームに記憶されるデータを更新させる請求項１に記載のストレージシステム。
3. 前記所定の通知は、複数の前記第２論理ボリュームからなるボリュームグループの登録指示である請求項１に記載のストレージシステム。
4. 前記所定の通知は、サスペンド要因の検出通知である請求項１に記載のストレージシステム。
5. 前記所定の通知は、サスペンド要因の検出通知であり、
   前記更新制御部は、前記サスペンド要因の検出通知を受けた場合に、前記各更新順序情報管理部からそれぞれ収集される前記各更新順序情報に基づいて前記各第２論理ボリュームを更新可能な時点を決定し、この決定された更新可能時点を前記各更新部にそれぞれ通知することにより、前記各更新部によって前記各第２論理ボリュームに記憶されるデータを前記更新可能時点までそれぞれ更新させ、
   前記各第２記憶制御装置は、前記各第２論理ボリュームのうち前記サスペンド要因の検出通知に関わる第２論理ボリュームについて、前記第１論理ボリュームのデータのコピーを記憶させるコピー処理を停止させる請求項１に記載のストレージシステム。
6. 前記サスペンド要因は、障害が検出された場合である請求項４または請求項５のいずれかに記載のストレージシステム。
7. 前記各第１記憶制御装置内では、１つまたは複数の前記第１論理ボリュームによって第１ボリュームグループがそれぞれ形成されており、
   前記各第２記憶制御装置内では、１つまたは複数の前記第２論理ボリュームによって第２ボリュームグループがそれぞれ形成されており、
   前記各第１ボリュームグループと前記各第２ボリュームグループとが対応付けられており、
   前記更新制御部は、前記第２ボリュームグループ毎に前記更新可能時点をそれぞれ決定し、この決定された更新可能時点を前記第２ボリュームグループに関する前記各更新部にそれぞれ通知する請求項１に記載のストレージシステム。
8. 前記複数の第２ボリュームグループから少なくとも１つ以上の拡張ボリュームグループが形成されており、
   前記更新制御部は、前記拡張グループ毎に前記更新可能時点を決定し、この決定された更新可能時点を前記拡張グループに属する前記各第２ボリュームグループにそれぞれ通知する請求項７に記載のストレージシステム。
9. 前記更新制御部は、前記第２論理ボリュームを少なくとも１つ以上含むボリュームグループの形成が指示された場合に、このボリュームグループについて前記更新可能時点を決定し、この決定された更新可能時点を前記ボリュームグループに属する前記第２論理ボリュームに関する前記更新部にそれぞれ通知する請求項１に記載のストレージシステム。
10. 前記更新制御部は、前記各第２記憶制御装置に受信されて前記各更新順序情報管理部によりそれぞれ管理されている最新の前記各更新順序情報のうち、最も古い前記更新順序情報に基づいて、前記更新可能時点を決定する請求項１に記載のストレージシステム。
11. 前記更新順序情報には、前記上位装置による更新要求の発行時刻が含まれている請求項１に記載のストレージシステム。
12. 前記更新順序情報には、前記上位装置による更新要求の発行時刻及び前記更新要求の発行順序が含まれている請求項１に記載のストレージシステム。
13. 前記更新制御部は、サスペンド要因が検出された場合に前記更新可能時点を決定して、この決定された更新可能時点及び更新停止の要求を前記各更新部にそれぞれ通知し、
    前記各更新部は、前記各第２論理ボリュームに記憶されるデータを前記更新可能時点までそれぞれ更新させた後、前記各第２論理ボリュームへの更新を停止させる請求項１に記載のストレージシステム。
14. 前記各第１記憶制御装置から前記各第２記憶制御装置に前記更新データ及び前記更新順序情報を転送することができない障害の発生が検出された場合に、前記サスペンド要因の検出であると判断される請求項１３に記載のストレージシステム。
15. 前記更新制御部は、前記各第２論理ボリュームのうち前記障害に係る所定の第２論理ボリュームについてのみ、前記更新可能時点を決定して、この決定された更新可能時点及び更新停止の要求を前記所定の第２論理ボリュームに係る前記更新部に通知する請求項１４に記載のストレージシステム。
16. 前記更新制御部は、前記各第２記憶制御装置の少なくともいずれか１つに設けられている請求項１に記載のストレージシステム。
17. 複数の第１記憶制御装置と該各第１記憶制御装置にそれぞれ接続される複数の第２記憶制御装置とを備えたストレージシステムにおいて、前記各第１記憶制御装置から前記各第２記憶制御装置へデータをそれぞれ転送してコピーさせるリモートコピー制御方法であって、
    前記各第１記憶制御装置がそれぞれ備える第１論理ボリュームと前記各第２記憶制御装置がそれぞれ備える第２論理ボリュームとを対応付けることにより、リモートコピーのペアを形成するステップと、
    上位装置から前記第１論理ボリュームに対する更新要求を受信するステップと、
    前記更新要求に係る更新データを前記第１論理ボリュームに書き込んで、前記第１論理ボリュームに記憶されるデータを更新させるステップと、
    前記更新データと該更新データの更新順序を指示するための更新順序情報とを対応付けて、前記各第１記憶制御装置から前記各第２記憶制御装置に転送させるステップと、
    前記更新順序情報に基づいて、前記第２論理ボリュームに前記更新データを順番に書き込み、前記第２論理ボリュームに記憶されるデータを更新させるステップと、
    前記各第２記憶制御装置から前記各更新順序情報をそれぞれ収集するステップと、
    所定の通知を受けた場合に、前記収集された各更新順序情報に基づいて、前記各第２論理ボリュームを更新可能な時点を決定するステップと、
    前記決定された更新可能時点を前記各第２記憶制御装置にそれぞれ通知し、前記各第２論理ボリュームに記憶されているデータを前記更新可能時点までそれぞれ更新させる同期ステップと、
    を実行するストレージシステムのリモートコピー制御方法。
18. さらに、前記各第１記憶制御装置から前記各第２記憶制御装置への前記更新データ及び前記更新順序情報を転送することができない障害が検出された場合に、前記各更新順序情報に基づいて前記更新可能時点を決定し、この決定された更新可能時点及びリモートコピーの停止要求を前記各第２記憶制御装置にそれぞれ通知し、前記各第２論理ボリュームに記憶されるデータを前記更新可能時点までそれぞれ更新させてから、前記各第１論理ボリュームから前記各第２論理ボリュームへのリモートコピー処理を停止させるステップを実行する請求項１７に記載のストレージシステムのリモートコピー制御方法。
19. 複数の記憶制御装置間でデータをコピーさせるストレージシステムであって、
    第１サイト及び第２サイトを備え、
    前記第１サイトは、
    それぞれ複数の第１論理ボリュームを有する複数の第１記憶制御装置と、
    前記各第１記憶制御装置に接続され、前記各第１論理ボリュームにデータを入出力する上位装置と、を備えており、
    前記第２サイトは、
    それぞれ複数の第２論理ボリュームを有し、互いに接続された複数の第２記憶制御装置を備えており、
    前記各第１論理ボリュームは少なくとも１つ以上の第１ボリュームグループを構成しており、前記各第２論理ボリュームは少なくとも１つ以上の第２ボリュームグループを構成しており、前記第１ボリュームグループに属する前記各第１論理ボリュームと前記第２ボリュームグループに属する前記第２論理ボリュームとが、リモートコピーのペアとして対応付けられており、
    前記各第１記憶制御装置は、
    前記上位装置による前記各第１論理ボリュームへのデータ更新を、更新データと該更新データの更新順序を指示するための更新順序情報とを対応付けて前記各第２記憶制御装置に送信することにより通知する更新通知部と、
    前記リモートコピーの作動を停止させるためのサスペンド要求を前記各第２記憶制御装置に通知するサスペンド要求通知部と、
    をそれぞれ備えており、
    前記各第２記憶制御装置は、
    前記更新通知部から受信した前記更新データを記憶する更新データ記憶部と、
    前記更新通知部から受信した前記更新順序情報を管理する更新順序情報管理部と、
    前記更新順序情報に基づいて、前記更新データ記憶部に記憶された前記更新データを前記第２論理ボリュームに順番に書き込むことにより、前記第２論理ボリュームに記憶されるデータを更新させる更新部と、
    をそれぞれ備えており、
    さらに、前記各第２記憶制御装置のうち所定の第２記憶制御装置は、前記各第２記憶制御装置による前記各第２論理ボリュームの更新処理を同期させるための更新制御部を備えており、
    前記更新制御部は、所定の通知を受けた場合に、前記各更新順序情報管理部から前記各更新順序情報をそれぞれ収集して、これら収集された各更新順序情報に基づいて前記各第２論理ボリュームを更新可能な時点を決定し、この決定された更新可能時点を前記各更新部にそれぞれ通知することにより、前記各更新部によって前記各第２論理ボリュームに記憶されるデータを前記更新可能時点までそれぞれ更新させるストレージシステム。

Images