JP2004272884A - 複数リモートストレージでのリモートコピー停止後のデータ同期化方式 - Google Patents

Abstract

【課題】
ローカルストレージシステムの損傷時には、リモートストレージシステムのデ−タをすべて最新データに一致させることを保障する再同期化処理が、システムの再起動以前に必要である。
もう一つの問題は、リモートコピー動作中に停止が発生した場合のシステム回復である。
【解決手段】
データ転送途絶の検出後、プライマリストレージシステムでは当該第一のストレージボリュームに書き込まれたデータの記録が提供され、セカンダリストレージシステムでは、セカンダリストレージシステムの第一のストレージボリュームに書き込まれたデータの記録が提供される。
プライマリストレージシステムの第一のストレージボリュームに書き込まれたデータの記録の少なくとも一部のコピーが第二のストレージボリュームに書き込まれる。セカンダリストレージシステムの第一のストレージボリュームは、セカンダリストレージシステムの第二のストレージボリュームに同期化される。
【選択図】図1

Description

本発明は、プライマリ（ローカル）ストレージシステムと、セカンダリ（リモート）ストレージシステムで構成されるデータ処理ストレージシステムに関係する。

商業、政府、その他の企業体によるデータ処理の使用拡大により、夥しい量のデータが保存されており、この多くのものはそれら企業体の日々のオペレーションに対して極めて重要なものである。

例えば、莫大な数の財務上のトランザクションは現在、完全に電子的に処理されている。

業務上、例えば、航空会社は将来のチケット予約に関する情報が失われると大混乱になるというリスクを背負っている。信頼できるデータへのニーズの結果として、元データが損傷又は損失してもデータが使用できるように、保持されているデータの一つ以上のコピーを、ローカルサイトから離れた位置に、バックアップすることが普通である。データが重要である程、バックアップ方法は精巧なものでなければならない。

例えば、重要な又は貴重なデータを守るための一つの方法は、そのデータのコピーをローカルストレージシステムから地理的に離れたサイトにバックアップ保存することである。

各リモートストレージシステムは、ローカルストレージシステムで保持されるデータのミラーイメージを維持し、ローカルストレージシステムのローカルデータが更新される度に、その保存されたデータをローカルストレージシステムのローカルデータイメージの“ミラー”変更に更新する。

ローカルストレージシステムのデータをミラーするためのリモートストレージシステムの一例は、“Method and Appratus for Mirroring Data in a Remote Storage System”と題される米国特許No. 5,933,653に記されている。

米国特許５９３３６５３号公報

リモートストレージシステムに転送される更新データは、遠隔コピー操作のオーバヘッドを低減するために、しばしばキューされグループ化されて、インターネットの如き、ネットワーク転送媒体を通して送信される。この結果、リモートサイトにミラーされるデータイメージはローカルサイトのものとは必ずしも同じではない。

もし、ローカルデータのミラーの為に、複数のリモートストレージが使用される場合は、少なくとも更新が完了するまでの間は、リモートストレージのデータイメージは互いに異なっている事が有り得る。

これらの異なったデータイメージの存在は、ローカルシステムが損傷した場合には問題となる。ローカルストレージシステムの損傷は、あるリモートストレージシステムに損傷前のローカルストレージシステムに完全ではなくても比較的近いデータイメージを残し、他方、他のシステムでは最終更新操作では決して更新されないより古い“ステール”データイメージが存在する。

かくして、ローカルストレージシステムの損傷時には、リモートストレージシステムのデ−タをすべて最新データに一致させることを保障する再同期化処理が、システムの再起動以前に必要である。

更に解決を要するもう一つの問題は、リモートコピー動作中に“停止（suspension）”が発生した場合のシステム回復である。予期せぬ事故による途絶、例えば、キャッシュオーバフロー、コピー中のストレージシステム障害、ネットワーク障害等が発生してリモートコピー動作が停止した場合は、再同期化処理が必要になる。

リモートコピー動作での再同期化の一例は、“Method and Appratus for Independent Operation of a Remote Data Facility. ”と題される米国特許No.6,092,066、に記されている。

然しながら、この特許での技術では、ある限定された環境での再同期化処理が可能になるのみである。

ある種のより複雑なシステム停止、例えば、リンク障害、キャッシュオーバフロー、及び／またはドライブ障害等の２つの障害が組み合わさって発生した場合、システムの再初期化をしないで済む再同期化の方策は用意されていない。

このような状況では、この技術では、少なくとも２つのコピーが存在する構成を保障していない為、再同期化処理のためにはボリューム全体のコピーが通常は必要になる。

本発明は、プライマリストレージシステムとセカンダリストレージシステム間でデータのミラー処理を実行する改善されたデータ処理ストレージシステムを提供する。典型的に、各ストレージシステムは、データ記憶の為にボリュームを備え、ボリュームはミラー状態に維持される。

もし、たとえば何れかのストレージボリュームの障害又はネットワーク結合障害により、ボリューム間でのデータ転送が不能になったら、タイムスタンプ付きビットマップがプライマリストレージシステムで生成され、セカンダリストレージシステムの一つに記憶される。これらの記録は、結合リンク確立後にペアを再同期化するために用いられる。

もし、ペアの一つのメンバ又は他方で障害が発生した場合には、障害発生時に、記録が障害発生ストレージボリュームとは別のライトオペレーションステータスのストレージボリュームに書き込まれる。この記録は後でストレージボリュームを再同期化するために使用される。

各プライマリ及びセカンダリストレージシステムは追加のボリュームを備え、ミラーリモートペアの動作停止時は、ビットマップがペアの各メンバから追加のストレージボリュームの一つに保存される事が好ましい。

既に述べたように、これらのビットマップは、以前のペアの一メンバで保持されていた情報が失われても、新しいペアの再同期化のために使用することが出来る。再同期化処理は、新しいペア間でビットマップを交換して、新しいペアの再同期化に必要なライトオペレーションのセットを決定することにより実行される。

次いで、これらのライトオペレーションが実行され、新しく同期化されたペアが誕生する。

プライマリストレージシステムの第一ストレージボリュームと、第二ストレージボリュームをも備えるセカンダリストレージシステムの第一ストレージボリュームとの間でのデータ転送が途絶した後の、ストレージシステムに保存されたデータの同期化方法は、下記のステップから成り立つ事が好ましい。

第一に、プライマリストレージシステムからセカンダリストレージシステムへのデータ転送の途絶を検出し、次に、プライマリストレージシステムにプライマリストレージシステムの第一ストレージボリュームに書き込まれたデータの記録を提供し、セカンダリストレージボリュームにセカンダリストレージシステムの第一ストレージボリュームに書き込まれたデータの記録を提供する。

次のステップでは、プライマリストレージシステムの第一ストレージボリュームに書き込まれたデータの記録の少なくとも一部のコピーを第二ストレージボリュームに生成する。

次に、第二ストレージボリュームの少なくとも一部のコピーとセカンダリストレージシステムの第一ストレージボリュームに書き込まれたデータの記録を用いて、セカンダリストレージシステムの第一ストレージボリュームがセカンダリストレージシステムの第二ストレージボリュームに同期化される。

他の実施例として、直列的に結合されたストレージシステムに保存されたデータの同期化方法が提供される。

ストレージシステムでは、第一、第二、第三、及び第四のストレージボリュームが直列的に結合されている。第二ストレージボリュームと第三ストレージボリューム間のデータ転送が途絶された後に、第二ストレージボリュームに第二ストレージボリュームに書き込まれたデータの第一の記録を提供し、第三ストレージボリュームに第三ストレージボリュームに書き込まれたデータの第二の記録を提供することにより、システムが再同期化される。

次に、システムは、第一の記録の少なくとも一部を第一ストレージボリュームにコピーし、第二の記録の少なくとも一部を第四ストレージボリュームにコピーする。コピー終了後のステップでは、コピーされた記録の少なくとも一部を用いて、第二、第三ストレージボリュームの少なくとも一つを、第一、第四ストレージボリュームの少なくとも一つに同期化する

何れかのストレージボリュームの障害又はネットワーク結合障害により、ボリューム間でのデータ転送が不能になったら、タイムスタンプ付きビットマップがプライマリストレージシステムで生成され、セカンダリストレージシステムの一つに記憶される。

ペアの一つのメンバ又は他方で障害が発生した場合には、障害発生時に、記録が障害発生ストレージボリュームとは別のライトオペレーションステータスのストレージボリュームに書き込まれる。この記録は後でストレージボリュームを再同期化するために使用される。

図１は、プライマリ又はローカルサイト１２と複数のセカンダリ又はリモートサイト１４がデータ通信ネットワーク１０７で通信的に結合された、データ処理システム１０を構成するストレージシステムを示す。

ローカルサイト１２はホストプロセッサ１０１とローカルストレージシステム１０４を備えている。

ホスト１０１とストレージシステム１０４は、ローカルサイト１２で保持されるデータイメージの更新データをリモートサイト１４に通信する為に、リモートサイト１４にネットワーク１０７を通して結合されている。

かくして、リモートサイト１４はローカルサイト１２のミラーデータイメージを保持する。

リモートサイト１４は、各々リモートストレージシステム１０５、１０６を備えている。各サイト１４は対応するホストプロセッサ１０２、１０３を含んでも含まなくても良い。

リモートストレージシステム１０５、１０６は、ローカルストレージシステム１０４のミラーデータイメージを保持する為に、ローカルストレージシステムのストレージボリュームと極めて類似したストレージボリュームを備えている事が好ましい。

リモートサイト１４は、ローカルストレージシステム１０４が計画的又は非計画的に停まった場合には、当該データにアクセスされるものの、ローカルサイト１２のデータが破壊されるような災害に見舞われた場合でも、サイトとデータを維持するためには、リモートサイト１４はローカルストレージシステム１０４から地理的に離れた場所に設置した方がより好ましいと言える。

リモートストレージシステム１０５，１０６はローカルストレージシステム１０４と実質的に同じである為に、ローカルストレージシステムに関する議論はそのまま等しくリモートストレージシステム１０５，１０６に当てはまる。

ローカルサイト１２では、ホストプロセッサ１０１は、ネットワークインターフェース（Ｉ／Ｆ）１１１を経由してネットワーク１０７に結合し、入出力（Ｉ／Ｏ）バス１０８と入出力インターフェース１１０を経由してローカルストレージシステム１０４に結合している。

ローカルストレージシステム１０４はディスクコントローラ１４１を備え、ディスクコントローラ１４１は、入出力（Ｉ／Ｏ）バス１０８に結合する為の入出力インターフェース１３０とデータ通信ネットワーク１０７に結合する為のネットワークインターフェース１３１とネットワーク結合１３１ａを有する。

ローカルストレージシステム１０４は更に、ディスクユニット１４０で構成されるストレージボリューム１４２を備え、ディスクコントローラ１４１が入出力インターフェース要素１３７，１３８を経由してデータパス１３１によってボリュームに結合する。

ディスクコントローラ１４１自身は、中央処理ユニット（ＣＰＵ）１３３を有し、ＣＰＵは内部バス１３２経由でメモリ１３４に結合し、更に本デイスクコントローラの各種インターフェース（即ち、入出力インターフェース１３０，１３８及びネットワークインターフェース１３１等）に結合している。

メモリ１３４は、ホスト１０１からのＩ／Ｏ要求に対応して、ストレージボリューム１４２へのリード、ライトデータを格納する為のキャッシュメモリ１３５を有する。メモリは更に、コントロール情報１３６の如きある種のデータ構造や情報を維持する。

ＣＰＵ１３３は、ストレージボリューム１４２に対する（例えばホストプロセッサ１０１により齎される）あらゆるデータイメージの変更をリモートストレージシステム１０５，１０６に送信する、リモートコピー処理を通常通りに実行する事が好ましい。

かくして、リモートストレージシステム１０５，１０６は、ローカルストレージシステム１０４で維持されるデータをミラーする。

要約すると、リモートコピー処理は以下の如く動作する。

ディスクコントローラ１４１は、ストレージボリューム１４２のデータ（データイメージ）に対するＩ／Ｏライト要求、即ち、追加、変更、削除、あるいはその他の更新を受け取ると、そのデータをストレージボリュームに書き込む。ストレージボリュームへのこの様な各書き込み又は少なくともデータイメージの一部分はリモートサイト１４にミラーされる為に、データメッセージが生成され、リモートコピーキュー（ここでは示されていない）に格納される。

リモートコピーキューは、ＣＰＵ１３３上で稼動しているリモートコピープロセスにより周期的に監視されている。一つ以上のデータメッセージを有するキューが検出されると、データメッセージは取り出されて、リモートストレージシステム１０５，１０６の各々に送信され、データメッセージ中のデータが書き込まれ、結果として、ローカルサイト１２のデータに対するデータイメージが更新されることになる。

データメッセージに関する情報は、ストレージシステム１０４、１０５、１０６でヒストリカル情報として保持され、ローカルストレージシステム１０４から送信済み、送信途上、又はリモートストレージシステムでの受信完了を示している。各ストレージシステムは、ヒストリカル情報をキュー構造で管理する事が好ましい。

図２はキュー構造を示している。図２で示す如く、デイスクコントローラ１４１は、ワーキングキュー１１０、ロールバックキュー１１１、中間キュー１１２、およびライトヒストリキュー１１３を有する。

ワーキングキュー、ロールバックキュー、中間キュー、及びライトヒストリキュー１１０〜１１３は、リモートストレージシステム１０５（各々キュー１２０、１２１、１２２及び１２３）、１０６（各々キュー１３０、１３１、１３２及び１３３）でミラーされている。これらのキューは、先入れ先出し（ＦＩＦＯ）構成で実装される。

Ｉ／Ｏリードライト要求は典型的に、コマンドエントリとこれに伴う又は継続するデータ（ライト要求の場合）により構成される。

コマンドエントリは、データが書き込まれるストレージボリューム１４２上（ライト要求の場合）、又はデータが読み出される（リード要求の場合）ボリューム上のロケーションを特定し、その他実装によって必要とされる情報を特定する。

ホストプロセッサ１０１より、リモートストレージシステム１０５，１０６でミラーされているデータイメージの変更を伴うＩ／Ｏ要求を受けとった場合には、コマンドエントリには、シーケンス番号が割り当てされる。コマンドエントリはコマンドエントリと割り当てられたシーケンス番号で形成される事になる。

コマンドエントリは次いで、ワーキングキュー１１０に格納される。キューは、リモートストレージシステムにデータを送信するに先立つ、データとデータメッセージに対するヒストリカル情報を構成する。

コマンドエントリがワーキングキューに滞在している間に、対応するライト要求が処理される。処理には、ライト要求に対応するデータ（要求と共に受信するか、要求に継続して受信するかは、ホスト１０１とストレージシステム１０４に用いられる通信プロトコルによる）を受信し、データの為にキャッシュ１３５のエリアを割り当て、当該エリアに受信データを書き込む事が含まれる。

キャッシュ内のデータへのポインターは、対応するコマンドエントリに関連付けられる。Ｉ／Ｏ要求データが正常に受信されたか、エラーが検出されたかのステータスを示すステータスメッセージが、Ｉ／Ｏ要求の発行元に返される。

図２は、ディスクコントローラ１４１がシーケンス番号“１５”を割り当てられたライト要求を受領中の状態を示す。コマンドエントリは割り当てられたシーケンス番号とライト要求のコマンドエントリで形成される。

コマンドエントリは次いで、上述されたように更なる処理の為にワーキングキュー１１０に格納される。コマンドエントリは、Ｉ／Ｏ要求が正常に処理された場合には、ワーキングキュー１１０からロールバックキュー１１１に移される。

ロールバックキューは、後に十分に説明されるように、ローカルストレージシステム１０４とリモートストレージシステム１０５，１０６でのロールバック同期化の為に用いられる一時的な保存エリアである。

リモートストレージシステム１０５，１０６も基本的には同じ目的の為に、ロールバックキューを含む同一のキュー構造を有する。

ロールバックキューに保持されるコマンドエントリに対応するデータは、一つのストレージシステムで障害が検出された場合に廃棄処理をする場合、又は生存ストレージシステムの間での巡回処理をする場合を含めて、本発明での同期化処理に於いて使用される。

コマンドエントリは、ロールバックキュー１１１から関連データがストレージボリューム１４２への書き込み待ちか書き込み中であるエントリを保存する中間キュー１１２に移動される。

ストレージボリュームへの書き込みが完了すると、コマンドエントリは、プライマリストレージシステム１０４をミラーするリモートストレージシステムの保存するデータイメージの更新のためにリモートストレージに送信される、データメッセージ形成のためのリモートコピー要求を形成するために使用される。

次いで、コマンドエントリからポインターが抽出され、エントリはライトヒストリキュー１１３に格納される。

上述したように、図２は、ホストプロセッサ１０１より受信しシーケンス番号１５が割り当てられ、従ってワーキングキュー１１０に格納される、Ｉ／Ｏ要求からのコマンドエントリを示す。

シーケンス番号１３と１４のコマンドエントリはこの時点でロールバックキュー１１１に保持され、関連データのストレージボリューム１４２への書き込み待ちの状態になっている。

中間キュー１１２は、シーケンス番号１０，１１、及び１２を持つコマンドエントリを保持している。シーケンス番号１０のコマンドエントリは書き込み中か、次の書き込み待ちの何れかである。シーケンス番号７，８及び９のコマンドエントリの関連データはストレージボリューム１４２に書き込み済みで、従ってライトヒストリキュー１１３に格納されている。

リモートストレージシステムは実質的に同様なキュー構造を保持し、同様の方法で動作する。かくして、例えば、リモートストレージ１０５はシーケンス番号１０を割り当てられたコマンドエントリを持つデータメッセージを受信中であり、全データが受信中の間は、ワーキングキューに格納されている。

シーケンス番号１０はローカルストレージシステム１０４によって割り当てられたものである。ひとたび、データメッセージが受信されると、コマンドエントリは、ワーキングキューから、シーケンス番号６〜９のコマンドエントリを現在保持していることを図２が示しているロールバックキュー１２１に移動される。

中間キューはシーケンス番号５が割り当てられたデータメッセージのコマンドエントリを有し、エントリはストレージシステム１０５のストレージボリューム１４０に書き込み中である。

書き込みが完了すると、エントリはシーケンス番号１〜４のデータメッセージのコマンドエントリと共に、ライトヒストリキュー１２３に移動される。ライトヒストリキュー１２３の深さによっては、最も早いエントリ、例えばシーケンス番号１のエントリは、シーケンス番号５のコマンドエントリを格納させるために、排出されても良い。

他のリモートストレージ１０６も同様なデータキュー（１３０、１３１、１３２及び１３３）を有する。図２では、リモートストレージ１０６は現在シーケンス番号１２に関するデータメッセージを受信中であり、コマンドエントリはワーキングキュー１３０に格納されている。

ロールバックキュー１３１は現在シーケンス番号８〜１１の制御情報を保有している。ストレージシステムがヒストリカル情報を追跡するためのキューは、メモリのみならず、ストレージボリュームにも保持される事が好ましい。

ローカルストレージシステムは更に、メモリ中にリモートコピーステータステーブル１１４を保持し、送信済みのシーケンス番号、リモートストレージシステムにて受信され応答が得られたシーケンス番号を特定できるようになっている。

例えば、リモートストレージシステム１０５（テーブル１１４では“Ｓ１”で表示）で受信済みの最新のデータメッセージはシーケンス番号９で、リモートストレージシステム１０６（“Ｓ２”）で受信済みの最新のデータメッセージはシーケンス番号１１である事が判る。リモートコピーステータステーブル１１４は更に、リモートストレージシステムのロールバックキューとライトヒストリキューに関する情報も保持している。

かくして、テーブル１１４では、リモートストレージシステムのロールバックキューは各々４データメッセージエントリ分の“長さ”を有し、１０ＭＢのデータを保持できる事がわかる。

リモートストレージシステム各々のライトヒストリキューは５個のデータメッセージに５個のエントリを有する。ライトヒストリキューのサイズはバイト単位の容量又は他の形でテーブル１１４に表示されても良い。

図３及び図４は、本発明が解決しようとしている問題点を説明するダイアグラムである。

図３はプライマリストレージボリューム２０に対応して、少なくとも２つのセカンダリストレージボリューム２１，２２を備える、多重リモートコピー動作の為の構成を説明する。

２３，２４の矢印は、プライマリストレージボリューム２０とセカンダリストレージボリュームとの間のリモートコピーリンクを示す。

矢印２５が示す図の次の部分では、リモートコピーリンクの一つ２３が停止（suspend）している。リンクはネットワーク障害又はストレージボリューム障害で停止され得る。ここで用いられる“停止（suspend）”の用語は、原因の如何によらず、二つのユニットの間でのデータ転送が途絶していることを示す。

停止が発生すると、停止中のペアの各ストレージボリューム（プライマリ２０とセカンダリ２１）は自らのビットマップ情報を生成する。

これらのビットマップは、図３ではＢｐ，Ｂｓで表示されている。このビットマップ情報は、停止時のストレージボリュームの状態を反映している。ビットマップ生成のための方法については、後に記すが、関連米国特許No. 10/042,376に記されている。

図の次の部分は、停止に加えて発生する三つの可能なシナリオを図で表示したものである。

第一のシナリオは矢印２７により図の左側に示され、第二のシナリオは矢印２８で示され、第三のシナリオは矢印２９で示されている。矢印２７で示され、Ａ−３のラベルで示される第一のシナリオでは、セカンダリストレージボリューム２１が障害になった場合である。この場合は、矢印３０で示されるように、プライマリストレージ２０とセカンダリストレージ２２のペアが残っている。

図３の矢印２８で示される第二のシナリオでは、セカンダリストレージ２２が障害になった場合である。この状況に対する対応は、矢印３１とＡ−６のラベルで示される。この状況では、プライマリストレージ２０と稼動可能なセカンダリストレージ２１間のリンクが回復されるのを待つ。

リンクが回復すると、プライマリストレージ２０とセカンダリストレージ２１は２つのビットマップＢｐとＢｓの情報を用いて再同期化を行う事が出来る。

図３の右側部分に、矢印２９で第三の状態が示される。この状態では、プライマリストレージ２０が障害になり、ビットマップＢｐはもはや使用不能である。この状態では、図３の右側下のＡ−８でラベルされる部分で示されるように、データの全コピー動作がＳ１とＳ２を再同期化するための唯一の手段である。

図４は、直列接続多重コピーを実現するプライマリとセカンダリストレージの異なった構成を示す図である。

図の最上段に示すとおり、プライマリストレージ４０は、セカンダリストレージボリューム４２，４４，４６との間でリモートコピー機能を実現する為に、直列的に構成されている。

矢印４１は、Ｓ１ボリューム４２とＳ２ボリューム４４と間のリモートコピーリンクが停止している状況を示している。この状態では、更に図示されているように、ビットマップＢｐとＢｓがストレージボリューム４２と４４によって生成されている。この状況において、追加して発生する４種類の障害が存在する。これらは、図の下側の部分に矢印１，２，３及び４で示されている。

矢印１では、プライマリストレージボリューム４０が障害になっている場合を示している。この状況では、ケースＢ−４に示すように、構成は変更され、リモートコピーペアＳ１とＳ２及びＳ２とＳ３は同じままである。

ケース２では、停止ペアのメンバではないセカンダリストレージＳ３が障害になっている。この状況では、ケースＢ−６に示されるように、リモートコピーペアは不変のままで、構成のみが変更されている。

図示されているように、プライマリボリューム４０はセカンダリボリューム４２及び４４との関連して動作を継続する。

矢印３は停止ペアのメンバであるセカンダリストレージＳ１が障害になった場合を反映している。このケースでは、ビットマップＢｐからの変更情報は失われる。

この結果、Ｂ−８に示されているように、プライマリストレージ４０とセカンダリストレージ４４は再同期化不能である。プライマリストレージ４０とセカンダリストレージＳ２のペアは、新しいデータのコピーを全て転送することによってのみ再同期が可能になる。

矢印４は最後のケースで、セカンダリストレージＳ２が障害になっている。前述した状況では、ボリュームＳ２の障害でビットマップＢｓが損失して、変更情報が失われる結果となる。この状況では、ケースＢ−１０に示されるように、例えばボリューム４６をターゲットに全データの再コピーを実施することが唯一の解である。

図３、図４に示したビットマップ喪失の状況は、本発明の技術により克服する事が出来る。このことについては次で説明する。

図３，図４の幾つかの状況で説明したように、図３のＡ−３とＡ−７及び図４のＢ−７とＢ−９の場合には、ミラーペアのビットマップの一つが失われている事に注意が必要である。

本発明の実施例によれば、ペアの停止を検出した場合、停止されたリモートコピーペアのメンバ外のストレージボリューム上でビットマップのコピーを生成する事により、この問題は克服される。離れたロケーションにビットマップをコピーすることにより、ビットマップの一つ（Ｂｐ又はＢｓ）が失われた場合でも、容易に再同期を実施することが出来る。図５に本発明の好ましい実施例を説明する。

図５の上部で示す通り、プライマリストレージ５０はセカンダリストレージボリューム５２，５４とペア状態になっている。矢印５６で示す図の次の部分では、プライマリボリューム５０とセカンダリボリューム５２の間での停止の発生を示している。

ケースＡ―２’で示す通り、この停止の発生を契機に、プライマリストレージ５０は異なるセカンダリストレージボリューム５４上にビットマップのコピーを生成する。ボリューム５４は、プライマリストレージ５０をミラーするボリュームとは異なるボリュームである。ビットマップＢｐ’は、ビットマップＢｐと必ずしも同一でなくても良い。ボリューム５４でのビットマップコピーに対する最小限の要求は、その開始時間がオリジナルコピーＢｐの開始時間に比べて同じかより古い事である。

ビットマップの開始時刻がより古い場合は、ビットマップコピーが示す全ての変更は、単に同じデータを同じアドレスに上書きする事になるだけである。本発明の親出願では、ストレージが停止発生時と同時刻からのビットマップコピーを生成する技術を開示しているが、本発明では、ストレージが同時刻のビットマップコピーを生成するのが不可能な場合でも、代わりにより古いビットマップコピーを用いる事により十分に満足できる解を得られることを述べている。

図５のケースＡ−７で示す通り、プライマリビットマップが損失しても、ストレージボリューム５２と５４はプライマリビットマップのコピーＢｐ’を用いて再同期することが可能である。

本再同期化については、図５の下側部分Ａ−８に示されている。

図６は本発明のもう一つの好ましい実施例を示す。図６は図４と同様に、図の上部での障害と同じ状態を示す。

Ｂ−２でリモートコピー動作が停止する。本状態の検出を契機に、ストレージシステムはビットマップのコピーをＢ−２’に示されるように他のボリュームに作る。

図示されているケースでは、プライマリボリュームはプライマリビットマップＢｐのコピーＢｐ’を受け取り、セカンダリボリューム６６はビットマップＢｓのコピーＢｓ’を受け取る。

かくして、Ｂ−７で示されるボリューム６２の障害では、ビットマップＢｐが失われても、ビットマップを用いて、再同期化が不能になることを避ける事が出来る。Ｂ−８に示す通り、セカンダリボリューム６４はプライマリボリューム６０に再同期化する事が可能である。

もし停止がストレージボリューム６２の代わりにストレージボリューム６４の障害で発生しても、ストレージボリューム６６はストレージボリューム６２に再同期化可能である。

図７は本発明の好ましい一つの実現方法を説明するためのフローチャートである。同期型リモートコピーでは、各ホストＩ／Ｏ動作がリモートＩ／Ｏ動作を引き起こす。

かくして、図７に記す処理は、ホストＩ／Ｏ毎に実行される。ローカルストレージは、図７の処理が完了するまでは、ホストに対するステータス報告を行わない。この準備動作を図７ａに示す。

図７に、ローカルストレージシステム１０４（図１）がホスト１０１（図１）から受け取った更新データをリモートストレージシステムにコピーする為のリモートコピー動作の基本的ステップを説明する。

ホスト１０１からのローカルストレージシステム１０４で保存されているデータイメージを変更するＩ／Ｏライト要求は、リモートストレージシステムで保存されているミラーデータイメージに対しても同様の変更を必要とする。

Ｉ／Ｏライト要求は、割り当てられたシーケンス番号と要求に対するデータのポインターを備えたコマンドエントリを生成する。コマンドエントリは、全データが受信され、受領応答がホスト１０１に返送されるまでの間は、ワーキングキュー１１０に格納されている。

次いで、コマンドエントリはロールバックキュー１１１に移動される。ロールバックキューが満杯になるか、フラッシュコマンドが受信されると、コマンドエントリは中間キュー１１２に移動される。中間キューに滞在する間に、要求された対応データはストレージボリューム１４２に書き込まれる。

ＣＰＵ１３３上で実行しているリモートコピー処理は周期的に中間キューの内容を調査して、各リモートストレージシステム１０５，１０６にコピーすべき更新データコマンドのエントリが存在しないかを判定する。

次いで図７を参照すると、ローカルストレージシステム１０４は、各リモートストレージが次のデータメッセージを受信できるかをチェックする。チェックはＲＣステータステーブル１１４を参照して行う。ＲＣテーブルにより、各リモートストレージシステムがどのデータメッセージを受信して応答済みか、又リモートストレージが保持する各種キューのサイズ情報等がローカルストレージシステムに伝わる。

これにより、ローカルストレージは、特定のリモートストレージが別のデータメッセージや関連データを受信できる余裕があるか否かを判定する。もしなければ、ステップ５０１から抜け、プロセス６００１にて停止が発生しているかの判定が開始される。（あとで議論される。）
更に、リモートストレージ自身が、例えばＳＣＳＩの“ビジー（０ｘ０８）”又は“キュー満杯（０ｘ２８）”の何れかを用いて、更なるデータメッセージ受信の不可を返答する事も可能である。同期型リモートコピー動作の場合は、リモート（セカンダリ）ストレージシステムのキュー状態のチェックは不要である。

もし対象のリモートストレージにデータメッセージを受信するのに十分な余裕がある場合には、ローカルストレージはリモートコピー（ＲＣ）コマンドを、ステップ５０３にてデータが後続するデータメッセージの形で、リモートストレージシステム（たとえばリモートストレージシステム１０５）に発行する。

次いで、ローカルストレージシステム１０４は、データメッセージが受信されたか否かを示すステータス報告の受信を待つ（ステップ５０４）。

受信後には、ローカルストレージシステム１０４は、ステップ５０５にて、全てのリモートストレージシステムがデータメッセージでの更新を完了したかをチェックする。もし完了していなければ、処理はステップ５０７に移動し、ＲＣステータステーブル１１４を更新して、対象リモートストレージシステムはデータメッセージを受信した事を反映させて、次のリモートストレージシステムがデータメッセージを受信するためにステップ５０１に戻る。

しかし、もしステップ５０５で全てのリモートストレージシステムがデータメッセージを受信した事が判明したら、データメッセージ（コマンドエントリ）は、ステップ５０６にてライトヒストリキューに移動され、ＲＣステータステーブル１１４はステップ５０７で更新され、このデータメッセージに対する処理は５０８で完了する。

ステップ５０１の判定にて、リモートストレージがデータメッセージを受信できない場合には、処理フローはステップ６００１に移動し、停止状態が発生しているかを判定する。この動作での最初の判定は、リモートコピーペアのステータスについてである。リモートコピーペアの継続を妨げる何らかの異常事態が存在すれば、リモートコピーペアは停止しなければならないと判定される。

本判定の結果として、停止が発生し、主要な処理はステップ６００２に示すビットマップのコピーを生成する事である。ビットマップを生成する方法は、以下に議論される。

しかしながら、以下でも議論されるように、ひとたびビットマップが生成されると、制御フローはステップ５０８に移動し、多重リモートコピー処理を完了し、再同期処理へ移行する。本発明の親出願の技術を用いることにより、プライマリストレージは停止ポイントを検出し、本ポイントをシーケンス番号で示し、ビットマップのコピーを有する他のストレージに提供することができる。

[55] 図８は、リモートストレージシステムがリモートコピー処理のデータメッセージを受信するためのステップを広範囲に説明するフローダイアグラムである。最初のステップ７００１は停止が発生しているかを判定する。この判定は、図７に関連して説明したものと同じ技術を用いて実行される。

もし停止が発生していたら、図９に関連して以下に説明する技術を用いて、ビットマップのコピーがステップ７００２で生成される。

もし停止が発生していなければ、本処理フローはステップ６０１に移動する。ステップ６０１にて、リモートストレージシステムはデータメッセージを受信して、ステップ６０２にて、このデータメッセージのためのキュー資源の使用状態をチェックする。

言い換えると、利用できる余裕があるかを判定する。ステップ６０２での判定は、他のリモートストレージシステムのキュー内容に比較して、各キュー（ロールバック、中間、及びライトヒストリキュー）の整合状態も考慮して判定される。

もしステップ６０２での判定の結果、リモートストレージシステムがデータをこの時点では受領できない場合は、ステップ６０２を抜け、処理はステップ６０６に移動して、リモートストレージシステムは“ビジー”ステータスメッセージをローカルストレージシステムに返送し、受信処理より抜ける。

次いで、ローカルストレージシステムは、後で当該トランザクションを再度試行しなければならないと判定する。反対に、ステップ６０２にて、データが受信可能と判定された場合には、データはステップ６０３にて受信される。

ステップ６０４にてリモートストレージシステムはデータ転送完了のステータスを返送して、ステップ６０５にて、データメッセージはメッセージ受信のために用いられたワーキングキューよりロールバックキューに移動される。ステップ６０７にてこの処理は完了する。

図９は、例えば図７のステップ６００２又は図８のステップ７００２で実行される、ビットマップのコピーを生成する手順の好ましい実施例を説明するフローチャートである。

図１０は、図９のフローチャートの説明で用いられる構成例を説明するダイアグラムである。

図１０のストレージ７２は、ボリューム７２と７４で構成される停止中のリモートコピーペアのプライマリストレージである。

停止ポイントからのビットマップを生成するのに用いることができる３つの異なった技術が存在する。停止ポイントからのビットマップを生成する一つの技術は、本発明の親出願で述べられている技術を用いることである。この技術は図９に要約されている。

ストレージは、変更情報のすべてを反映する、ロールバックキューとライトヒストリキューを持っているため、多重リモートコピー環境での各種ストレージボリュームは同一時刻又は同一シーケンス番号からのビットマップを生成する事が出来る。

図９のステップ８００１で示すとおり、ストレージは自分自身が停止中のリモートコピーペアのプライマリストレージボリュームかセカンダリストレージボリュームかをチェックする。

図１０で示されるケースでは、ストレージボリューム７２が本ペアのプライマリストレージボリュームで、ストレージボリューム７４がセカンダリストレージボリュームである。言い換えれば、“プライマリ”及び“セカンダリ”の用語は、相対的な用語である。プライマリストレージボリューム７２が実行する処理は、ステップ８００２にて示す。

ステップ８００３にて、ストレージボリューム７２は、時刻又はリモートコピーコマンドからのシーケンス番号で表示される停止ポイントを検出する。これを契機に、ボリューム７２は、“ビットマップコピー生成コマンド”をプライマリストレージボリューム７０に対して発行する。

次のステップ８００４で示す通り、停止中のリモートコピーペアのプライマリストレージボリューム７２が例えば図１０のストレージボリューム７８のような、もう一つのセカンダリストレージを持っている場合も、同様の生成ステップが実行される。

かくして、ステップ８００５で示す通り、ビットマップはセカンダリストレージボリューム７８にも生成される。

ストレージボリューム７４で実行される処理は、既に述べられたものと同様である。停止中のリモートコピーペアのセカンダリストレージが、ストレージボリューム７６、８０のように、一つ以上のセカンダリストレージ自身を有する場合には、ストレージ７４上のセカンドビットマップのコピーは、ストレージボリューム７６、８０の何れかに作成される。この処理はステップ８００７に示される。

図１１は本発明の他の実施例を示す。図１１に於いて、行は各種ストレージを示し、図の番号のついたブロックは各種データ転送動作を示す。

例えば、図１１の最上段は１４個のデータがホストシステムからリモートシステムに転送された事を示す。このデータが受け取られると、リモートストレージボリュームＳ１，Ｓ２，及びＳ３に転送される。

データブロック１の開始時刻の相違は、データを一つのロケーションから他のロケーションに転送するのに必然的に発生する処理及び転送遅延を反映している。

図１１では、動作１０００で、データブロック４をストレージボリュームＳ１からＳ２に送信する間に、停止が発生した事を想定している。これを時刻ｔ０とする。実際、第四番目のリモートコピー要求は失敗している。

結果として、少なくともビットマップＢｐとＢｐ’は変更情報を含まなければならない。

時刻ｔ１でストレージボリュームＳ１は動作１００１に示すように、ビットマップのコピーを持っているストレージボリュームＰに“停止検出”メッセージを発行する。

時刻ｔ２にて、プライマリストレージは“停止検出”メッセージを受信し、リモートコピー動作をストップする。

次いで、プライマリストレージは、応答１００２を要求の送信者に送信する。ストレージボリュームＰが停止発生以後の変更を記録できれば、リモートコピー動作の凍結中にも、プライマリストレージＰはホスト結合を維持する。

もしストレージボリュームＰがこの情報の維持が不可能なら、ビットマップのコピーが生成される迄、ストレージボリュームＰはホストからディスコネクトしなければならない。説明の実施例では、この変更情報はキャッシュメモリ又はディスクに格納される。

時刻ｔ３で、ストレージボリュームＳ１はプライマリストレージボリュームＰからの応答を受信する。Ｓ１は変更情報と共に“ビットマップ生成”メッセージを送信する（動作１００３で示す）。変更情報は、停止ポイントｔ０から“応答”受信ポイント（時刻ｔ３）までカバーする。

時刻ｔ４で、“ビットマップ生成”メッセージが変更情報と共に受信される。これを契機に、ストレージボリュームＰは、ビットマップＢｐに対応するビットマップのコピーＢｐ’の生成を開始する。

この処理が終了次第、プライマリストレージボリュームＰとセカンダリストレージボリュームＳ１との間のリモートコピー動作を再開する。これは動作１００４として示される。

時刻ｔ５にて、Ｓ１は同様にリモートコピー動作を開始する。

ビットマップＢｓのコピー生成については、動作１００５に関連して、後に示す。停止が１００５で（又はより早く）発生したとすると、ストレージボリュームＳ１とＳ２のみが、停止を認識している。リモートコピー要求Ｎｏ．４は失敗し、ストレージボリュームＳ２には届かない。

かくして、少なくともビットマップＢｓとＢｓ’はリモートコピー要求Ｎｏ．３の処理後の変更情報を含まなければならない。従って、ストレージボリュームＳ２は停止中のペアのビットマップＢｓの生成を開始する。

時刻ｔ２にて、ストレージボリュームＳ３は“停止検出”メッセージを受信して、これを契機に、ビットマップのコピーＢｓ’の生成を行う。ボリュームＳ３は、その後、要求の送信者（ストレージボリュームＳ２）に対して、“応答”を送信する。これは、図１１の動作１００６に示されている。

ストレージボリュームＳ２が“応答”を受信すると、ストレージボリュームＳ２とＳ３との間のリモートコピーリンクを再開する。

この結果、ストレージボリュームＳ２は、例えば図１１に示すような要求２０〜２５の実行等の他の用途に用いられる事が可能となる。

図に関連して述べられた動作を要約すると、その動作の共通の手順は；
（１）第一のストレージボリュームで停止を検出して、ビットマップを生成する。

（２）本ビットマップのコピーを有するべき第ニのストレージボリュームを選択する。

（３）第一と第二のストレージボリュームとの間のリモートコピー動作を凍結する。

もしこれら２つのボリュームの間のリモートコピー動作が第二のボリュームから第一の方向であれば、第二のストレージボリュームが、第一と第二の間のリモートコピー動作を凍結するために、第一ストレージボリュームに“凍結”メッセージを送信しなければならない。

（４）第一のストレージボリュームでの変更情報（停止ポイントからの変更を含む）を第二のストレージボリュームに送信する。

（５）第二のストレージボリュームでビットマップのコピーを生成する。

（６）第一と第二のストレージボリューム間のリモートコピー動作を再開する。

図１２では、ローカルストレージシステム（又はデージーチェーン構成での中間的サイトになっている場合のリモートストレージシステム）の障害が検出された場合の同期化処理で行われるステップを示す。ステップ７０１で障害が検出される。障害検出は多数の方法でなされる。

例えば、ストレージシステム同士はハートビートメッセージを交換しあって、もし未検出なら障害を示す。又は、ストレージシステムは自ら障害を検し、しかもその障害をシステムの他の要素に対して報告出来ることもある。又は他の全ての慣用的障害検出技術が適用されても良い。

障害が検出されると、残りのストレージシステム、即ち図２の構成に示すストレージシステム１０５，１０６などは、互いに交信しあって、新しいリモートコピーマネージャを互選する。

選出されたストレージシステムは、残り全てのストレージシステムのデータイメージが同一状態に同期化されるように、リモートコピー動作を制御する。あるいは、リモートコピーマネージャは、システム管理者により事前に指定されても良い。

しかしながら、リモートコピーマネージャが決まると、選択されたマネージャはローカルストレージシステムとなり、スッテプ７０３にて、残りのストレージシステムに維持される各種キューの内容と構造に関する情報収集を行う。この情報には、ロールバックキューとライトヒストリキューのエントリ範囲（エントリ数）即ち、データメッセージを含むエントリ数等、が含まれる。

例えば、図２において、ローカルストレージシステム１０４が障害になり、ステップ７０２にて、リモートストレージシステム１０５が選択又は他の判定によりリモートコピーマネージャになると、リモートストレージシステム１０６は、ロールバックキュー１３１内にデータメッセージ８、９、１０、及び１１がありライトヒストリキュー１３３内にデータメッセージ３、４、５、及び６があることを報告する。

障害検出時には、リモートストレージシステムは、好都合にも、中間キューの内容を空にしてストレージボリュームに対するデータ書き込みを維持できるため、リモートストレージシステム１０６の中間キューの内容は、短時間の間にライトヒストリキューに追加される。

ステップ１１０１にて、次にペアは停止中か否か判定される。もし、停止中でなければ、以下に示す通り、処理はステップ７０４に移る。

これに対して、停止中の場合は、停止中のペアは再同期化されなければならない。これはステップ１１０２に示され、処理は図１３で示され、そこで説明される。

残りのストレージシステムについてのリモートコピー環境に関する情報を受領し、その後一つに障害が発生した場合、選択されたリモートコピーマネージャは、ロールバック処理を行うかロールフォワード処理を行うかの決定を行う。

典型的には、この決定は、リモートコピー環境の管理者かユーザによって、障害時での同期化処理を最善に行う方法として、フラグをセットしておくことにより、事前に決定されている。

ステップ７０４にて、ロールバック処理が用いられることを決定した場合は、ステップ７０５にて、リモートコピーマネージャは、全てのストレージシステムが共有している番号中で、最大のシーケンス番号を持つデータメッセージを決定する。

例えば、図２の例では、シーケンス番号９を持つデータメッセージが条件に該当する。それ故に、ステップ７０６にて、選択されたリモートコピーマネージャは、ロールバックコマンドを他のすべてのストレージシステムに対して発行し、受領時にシーケンス番号９を超えるデータメッセージを破棄させる。

かくして、再び図２に戻って、リモートストレージシステム１０６は、ロールバックコマンドを受領すると、シーケンス番号１０と１１のデータメッセージを破棄して、本処理はステップ７１５で完結する。

もしこれに対して、ステップ７０４にて、ロールフォワードが決定されたなら、ステップ７０７にて、ロールフォワードシーケンス番号が決定される。

本処理は、リモートコピー処理が各種のロールバックキューとライトヒストリキューの内容を比較して、最新のデータメッセージ番号、もしある場合、を有するストレージシステムを決定する事よりなされる。

かくして、図２にて、選出されたリモートコピーマネージャがストレージシステム１０５の場合は、リモートストレージシステム１０６がシーケンス番号１０と１１を有するデータメッセージを持っており、自分自身は持っていない事を悟る。したがって、データメッセージ１０と１１をリモートストレージシステム１０６からコピーさせることによって、各システムで維持されていたデータイメージが同期化される。

かくして、ステップ７０８にて、選出されたリモートコピーマネージャが最新のデータストレージシステムを決定すれば、ステップ７０８より７０９に移り、選択されたＲＣマネージャは、最新データメッセージを有するストレージシステムから、更新データを受け取る。これは選択されたＲＣマネージャ自身であることも、又他のストレージシステムのひとつである場合もある。

いずれにしても、選択されたＲＣマネージャは更新データを受け取り、ステップ７１０にて、更新を必要としている他のストレージシステムに更新データを選択的に又は部分的に転送して、全てのリモートストレージシステムのデータイメージの同期化処理を行う。処理はステップ７１５で完結する。

反対に、ステップ７０８にて、同期化処理は最新の更新データメッセージを持つストレージシステムが実施すべきと判定され、そのストレージシステムが選択されたリモートコピーマネージャではないなら（又は他のストレージシステムが同期化システムと前もって決定されたら）、ＲＣマネージャは、ストレージシステムが必要としている更新情報を比較して、最新の更新データを持つストレージシステムに対して、更新情報を送付する。

次いで、ステップ７１２にて、データメッセージ形式の更新データが、データイメージの同期化をを必要としている全てのストレージシステムに送られ、本処理はステップ７１５で完結する。

もしロールバック処理が選択される場合は、本発明の親出願で議論されたように、例えば、リモートストレージシステム１０５，１０６（図1）のロールバックキューは整合されている事が好ましい。

整合処理は、ローカルストレージシステム１０４にて、ＣＰＵ１３３上で走行するリモートコピー処理とリモートコピーステータステーブル１１４（リモートストレージシステム１０５，１０６が維持している各種キューの内容の情報が提供されている）を用いて実行される。

例えば、あるリモートストレージシステムはローカルストレージシステムからのリモートコピーデータメッセージを受信不能で、他のリモートストレージシステムは可能と言う事態が発生する。

この様な場合は、同期処理が必要なときには確実に実行されるように、他のリモートストレージシステムと比較時に、ひとつのリモートストレージシステムのキューの中のデータメッセージ間に少なくとも一個の共通データメッセージが存在することが必要であることを、同期化の目的のためには、考慮しなければならない。

図１３は再同期化処理の詳細を説明するフローダイアグラムである。最初に、ビットマップのコピーを有する各ストレージボリュームは、リモートコピーペアのステータスをチェックし、ステータスに関する情報を交換する。これはステップ１２０１に示す。ビットマップのコピーを用いて再同期化を必要とする環境では、再同期化処理は停止状態にあるペア間で必要であるのみならず、ビットマップコピー即ち、Ｂｐ，Ｂｐ’，Ｂｓ，Ｂｓ’を有するストレージボリュームのペアの組合せでも必要である。

ステップ１２０２にて、ビットマップコピーを用いた再同期化が不必要と判定されたなら、処理は終了する。一方、再同期化処理が必要なら、次いでビットマップが交換され（１２０３）、マージされ（１２０４）、ステップ１２０５で示されるように、マージしたビットマップを用いた再同期化処理が実行される。

以上で説明した方法と装置により、多重リモートコピー環境でのコピーを用いた再同期化が可能になる。例えば、リモートコピーの停止処理を採用したシステムのケースでは、特に、再同期化が必要になり次第、システム管理者の介入なしに、自動的に実行される。

本発明の好ましい実施例について説明してきたが、本発明の範囲を逸脱する事なく、多数の改変が可能である事に注意願いたい。

は、本発明の一実施例を実装するローカル及び複数のリモートストレージシステムを含むデータ処理システムを示すブロックダイアグラムである。 は、ローカル及びリモートストレージシステムの各々で実装され、ローカルストレージシステムによってリモートストレージシステムへ転送されるデータ更新の履歴情報を保持する為のキューの構造を示すダイアグラムである。 は、多重リモートコピー環境で停止を引き起こす各種の障害形態を示すダイアグラムである。 は、異なった多重リモートコピーアーキテクチャにおいて停止を引き起こす各種の障害形態を示すダイアグラムである。 は、本発明の方法の一実地例を示すダイアグラムである。 は、本発明の他の実地例を示すダイアグラムである。 は、停止発生時の多重リモートコピープロセスを示すフローチャートである。 は、図７に関連する準備用ステップを示すフローチャートである。 は、停止発生時の他の多重リモートコピープロセスを示すフローチャートである。 は、停止発生時のビットマップのコピーを生成する為の好ましい方法を示すフローチャートである。 は、図９の説明に用いられるダイアグラムである。 は、ビットマップのコピーを生成するための動作の詳細シーケンスを示す。 は、再同期化の一方法を示すフローチャートである。 は、再同期化の他の方法を示すフローチャートである。

符号の説明

１０１・・・プライマリ ホスト
１０２・・・リモートホスト、１０３・・・リモートホスト
１０４・・・プライマリストレージ
１０５・・・セカンダリストレージ１
１０６・・・セカンダリストレージ２
１０７・・・ネットワーク
１１０，１３０，１３７，１３８・・・ＩＯ Ｉ／Ｆ（インターフェース）
１１１，１３１・・・ネットワークＩ／Ｆ（インターフェース）
１３２・・・内部バス
１３３・・・ＣＰＵ
１３４・・・メモリ
１３５・・・キャッシュメモリ
１３６・・・コントロール情報
１４０・・・ディスク
１４２・・・ボリューム

Claims (18)

1. データ保存の為にストレージボリュームを備えるローカルストレージシステムと、
   前記ローカルストレージのミラー動作が可能であり、データ保存の為に少なくとも２台のリモートストレージボリュームを備える、リモートストレージシステムと、
   前記ローカルストレージとリモートストレージ間の通信の途絶を検出するための検出回路と、
   前記検出回路に応答して、途絶時までの前記ローカルストレージ及びリモートストレージになされた変更記録を生成し、該記録のコピーを前記ローカル及びリモートストレージシステム内の他のストレージボリュームに提供するたまのコントロール回路と、
   から成ることを特徴とするストレージシステム。
2. 前記ローカルストレージは、前記リモートストレージの第一のボリュームでミラーされる第一のボリュームを備え、
   前記コントロール回路は、前記ローカルストレージの第一のボリュームになされた変更のコピーをリモートストレージ内の第二のボリュームに生成する、
   ことを特徴とする請求項１に記載のストレージシステム。
3. さらに、前記リモートストレージの第一のボリュームを前記リモートストレージの第二のボリュームに同期化させる処理を制御する一式のプロセッサから成ることを特徴とする請求項２に記載のストレージシステム。
4. 前記コントロール回路は、ローカルストレージへの変更記録を、可能なら別のローカルストレージにコピーし、不可能ならリモートストレージにコピーを生成することを特徴とする請求項１に記載のストレージシステム。
5. 第一のストレージボリュームが第二のストレージボリュームでミラーされる直列接続されたストレージボリュームと、
   前記第一のストレージボリュームと第二のストレージボリューム間の通信の途絶を検出するための検出回路と、
   前記検出回路に応答して、前記第一のストレージボリューム及び第二のストレージボリュームになされた変更記録を生成し、該記録のコピーを直列接続された他のストレージボリュームに提供するためのコントロール回路と、
   から成ることを特徴とするストレージシステム。
6. 前記記録は、直列接続された新ペアを同期させるのに用いられることを特徴とする請求項５に記載のストレージシステム。
7. プライマリストレージシステム内の第一のストレージボリュームと、第二のストレージボリュームをも備えるセカンダリストレージシステム内の第一のストレージボリューム間でのデータ転送の途絶後に、ストレージシステムに保存されたデータを同期化するための方法において、
   前記プライマリストレージシステムからセカンダリストレージシステムへのデータ転送の途絶を検出するステップと、
   前記データ転送の途絶検出後に、
   前記プライマリストレージシステムでは、前記プライマリストレージの第一のストレージボリュームへの書き込みデータの記録を提供し、
   前記セカンダリストレージボリュームでは、前記セカンダリストレージシステムの第一のストレージボリュームに書き込まれたデータの記録を提供するステップと、
   前記プライマリストレージシステムの第一のストレージボリュームに書き込まれたデータの記録の少なくとも一部コピーを、前記セカンダリストレージシステムの第二のストレージボリューム上に生成するステップと、
   前記第二のストレージボリューム上の少なくとも部分コピーとセカンダリストレージシステムの第一のストレージボリュームに書き込まれたデータの記録を用いて、前記セカンダリストレージシステムの第一のストレージボリュームをセカンダリストレージシステムの第二のストレージボリュームに同期化させるステップと、
   から成ることを特徴とする方法。
8. 前記部分コピーは、前記プライマリストレージシステムの第一のストレージボリュームに書き込まれたデータの記録のコピーであることを特徴とする請求項７に記載の方法。
9. 前期第一のストレージボリュームのそれぞれに関するデータの記録はビットマップを構成することを特徴とする請求項７に記載の方法。
10. 前記第二のストレージボリューム上の少なくとも部分コピーと、セカンダリストレージシステムの第一のストレージボリュームに書き込まれたデータの記録を用いて、セカンダリストレージシステムの第一のストレージボリュームをセカンダリストレージシステムの第二のストレージボリュームに同期化させる前記ステップは、更に、
    前記セカンダリストレージシステム内の第一と第二のボリューム間でビットマップを交換するステップと、
    前記交換されたビットマップを用いて、前記プライマリストレージシステムとセカンダリストレージシステムを同期させる為に必要なライト動作のセットを決定するステップと、
    前記必要なライト動作のセットを実行するステップと、
    から成ることを特徴とする請求項９に記載の方法。
11. 前記第一のストレージボリュームに書き込まれたデータの記録を提供する為のステップの少なくとも一つは、
    記録生成の対象となるストレージボリュームがプライマリストレージボリュームであるかを決定するステップと、
    もし該ボリュームがプライマリストレージボリュームで、更に他のプライマリストレージボリュームが存在するなら、他のプライマリストレージボリューム上に記録を生成するステップと、
    もし該ボリュームがプライマリストレージボリュームで、更に他のプライマリストレージボリュームは存在しないが、他のセカンダリストレージボリュームが存在すれば、他のセカンダリストレージボリューム上に記録を生成するステップと、
    もし該ボリュームがプライマリストレージボリュームでなければ、他のセカンダリストレージボリューム上に記録を生成するステップと、
    から成ることを特徴とする請求項７に記載の方法。
12. 第一、第二、第三、及び第四のストレージボリュームが直列的に結合されたストレージシステムに保存されたデータを、第二のストレージボリュームと第三のストレージボリューム間のデータ転送が途絶した後に、同期化する方法において、
    前記第二のストレージボリュームから前記第三のストレージボリュームへのデータ転送の途絶を検出するステップと、
    途絶検出後に、
    前記第二のストレージボリュームにおいて、前記第二のストレージボリューム上に書き込まれたデータの第一の記録を提供し、
    前記第三のストレージボリュームにおいて、前記第三のストレージボリューム上に書き込まれたデータの第二の記録を提供するステップと、
    前記第一の記録の少なくとも一部を第一のストレージボリュームにコピーし、前記第二の記録の少なくとも一部を第四のストレージボリュームにコピーするステップと、
    前記コピーされた記録の少なくとも一部を用いて、前記第二と第三のストレージボリュームの少なくとも一つを前記第一と第四のストレージボリュームの少なくとも一つに同期化するステップと、
    から成ることを特徴とする方法。
13. 前記第一のストレージボリュームは、前記第三のストレージボリュームに同期化されることを特徴とする請求項１１に記載の方法。
14. 前記第二のストレージボリュームは、前記第四のストレージボリュームに同期化されることを特徴とする請求項１１に記載の方法。
15. プライマリストレージシステムと、セカンダリストレージシステム内の第一のストレージボリュームとの間のデータ転送が途絶した後に、少なくとも第一のストレージボリュームと第二のストレージボリュームを備える前記セカンダリストレージシステムに保存されたデータを前記プライマリストレージシステムに保存されたデータに同期化させる為の方法において、
    前記プライマリストレージシステムから前記セカンダリストレージシステム内の第一のストレージボリュームへのデータ転送で、データ転送が途絶したことを判定するステップと、
    前記プライマリストレージシステムでは、プライマリストレージシステム上に書き込まれたデータの記録を提供し、前記セカンダリストレージシステムでは、セカンダリストレージシステム内の第一のストレージボリューム上に書き込まれたデータの記録を提供するステップと、
    前記セカンダリストレージシステム内の第一のストレージボリューム上に書き込まれたデータの記録のコピーを前記セカンダリストレージシステムの第二のストレージボリューム上に生成するステップと、
    前記第一のストレージボリューム上に書き込まれたデータの記録の第ニのストレージボリューム上のコピーを用いて、前記プライマリストレージシステムを前記セカンダリストレージシステムの第二のストレージボリュームに同期化するステップと、
    から成ることを特徴とする方法。
16. プライマリとセカンダリストレージボリュームを備えるストレージシステムでの、リモートコピーペアの停止後にストレージボリュームを同期化する為のビットマップの生成において、
    前記ビットマップを生成するストレージボリュームは、プライマリストレージボリュームであるかを判定するステップと、
    もし該ボリュームがプライマリストレージボリュームで更に他のプライマリストレージボリュームが存在すれば、前記他のプライマリストレージボリュームにビットマップを生成するステップと、
    もし該ボリュームがプライマリストレージボリュームで更に他のプライマリストレージボリュームは存在しないが他のセカンダリストレージボリュームは存在すれば、前記他のセカンダリストレージボリュームにビットマップを生成するステップと、
    もし該ボリュームがプライマリストレージボリュームでなければ、他のセカンダリストレージボリュームにビットマップを生成するステップと、
    から成ることを特徴とするビットマップ生成方法。
17. 第一ストレージシステム内の第一ボリュームと第二ストレージシステム内の第二ボリュームと第三ストレージシステム内の第三ボリュームとを用いるリモートコピー方法において、前記第一ボリュームと前記第二ボリュームで第一のミラーペアを構成し、前記第一ボリュームと前記第三ボリュームで第二のミラーペアを構成し、さらに、
    前記第一のミラーペアが停止中の変更記録を前記第一ストレージシステムが前記第一ボリュームに生成、保存するステップと、
    前記第一ストレージシステムが前記記録を前記第三ボリュームに転送するステップと、
    前記第三ストレージシステムが前記記録を保存するステップと、
    から成ることを特徴とするリモートコピー方法。
18. 前記第一ストレージシステムが前記第一のミラーペアの停止中に動作不能の場合、前記第三ストレージシステムに保存された記録を用いて、前記第二ボリュームを前記第三ボリュームに再同期化するステップを更に含むことを特徴とする請求項１７に記載の方法。
    

Images