JP2006079568A - ストレージリモートコピー方式 - Google Patents

ストレージリモートコピー方式 Download PDF

Info

Publication number
JP2006079568A
JP2006079568A JP2004270672A JP2004270672A JP2006079568A JP 2006079568 A JP2006079568 A JP 2006079568A JP 2004270672 A JP2004270672 A JP 2004270672A JP 2004270672 A JP2004270672 A JP 2004270672A JP 2006079568 A JP2006079568 A JP 2006079568A
Authority
JP
Japan
Prior art keywords
storage system
storage
data
storage area
copy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004270672A
Other languages
English (en)
Other versions
JP4508798B2 (ja
Inventor
Tetsuya Maruyama
哲也 丸山
Takanari Iwamura
卓成 岩村
Takashi Arakawa
敬史 荒川
Kenta Futase
健太 二瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2004270672A priority Critical patent/JP4508798B2/ja
Priority to US10/950,577 priority patent/US7200725B2/en
Priority to EP04026277A priority patent/EP1628220B1/en
Publication of JP2006079568A publication Critical patent/JP2006079568A/ja
Priority to US11/649,214 priority patent/US20070113034A1/en
Application granted granted Critical
Publication of JP4508798B2 publication Critical patent/JP4508798B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2071Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring using a plurality of controllers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2058Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring using more than 2 mirrored copies
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2064Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring while ensuring consistency
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2069Management of state, configuration or failover
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/202Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
    • G06F11/2038Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant with a single idle spare processing component
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2082Data synchronisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/84Using snapshots, i.e. a logical point-in-time copy of the data

Abstract

【課題】
従来技術では、一つのストレージからの書き込みに対してのみ整合性を保証している。また、従来技術では、非同期リモートコピーとローカルレプリケーションを交互に停止するため、停止時間が長くなり、整合性の取れたボリュームが古いものとなってしまう。
【解決手段】
副サイトのストレージには、非同期リモートコピーで正サイトから転送されるデータを核のするボリュームに対し、二つのローカルレプリカを用意し、それぞれのローカルレプリカのペアは、書き込みデータに付与されたタイムスタンプの時間に準じた、時刻指定の停止コマンドで、交互に停止し、時間順序の保証されたレプリカデータを常時準備し、正サイトに障害が発生した場合、レプリカを用いて、データを復旧させる。
【選択図】図1

Description

本発明は、複数台のストレージシステムがネットワークで接続されている情報処理システムに関し、データ転送および災害復旧のための技術に関する。
ストレージシステムを含む情報処理システムにおいて、電力障害や、火災、地震などで、情報処理システムに障害が発生した場合、業務の一時停止や、データの消失などが起こる場合がある。このような事態を回避するため、火災、地震などの影響が及ばないような遠隔地に同様の情報処理システムを配置し、ある情報処理システム(以下、正サイトと称する)に書き込まれるデータを遠隔地の情報処理システム(以下、副サイトと称する)へ転送し複製を用意する。これらを実現するために、ネットワークを用いて、データを転送し複製を行う技術(以下、リモートコピーと称する)が存在する。
リモートコピーとは、正サイトから副サイトに対し、正サイトに格納されるデータの転送を行うものである。これにより、遠隔地でのデータのバックアップや、業務引継ぎ、災害復旧を行うことができる。
リモートコピーには、同期リモートコピーおよび非同期リモートコピーの2種類の方法がある。同期リモートコピーでは、正サイトのストレージシステムが、副サイトに対するデータ転送が完了した後に、計算機(以下、ホストと称する)からの書き込み要求に対する応答をホストに返す。そのため、同期リモートコピーでは、障害によるデータ消失は少なく、データの整合性も保証される。しかし、サイト間の回線遅延が増加すると、正サイトにおいて、ホストとストレージシステム間のI/O遅延が発生する。
一方、非同期リモートコピーでは、正サイトのストレージシステムが、ホストからの書き込み要求に対する応答をホストに返した後、副サイトに対してデータ転送を行う。これにより、サイト間の距離が長くても、ホストとストレージシステム間のI/O性能低下を招きにくいが、データ消失が発生する可能性が同期リモートコピーに比べ、高くなり、かつデータの順序保証が行われない。
特許文献1には、非同期リモートコピーにおけるデータの整合性の保証について記載されている。すなわち、特許文献1には、ホストからの書き込みデータに対し、付加情報を付け、付加情報を元に遠隔地のシステムにてデータの並べ替えを行い整合性の保証を行う方法が記載されている。
また、非特許文献1には、複数台のストレージシステムに跨った非同期リモートコピーにおいて、書き込みデータの整合性を保証する方法として、NanoCopyという技術が記載されている。NanoCopyは、複数台のストレージシステムの非同期リモートコピーを、ある時点で停止し、ある時点でのボリュームのレプリカを作成する。この動作を定期的に繰り返すことで、レプリカがある未来の時点で整合性のあるボリュームとして、常に存在する。
一方、特許文献2には、同一ストレージ内に、ある時点でのボリュームのレプリケーションを高速に取得する方法が、公開されている。以下、特許文献2に開示の方法によるボリュームレプリケーションをスナップショットと呼ぶ。
特許文献2に開示の方法では、あらかじめ、データ退避用のボリューム(以下、ボリュームプールと呼ぶ)を確保する。その後、レプリケート指示以降にレプリケーション元ボリュームに行われる書き込みを以下のステップで処理する。
(A)当該書き込みが、レプリケート指示以降、当該データ領域に対する最初の更新かどうかを確認する。初めてであればステップBを実行し、初めてでなければステップCを実行する。
(B)書き込み対象データ領域の更新前の内容をボリュームプールにコピーし、レプリケーション元の領域とコピー先のボリュームプールの領域の対応情報を記憶し、ステップCを実行する。
(C)レプリケーション元ボリュームを更新する。
また、レプリケート指示以降にレプリケーション先から読み込みを行う場合は、以下のステップで処理する。
(D)対応情報を用いて読み込み要求のあった領域がボリュームプールにコピーされたか確認し、コピーされていた場合はステップEを実行し、コピーされていない場合はステップFを実行する。
(E)対応情報を用いてボリュームプールから更新前のデータを返す。
(F)レプリケーション元ボリュームからデータを返す。
スナップショットによるレプリケーションは、ミラーリングによるボリュームレプリケーションより少ないボリューム容量でレプリケーションを作成できる。
特開2002−149499号公報 特開平7−72981号公報 唐she Hitachi NanoCopy Advantage煤A[online]、1999年6月、Hitachi Data Systems Corporation、インターネット<URL:http://www.hds.com/pdf/wp134_nanocopy.pdf>
特許文献1の方式では、一つのストレージからの書き込みに対してのみ整合性を保証している。また、非特許文献1の方式では、非同期リモートコピーとローカルレプリケーションを交互に停止するため、停止時間が長くなり、整合性の取れたボリュームが古いものとなってしまう。
そこで、複数台のストレージ装置間で整合性を保証した非同期リモートコピーを、非同期リモートコピーの停止なしに実現する情報処理システムを開示する。
第1の計算機と接続される、第1のストレージシステムと第2のストレージシステムとを有する第1のサイトと、第2の計算機及び第1のストレージシステムと接続される第3のストレージシステムと第2の計算機及び第2のストレージシステムと接続される第4のストレージシステムとを有する第2のサイトを有する情報処理システムであって、第3のストレージシステムは、第1のストレージシステムから転送されるデータを格納する第1の記憶領域と、第3のストレージシステムの第1の記憶領域に格納されるデータのコピーを格納する第2の記憶領域と第3の記憶領域を有する。第4のストレージシステムは、第1のストレージシステムから転送されるデータを格納する第1の記憶領域と、第4のストレージシステムの第1の記憶領域に格納されるデータのコピーを格納する第2の記憶領域と第3の記憶領域を有する。第1のストレージシステムと第2のストレージシステムは、それぞれ、第1の計算機から書き込み時刻が付加されたデータを受信する。第1のストレージシステムは、第3のストレージシステムに前記第1の計算機から受信したデータと書き込み時刻のコピーを転送する。第2のストレージシステムは、第4のストレージシステムに第1の計算機から受信したデータと書き込み時刻のコピーを転送する。第3のストレージシステムは、第1のストレージシステムから受信したデータを、第3のストレージシステム内の第1の記憶領域に、データに付加された時刻順に書き込む。第3のストレージシステム内の第1の記憶領域に書き込まれたデータのコピーを、第3のストレージシステム内の第2の記憶領域にデータが付加された時刻順に書き込む。第4のストレージシステムは、第2のストレージシステムから受信したデータを、第4のストレージシステム内の第1の記憶領域に、データに付加された時刻順に書き込む。第4のストレージシステム内の第1の記憶領域に書き込まれたデータのコピーを、第4のストレージシステム内の第2の記憶領域にデータが付加された時刻順に書き込む。第3のストレージシステムは、第1の計算機から指定された第1の所定の時刻より前の書き込み時刻が付加されたデータの第3のストレージシステム内の第2の記憶領域へのコピーが完了したら、第3のストレージシステム内の第1の記憶領域に書き込まれたデータのコピーを、第3のストレージシステム内の第2の記憶領域に書き込むことを停止する。その後に、第3のストレージシステムは、第3のストレージシステム内の第1の記憶領域に書き込まれたデータのコピーの、第3のストレージシステム内の第3の記憶領域への書き込み処理を開始する。第4のストレージシステムは、第1の計算機から指定された第1の所定の時刻より前の書き込み時刻が付加されたデータの前記第4のストレージシステム内の第2の記憶領域へのコピーが完了したら、第4のストレージシステム内の第1の記憶領域に書き込まれたデータのコピーを、第4のストレージシステム内の第2の記憶領域に書き込むことを停止する。その後に、第4のストレージシステムは、第4のストレージシステム内の第1の記憶領域に書き込まれたデータのコピーの、第4のストレージシステム内の第3の記憶領域への書き込み処理を開始する。
第1のサイトと第2のサイトを有する情報処理システムにおいて、第一のサイトから第二のサイトに対する非同期リモートコピーを停止することなく、ある時点で第1のサイトのボリュームに格納されるデータと第2のサイトのボリュームに格納されるデータの整合性を保証することが出来る。
以下、本発明の実施形態について、図面を参照して説明する。尚、本発明は、本実施形態に限られるものではない。
図1は、本実施形態を適用する情報処理システムの一例を示す図である。
情報処理システムは、互いに距離のある正サイト101と副サイト102とにより構成される。
正サイト101は、ホスト111と、複数台のストレージシステム131と、ホスト111と複数台のストレージシステム131とを接続するネットワーク121とにより構成される。
副サイト102は、ホスト112と、複数台のストレージシステム132と、ホスト112と複数台のストレージシステム132を接続するネットワーク121とにより構成される。
ストレージシステム131は、それぞれ、プロセッサ153と、メモリ154と、ホストからのI/O要求を受信するホストI/O用インターフェイス152と、ストレージシステム131からストレージシステム132へ非同期リモートコピーを行うためのネットワークに接続する非同期RC用インターフェイス151と、データを格納するボリューム141とにより構成される。ボリューム141には、ホスト111から書き込まれるデータが格納される。
ストレージシステム132は、ストレージシステム131のボリューム141のかわりに、データを格納するボリューム142、143、144とを有し、その他の構成は、ストレージシステム131と同様である。ボリューム142は、ストレージシステム131から、非同期リモートコピーで転送されるデータが格納される。ボリューム143およびボリューム144には、ボリューム142に格納されるデータの、ある時点でのコピーデータ(以下、レプリカと称する)が格納される。以下、このレプリカを作成する機能をローカルレプリケーション機能と称する。
ローカルレプリケーション機能は、同一ストレージシステム内にボリュームのレプリカを作成する機能のことである。また、ローカルレプリケーション機能により作成されるレプリカを格納するボリュームをレプリケーションボリュームと呼ぶ。
尚、各ボリュームは、複数の物理ディスクから構成されていてもよい。
ネットワーク122は、ストレージシステム131とストレージシステム132との間でデータ転送を行うためのネットワークである。ネットワーク122は、ストレージシステム131とストレージシステム132の非同期RC用インターフェイス151に接続される。
ホスト111およびホスト112は、ホスト111に接続されているストレージシステム131のボリューム141またはホスト112と接続されているストレージシステム132のボリューム142を用いて、トランザクション処理等の業務を実施するアプリケーションプログラムが動作する計算機である。通常時は、ホスト111が業務を行い、ホスト112は、正サイト101で障害が発生した場合に、業務を引き継ぐための待機系ホストである。
また、ホスト111およびホスト112は、ボリュームにデータを書き込むとき、ホスト内の時計を用いて、書き込むデータに書き込み時刻を付加する。ホストが書き込むデータに付加された時刻情報をタイムスタンプと呼ぶ。
図16は、ホスト111の機能構成またはソフトウェア構成の一例を示す図である。
アプリケーション2201は、ユーザがホスト111で実行するアプリケーションソフトウェアで、ストレージシステム131のボリュームに対し、読み書きを行う。
コマンド発行プログラム2202は、ローカルレプリケーション機能のペア操作コマンドと、非同期リモートコピーのペア操作コマンドを発行する処理を実行するためのプログラムである。ここで、ペアとは、リモートコピーのコピー元ボリュームとコピー先ボリュームの組のことである。
定期I/Oプログラム2203は、ストレージシステム131に対し、ホスト111から一定時間以上のI/Oが発生しない時、ストレージシステム131に対して、書き込みデータを発行する処理を実行するためのプログラムである。
図17は、ホスト112の機能構成またはソフトウェア構成の一例を示す図である。
ホスト112のアプリケーション2201と、コマンド発行プログラム2202とはホスト111のものと同等である。ホスト112のアプリケーション2201は、通常時は、停止しており、障害が発生し、副サイトで業務運用するとき、ユーザはアプリケーション2201を使って再開する。
図2は、正サイト101に含まれるストレージシステム131の機能構成の一例を示す図である。
ストレージシステム131内のメモリ154には、I/O受付プログラム201と、RCペア操作プログラム202と、書き込みプログラム203と、RCデータ転送プログラム204と、ペア情報211と、RCデータ情報211が格納される。各々のプログラムは、ストレージシステム131内のプロセッサ153により実行される。ここで、RCとは、リモートコピーの略である。尚、ペア情報211と、RCデータ情報211は、ストレージシステム内のボリュームに格納されてもよい。
I/O受付プログラム201は、ホスト111から書き込まれるデータを受信する処理を実行するためのプログラムである。
RCペア操作プログラム202は、ホスト111からペア操作コマンドを受け、非同期リモートコピーのペアを作成する操作(以下、ペア操作と称する)を行う処理を実行するためのプログラムである。
書き込みプログラム203は、I/O受付プログラム201が受け取った書き込みデータをボリューム141に書き込む処理を実行するプログラムである。
RCデータ情報212は、ホスト111から書き込まれるデータに、非同期リモートコピーで転送するための情報を付加したものを格納する。ここで、非同期リモートコピーで転送するための情報とは、データの書き込み先の論理ボリュームのあて先(以下、LUIDと称する)と、順序保証のための付加情報となる通し番号もしくはそれと同等の付加情報(以下、SEQ#と称する)と、書き込み時刻である。詳細については、図5にて説明する。
RCデータ転送プログラム204は、ホスト111からのストレージシステム131に書き込まれるデータに対し、非同期リモートコピーで転送するための情報を付加し、ホスト111からストレージシステム131に書き込まれたデータをストレージシステム132に転送する処理を実行するプログラムである。
ペア情報211は、非同期リモートコピー対象のペアに関する情報であり、非同期リモートコピー元の論理ボリューム141と、非同期リモートコピー先の論理ボリュームと142の対応および、ボリューム141とボリューム142のペアの状態を示す情報である。詳細ついては図4にて説明する。尚、ボリューム141とボリューム142は、それぞれボリューム内に複数の論理ボリュームを有していても良い。図4に示すペア情報211は、ボリューム内に複数の論理ボリュームを有する場合の一例である。
非同期リモートコピーでは、コピーの状態を示すため、ペア状態を定義し、ペア情報にて管理する。非同期リモートコピーのペア状態は、リモートコピーの管理者に対して、コピー状態を示す情報である。管理者は、コマンドを用いて、ペア状態の遷移を指示することで、非同期リモートコピーのコピー処理を制御する。以下、非同期リモートコピーのペア状態の説明をする。
本実施形態では、ペア状態として、Simplex(X)、Initial−Copying(IC)、Duplex(D)、Suspend(S)、Duplex−Pending(DP)、Suspending(SG)を定義する。
Simplex状態は、コピー元(以下、ソースと称する)と、コピー先(以下、ターゲットと称する)のボリューム間でのコピーが開始されていない状態である。
Initial−Copying状態は、ソースとターゲットのボリューム間で、コピーを開始し、Simplex状態から、後述するDuplex状態へ遷移するまでの状態である。Initial−Copying状態中は、送信元ボリューム(以下、ソースボリュームと称する)から送信先ボリューム(以下、ターゲットボリュームと称する)への初期化コピー、すなわち、ソースボリュームにすでに格納されているデータのコピーが行われる。初期化コピーが完了し、Duplex状態へ遷移するために必要な内部処理が終わった時点で、ペア状態はDuplex状態となる。
Duplex状態は、初期化コピーが終了し、更新コピーが行われる状態である。すなわち、ホストからソースボリュームにデータの書き込まれた場合、ソースボリュームに書き込まれたデータがターゲットボリュームに更新コピーされる状態である。ペア状態が、Duplex状態となることで、巨視的には、ソース・ターゲット間のボリュームのデータは同一であるとみなされる。しかし、更新コピーは非同期で行われるため、正サイトおよび副サイトに格納されるデータの同一性は厳密には保証されない。
Suspend状態は、更新コピーが停止した状態である。Suspend状態では、ソース・ターゲット間のボリュームのデータの同一性は保証されなくなる。例えば、オペレータ、ホスト、またはストレージシステムを管理する計算機から等の指示を契機に、ペア状態は、Suspend状態へ遷移する。
オペレータ、ホスト、またはストレージシステムを管理する計算機から等の指示以外の原因で、ソースボリュームからターゲットボリュームへのデータのコピーが不可能になった場合は、ストレージシステムが自動的にペア状態をSuspend状態に遷移する(以下、障害Supend状態と称する)。障害Suspend状態となる原因としては、ソースボリュームまたはターゲットボリュームの障害、ソースまたはターゲットのストレージシステムの障害,ソースボリュームとターゲットボリューム間の通信路障害(本実施形態の場合は、ストレージシステム101とストレージシステム102を接続するネットワーク122での障害)が考えられる。ただし、他の障害も障害Suspendの原因となる。
Suspending状態は、Duplex状態からSuspend状態へ遷移するまでの状態である。Suspend状態には、障害Suspend状態も含まれる。本実施形態では、Suspending状態では、ソースおよびターゲットのストレージシステムは、両ストレージシステムのデータをターゲットストレージシステムに反映させる処理を行う。
Duplex−Pending状態は、Suspend状態からDuplex状態に遷移するまでの状態である。Duplex−Pending状態では、ソースボリュームとターゲットボリュームのデータを一致させるため、ソースボリュームに格納されているデータをターゲットボリュームにコピーする。ソースボリュームとターゲットボリュームとのデータの同一性を確保できた後、ペア状態はDuplex状態となる。なお、Duplex−Pending状態におけるデータのコピーは、前述したSuspend状態中にソースボリュームまたはターゲットボリュームに書き込まれたデータの更新領域を記録した情報を利用して更新が必要な部分だけをコピーする差分コピーを用いてもよい。なお、Initial−Copying状態とDuplex−Pending状態とは、まとめて一つの状態として管理装置の画面に表示したり、状態を遷移させてもよい。
図3は、副サイト102に含まれるストレージシステム132の機能構成の一例を示す図である。
ストレージシステム132内のメモリ154には、RCデータ転送プログラム301と、RCペア操作プログラム202と、RC格上げプログラム302と、LR制御プログラム303と、LRペア操作プログラム304と、ペア情報211と、RCデータ情報212と、LR管理情報311と、LRペア情報312とが格納される。各々のプログラムは、ストレージシステム131内のプロセッサ153により実行される。ここで、LRとは、ローカルリモートコピーの略である。
RCデータ転送プログラム301は、ストレージシステム131から転送されるデータを受信する処理を実行するプログラムである。
RCペア操作プログラム202は、ホスト112からペア操作コマンドを受け、非同期リモートコピーのペアを作成する操作を行う処理を実行するためのプログラムである。
RC格上げプログラム302は、RCデータ転送プログラム301が受信したデータを、SEQ#もしくは書き込み時刻に基づいて、ボリューム141にデータが書き込まれた順に、ボリューム142に書き込む処理を実行するプログラムである。以下、RC格上げプログラム302が実行する処理を格上げと称する。尚、SEQ#に基づいて、順序保証して、ボリュームに書き込む方法については、従来と同様の方法で行うため、説明を省略する。
ストレージシステム132では、ローカルレプリケーション機能を用いて、ボリューム142のレプリカである、ボリューム143およびボリューム144を作成する。ローカルレプリケーション機能は、LR制御プログラム303とLRペア操作プログラム304とによって実行される。
LR制御プログラム303は、ボリューム142に書き込まれたデータをLRペア情報312に基づいて、ボリューム143またはボリューム144に書き込む処理を実行するプログラムである。
LRペア操作プログラム304は、ホスト111またはホスト112が指定したある時点以降の書き込み時刻を有する、あるボリュームに格納されるデータを他のボリュームにコピーすることを停止する(以下、At−Time−Suspendと称し、詳細は、図11にて説明する)Suspendコマンドと、あるボリュームに格納されているデータを他のボリュームに格納されているデータと一致させるResyncコマンドとをホスト111またはホスト112から受信し、ボリューム142とボリューム143およびボリューム132とボリューム144の組み合わせを示したペア(以下、LRペアと称する)の状態の操作を行う処理を実行するプログラムである。以下、ボリューム142とボリューム143のペアをLR1、ボリューム142とボリューム144のペアをLR2と呼ぶ。At−Time−Suspendでは、At−Time−Suspendコマンドで指定されたペアは、At−Time−Suspendコマンドで指定された時刻以降の書き込み時刻を有するデータの書き込みが行われる直前にペア状態がSuspend状態に遷移する。
LR管理情報311は、LRペアの状態を示すものである。LR管理情報311の詳細については、図6にて説明する。
LRペア情報312は、ローカルレプリケーション機能のペアに関する情報であり、データのコピー元ボリュームとコピー先ボリュームとの対応およびペアの状態を示す情報である。LRペア情報312の詳細については、図7にて説明する。
ローカルレプリケーション機能では、コピーの状態を示すために、ペア状態を定義し、ペア情報にて管理する。ローカルレプリケーション機能のペア状態はローカルレプリケーションの管理者に対して、コピー状態を示す情報である。管理者はコマンドでペア状態の遷移を指示することで、ローカルレプリケーション機能のコピー処理を制御する。ペア状態としては、Simplex(X)、Initial−Copying(IC)、Duplex(P)、Suspend(S)、Suspending(SG)、Resyncing(R)を定義する。以下、LRペアのペア状態の説明をする。ここで、Resyncing状態以外は、上述のRCペアのペア状態の定義と同等であるため、説明を省略する。
Resyncing状態は、Suspend状態からDuplex状態に遷移するまでの状態である。Resyncing状態では、ソースボリュームとターゲットボリュームのデータを一致させるため、ソースボリュームからターゲットボリュームへのデータのコピーが実行される。ソースボリュームとターゲットボリュームとの間でデータの同一性が確保されるとペア状態はDuplex状態となる。尚、本実施形態では、ペア状態がDuplex状態の場合にSuspend状態に移行する。そのため、ペア状態をDuplex状態からSuspend状態へ迅速に移行するため、Resyncコマンド発行直後にペア状態がDuplex状態となるよう制御してもよい。以下、Resyncコマンド発行直後にペア状態がDuplexとなるよう指示するコマンドをQuick−Resyncコマンドと呼ぶ。Quick−Resyncコマンド発行時、ペア状態がDuplexとなった後にもバックグラウンドコピーを実行させて、ターゲットボリュームに全てデータコピーを行う方式がある。また、別方式として、Duplex状態ではコピーを行わずに、次回のQuick-Suspend(Quick-Suspendについては、後述する)を受け付けた後に、まとめてコピーする方法もある。
尚、Resyncing状態におけるデータのコピーは、前述したSuspend状態中のデータの更新領域を記録した情報を利用して更新が必要な部分だけをコピーする差分コピーを用いてもよい。
ロカールレプリーケーション機能のSuspend状態のとき、ターゲットボリュームはSuspendコマンドが実行された時点でのソースボリュームに格納されるデータとの整合性が保証されている。
尚、本実施形態のローカルレプリケーション機能では、Suspendコマンドを発行した直後にペア状態がSuspendになってもよい。以下、Suspendコマンドを発行した直後にペア状態がSuspendとなるよう指示するコマンドをQuick−Suspendコマンドと呼ぶ。Quick−Suspendコマンド発行時、ペア状態がSuspendとなった後にバックグラウンドコピーを実行させて、ターゲットボリュームに全てデータコピーを行う方式や、スナップショットのように必要に応じてコピーを行う方式がある。
図15は、本実施形態の非同期リモートコピーとローカルレプリケーション機能における、ペアの一例を示す図である。
ペア1601間では、ボリューム141に格納されるデータをボリューム142へ非同期リモートコピーする。通常時、ペア1601は、Duplex状態となる。
ペア1602間では、ボリューム142に格納されるデータを、データに付加された書き込み時刻に基づいて、ボリューム143へローカルレプリケーション機能によりコピーする。
ペア1603間では、ボリューム142に格納されるデータを、データに付加された書き込み時刻に基づいて、ボリューム144へローカルレプリケーション機能によりコピーする。
本実施形態では、ストレージシステム132は、常にペア1602とペア1603のいずれかのペア状態がSuspend状態となるよう、制御する。Duplex状態となっているペアをSuspend状態とし、Suspendが完了した後、もう一方のペアをResync状態する。これを繰り返すことで、ボリューム143もしくは、ボリューム144に、ある時点でのボリューム142と整合性のあるデータが格納される。
図4は、ペア情報211の一例を示す図である。
ペア情報211は、ソースボリュームの論理ボリューム番号(以下、ソースLU IDと称する)401と、ソースボリュームに対応するターゲットボリュームの論理ボリューム番号(以下、ターゲットLU IDと称する)402と、ターゲットボリュームとソースボリュームのペア状態を示すペア状態403と、ソースLU IDとターゲットLU ID間で更にデータの差がある記憶領域を示す差分ビットマップ404とを有する。
図5は、RCデータ情報212の一例を示す図である。
RCデータ情報212は、ホスト111からの書き込ストレージシステム131に書き込まれるデータ、すなわち、ストレージシステム131からストレージシステム132に対し、非同期リモートコピーで転送されたデータを管理する。RCデータ情報212は、非同期リモートコピーで転送するデータのターゲットLUID501と、RCデータ転送プログラム204が付加したSEQ#502と、ホスト11が付加したタイムスタンプ503と、非同期リモートコピーで転送するデータ504と、Flag505とを有する。Flag505は、At−Time−Suspendコマンドが実行されるタイミングを示すものである。RC格上げプログラム302は、Flag505がオン、すなわち、Flag505に1が格納されている書き込みデータを受け取ると、格上げする前にLRのペア状態をSuspend状態とする。詳細については、図13で説明する。
図6は、LR管理情報311の一例を示す図である。
LR管理情報311は、LRペアのペア情報とAt−Time−SuspendでSuspendされた時間を管理する。LR管理情報311は、LRペアを識別するLRペアNo601と、各ペアについて最新のAt−Time−Suspendの指定時刻を記録するSuspend時間602と各LRペアのペア状態603を管理する。
図7は、LRペア情報312の一例を示す図である。
LRペア情報312は、ソースボリュームとターゲットボリューム間の対応関係を管理する。LRペア情報312は、LRペアのソースLUID701とLRペアのターゲットLUID702と、ペア状態703と、ソースLU IDとターゲットLU IDの間でデータの差分があるかどうかを示す差分ビットマップ704とを管理する。
以下、本実施形態の動作について、説明する。尚、ホスト111又はホスト112からの指示は、図1に示す複数のストレージシステム131又は複数のストレージシステム132に対して発行され、ホスト111またはホスト112からの指示に基づいて、複数のストレージシステム131又は複数のストレージシステム132各々が指示される処理を実行する。
図8は、通常運用時のLR1、LR2のLRペアの動作の一例を示した流れ図である。初期段階では、LR1ペアがDuplex状態、LR2ペアがSuspend状態とする。
まず、ホスト111のコマンド発行プログラム2202は、ストレージシステム131のRCデータ転送プログラム204経由で、複数のストレージシステム132各々のRC格上げプログラム302に対し、同じ時刻を指定してLR1のAt−Time−Suspendコマンドを発行する(ステップ801)。
次に、複数のストレージシステム132各々のLR操作プログラム304は、Duplex状態になっているLR1のペア状態をAt−Time−Suspendコマンドに応じてSuspend状態にする。詳細は、図11で説明する。複数のストレージシステム132各々のLR1のペア状態を同じ時刻を基準にSuspend状態にすることで、あるストレージシステム132のボリューム143にAt−Time−Suspendコマンドで指定された時点での他のストレージシステム132のボリューム143に、At−Time−Suspendコマンドで指定された時刻より前の時刻が付与されたデータについて、整合性の取れたデータが格納される(ステップ802)。
次に、ホスト111のコマンド発行プログラム2202は、ストレージシステム131経由で、複数のストレージシステム132各々のLRペア操作プログラム304に対し、LR2のResyncコマンドを発行する(ステップ803)。
次に、複数のストレージシステム132各々のLRペア操作プログラム304は、Suspend状態になっているLR2のペア状態をResyncコマンドに応じてDuplex状態にする(ステップ804)。
次に、ホスト111のコマンド発行プログラム2202は、ストレージシステム131のRCデータ転送プログラム204経由で、複数のストレージシステム132各々のRC格上げプログラム302に対し、同じ時刻を指定してLR2のAt−Time−Suspendコマンドを発行する(ステップ805)。
次に、複数のストレージシステム132各々のLRペア操作プログラム304は、Duplex状態になっているLR2のペア状態をAt−Time−Suspendコマンドに応じてSuspend状態にする。複数のストレージシステム132各々のLR2のペア状態を同じ時刻を基準にSuspend状態にすることで、あるストレージシステム132のボリューム144にAt−Time−Suspendコマンドで指定された時点での他のストレージシステム132のボリューム144にAt−Time−Suspendコマンドで指定された時刻より前の時刻が付与されたデータについて、整合性の取れたデータが格納される。(ステップ806)。
次に、ホスト111のコマンド発行プログラム2202は、ストレージシステム131経由で、複数のストレージシステム132各々のLRペア操作プログラム304に対し、LR1のResyncコマンドを発行する(ステップ807)。
次に、LRペア操作プログラム304は、Suspend状態になっているLR2のペア状態をResyncコマンドに応じてDuplex状態にし、ステップ801に戻る(ステップ808)。
図9は、正サイトに障害が発生した後、ホスト112で業務再開するまで処理の一例を示した流れ図である。
副サイトのホスト112は、正サイトに障害が発生したことを検知する。尚、正サイトの障害の検知は、システムの管理者がホスト112の代わりに行ってもよい。(ステップ901)。
次に、ホスト112のコマンド発行プログラム2202が、複数のストレージシステム132各々のRCペア操作プログラム202に対し、非同期リモートコピーのペアを解除するコマンドを発行する(ステップ902)。
次に、複数のストレージシステム132各々のRCペア操作プログラム202は、非同期リモートコピーのペアを解除し、ペア状態をSimplex状態にする(ステップ903)。
次に、複数のストレージシステム132各々のLR制御プログラム303は、ある時点のボリューム142と整合性の取れている最新のLRボリュームをボリューム143またはボリューム144から選択する(詳細については、図12で説明する)(ステップ904)。
次に、複数のストレージシステム132各々のLRペア操作プログラム304は、LR1、LR2のLRペアをSuspend状態にする(ステップ905)。
次に、複数のストレージシステム132各々のLR制御プログラム303は、ステップ904で選択したLRボリュームのデータを、ボリューム142にコピーする。複数のストレージシステム132各々のLR制御プログラム303は、ステップ904で選択したLRボリュームのデータを、ボリューム142にコピーするとき、LRペアをResync状態にするよう、LRペア操作プログラム304に指示して、差分コピーを用いてもよい。(ステップ906)。
次に、複数のストレージシステム132各々のLRペア操作プログラム303は、ステップ906でResync状態にしたLRペアをSuspend状態にする(ステップ907)。
次に、複数のストレージシステム132各々のLRペア操作プログラム303は、ステップ905でResync状態にしたLRペアでないLRペアをResync状態にする(ステップ908)。
次に、ホスト112で業務を再開する(ステップ909)。
図10は、副サイト102で業務再開した後、正サイト101が復旧し、ホスト111で業務再開するまでの処理の一例を示した流れ図である。
まず、管理者が、正サイト101の復旧を確認する(ステップ1001)。
次に、情報処理システムに接続される、管理端末からの管理者の指示により、ホスト112のコマンド発行プログラム2202が、複数のストレージシステム132各々に、非同期リモートコピーの初期化コピーコマンドを発行する(ステップ1002)。
次に、複数のストレージシステム132各々は、ストレージシステム131に非同期リモートコピーの初期化コピーを行う(ステップ1003)。
次に、管理者は、管理端末から、ステップ1003の処理の完了を確認したら、ホスト112の業務を停止するよう指示する(ステップ1004)。
次に、管理端末からの管理者の指示により、複数のストレージシステム132各々のRCペア操作プログラム202は、ストレージシステム132からストレージシステム131への非同期リモートコピーをストレージシステム131からストレージシステム132への非同期リモートコピーに変更する(ステップ1005)。
次に、管理端末から、管理者が、ストレージシステム131からストレージシステム132への非同期リモートコピーに変更されたことを確認すると、管理端末からの管理者の指示により、ホスト112のコマンド発行プログラム2202は、複数のストレージシステム132各々のLRペア操作プログラム304に、LR2をSuspend状態するコマンドを発行する(ステップ1006)。
次に、複数のストレージシステム132各々のLRペア操作プログラム304は、LR2をSuspend状態する(ステップ1007)。
次に、管理者は、管理ホスト111で業務を再開する(ステップ1008)。
次に、図8に示した、通常動作を再開する(ステップ1009)。
図11は、ローカルレプリケーション機能のAt−Time−Suspendの動作の一例を示した流れ図である。
まず、ホスト111のコマンド発行プログラム2202は、複数のストレージシステム131各々のRCデータ転送プログラム203にLRペアのAt−Time−Suspendコマンドを発行する(ステップ1101)。
次に、複数のストレージシステム131各々のRCデータ転送プログラム204は、At−Time−Suspendコマンドで指定された時刻より後の最初の書き込みに対し、RCデータ情報212のFlag505をオンにする。尚、RCデータ転送プログラム204の代わりに、RC格上げプログラム304がデータを受け取ったときにFlag505をオンにしてもよい。(ステップ1103)。
次に、複数のストレージシステム131各々のRCデータ転送プログラム204は、At−Time−Suspendコマンドの指定時刻とFlag505がオンになった書き込みデータをストレージシステム132に転送する(ステップ1104)。
次に、ストレージシステム132のデータ転送プログラム303は、Flag505がオンになった書き込みデータとAt−Time−Suspendの指定時刻をストレージシステム131から受け取る(ステップ1105)。
次に、RC格上げプログラム304は、ボリューム142にFlag505がオンになった書き込みデータを格上げする直前に、複数のストレージシステム132各々のLRペア操作プログラム304にAt−Time−Suspendコマンドで指定されたLRペアをSuspend状態とするよう指示するとともに、LRペア情報312のSuspend時刻602を書き換える。LRペアをSuspend状態にする流れは、図13で説明する(ステップ1106)。
図12は、図9のステップ904で複数のストレージシステム132各々が実行するLRボリュームの選択動作についての流れ図である。
まず、複数のストレージシステム132各々のLRペア操作プログラム304は、LR管理情報311から、LR1、LR2のペア状態603をチェックする(ステップ1201)。
次に、複数のストレージシステム132各々のLRペア操作プログラム304は、LR1、LR2のペア状態がSuspend状態かどうかを判断し、LR1、LR2のいずれかのペア状態がSuspend状態であればステップ1204へ進み、LR1、LR2の両方ともペア状態がSuspend状態であればステップ1205に進む。このとき、ペア状態がSuspending状態またはResyncing状態であった場合には、それぞれSuspend状態またはResync状態に遷移するまで待つ。また、LR1、LR2の両方ともペア状態がResync状態またはDuplex状態である場合は、存在しない(ステップ1203)。
ステップ1204では、複数のストレージシステム132各々のLR制御プログラム303は、LR1、LR2のペアのうちペア状態がSuspend状態になっているペアを選択する。
一方、ステップ1205では、複数のストレージシステム132各々のLRペア操作プログラム304は、LR管理情報311から、LR1、LR2のSuspend時刻602をチェックする(ステップ1205)。
そして、複数のストレージシステム132各々のLRペア操作プログラム304は、LR1、LR2のSuspend時間602が最新のLRペアを選択する(ステップ1206)。
図13は、図11のステップ1106で複数のストレージシステム132各々が実行する動作の一例を示した流れ図である。
まず、複数のストレージシステム132各々のRC格上げプログラム302は、Flag505がオンになった書き込みデータの直前のSEQ#を持った書き込みデータまで格上げする(ステップ1301)。
次に、複数のストレージシステム132各々のRC格上げプログラム302は、LRペア操作プログラム304にFlag505がオンになった書き込みデータの直前まで格上げが完了したことを通知する(ステップ1302)。
次に、複数のストレージシステム132各々のLRペア操作プログラム304は、Flag505がオンになった書き込みデータの直前まで格上げが完了したことの通知を受信すると、Flag505がオンになった書き込みデータの直前までのデータをボリューム143またはボリューム144に書き込んだ後、At−Time−Suspendで指定されたLRペアをSuspend状態とする。このとき、Quick-Splitを用いてもよい(ステップ1303)。
次に、複数のストレージシステム132各々のLRペア操作プログラム304は、各々のRC格上げプログラム302に、Suspend完了を通知する。このとき、ペア状態がSuspending状態であってもよい。(ステップ1304)。
複数のストレージシステム132各々のLRペア操作プログラム304は、LRペア情報312のペア状態703と、LR管理情報311のペア状態603について、ペア操作を行ったペアについてSuspend状態に書き換え、LR管理情報311のSuspend時刻602について、ペア操作を行ったペアについてAt−Time−Suspendで指定された時刻を書き込む(ステップ1305)。
At−Time−Suspendでは、すべてのストレージシステム131に対し、指定時刻より後の書き込みが発生しないと、Suspend状態とならない。これを防ぐために、ホスト111の定期I/Oプログラム2203は、ストレージシステム131の一つに書き込みが一定時間以上発生していない場合、そのストレージシステムに対し、書き込みを発行する。また、アプリケーション2201が書き込みを発行することなどの別方法で、一定時間以上書き込みが起こらない事を防いでもよい。
本実施形態では、第1のサイトと第2のサイトを有する情報処理システムにおいて、第一のサイトから第二のサイトに対する非同期リモートコピーを停止することなく、ある時点で第1のサイトのボリュームに格納されるデータと第2のサイトのボリュームに格納されるデータの整合性を保証することが出来る。すなわち、複数のストレージシステムを有する第1のサイトと複数のストレージシステムを有する第2のサイトにおいて、第1のサイトに障害が発生した場合、ある時刻以前の第2のサイトの複数のストレージシステム各々に格納されていたデータとある時刻以前の第1のサイトの複数のストレージシステム各々に格納されていたデータとの整合性が保証される。
第2の実施例では、副サイトのストレージシステムは、スナップショット機能を用いて、非同期リモートコピーのターゲットボリュームのある時点でのレプリカを作成する。スナップショット機能は、コピー元ボリュームに対するレプリカボリューム(以下、スナップショットボリュームと称する)をホストに対して、仮想的に提供する。以下、ストレージシステムがホストに対して、スナップショットボリュームを仮想的に提供することをスナップショットボリュームを作成するという。
以下、第2の実施例のシステム構成および、通常動作、障害発生後の復旧方法を説明する。
実施例2における情報処理システムの実施例1との違いは、ストレージシステム132がストレージシステム1411となる点である。ストレージシステム1411は、ストレージシステム132のボリューム143とボリューム144のかわりに、仮想的なボリューム1401と、データを格納するボリューム1402とを有し、その他の構成は、ストレージシステム132と同様である。
図18は、副サイト102に含まれるストレージシステム1411の機能構成の一例を示す図である。
ストレージシステム1411内のメモリ154には、RCデータ転送プログラム301と、RCペア操作プログラム202と、RC格上げプログラム302と、スナップショット制御プログラム1801と、ペア情報211と、RCデータ情報212と、スナップショット情報1811とが格納される。各々のプログラムは、ストレージシステム1411内のプロセッサ153により実行される。尚、ペア情報211と、RCデータ情報212と、スナップショット情報1811とは、ストレージシステム1411内のボリューム142または、ボリューム1402に格納されてもよい。
ここで、スナップショット制御プログラム1801と、スナップショット情報1811以外のプログラムの動作または情報については、実施例1と同等である。
スナップショット制御プログラム1801は、ボリューム142に書き込まれたデータをスナップショット情報1811に基づいて、スナップショットボリュームの作成、削除等、スナップショットボリュームを制御する処理を実行するプログラムである。
ストレージシステム1411は、ストレージシステム131に格納されたデータのコピーを格納するボリューム142と、ある時点でのスナップショットデータを仮想的に格納したスナップショットボリューム1401と、ボリューム142に新たなデータが書き込まれた場合、ある時点より前にボリューム142へ書き込まれたデータの退避先となるボリューム1402とを有する。
スナップショット情報1811の詳細については、図20で説明する。
図14は、本実施形態の非同期リモートコピーとスナップショット機能によって作成されるペアの一例を示す図である。
ペア1601間では、ボリューム141に格納されるデータをボリューム142へ非同期リモートコピーする。通常時、ペア1601は、Duplex状態となる。
本実施形態では、副サイトの複数のストレージシステム1411各々は、ボリューム1402を用いて、常にスナップショットボリューム1401を有する状態となるよう制御する。新しいスナップショットボリュームの作成が完了したのち、古いスナップショットボリュームを削除することを繰り返すことで、複数のストレージシステム1411間で、ある時点で整合性のあるデータが格納される。詳細については、後述する。
図20は、スナップショット情報1811の一例を示す図である。
スナップショット情報1811は、スナップショットNo2001と、スナップショットFlag2002とを有する。
スナップショットNo2001は、作成したスナップショットボリュームを一意に識別するための番号である。スナップショットFlag2002は、最新のスナップショットボリュームを判断するためのものであり、正サイトの障害からの復旧時には、スナップショットFlag2002がオンになっているものを選択する。
図19は、通常運用時のスナップショット作成の動作の一例を示した流れ図である。
まず、ホスト111のコマンド発行プログラム2202は、ストレージシステム131のRCデータ転送プログラム204経由で、複数のストレージシステム1411各々のRC格上げプログラム302に対し、同じ時刻を指定してAt−Time−Snapshotコマンドを発行する(ステップ1901)。At−Time−Snapshotコマンドは、スナップショット機能を実行するためのコマンドである。
次に、複数のストレージシステム1411各々のスナップショット制御プログラム1801は、At−Time−Snapshotコマンドの指定時刻に従って、スナップショットボリュームを作成する。詳細は、図23で説明する(ステップ1902)。
次に、複数のストレージシステム1411各々のスナップショット制御プログラム1801は、スナップショットボリュームを作成すると、スナップショット作成完了をホスト111に通知する(ステップ1903)。
複数のストレージシステム1411各々のスナップショット制御プログラム1801すべてから、スナップショット作成完了の通知を受信すると、ホスト111のコマンド発行プログラム2202は、ストレージシステム131のRCデータ転送プログラム204経由で、複数のストレージシステム1411各々のスナップショット制御プログラム1801に対し、古いスナップショットボリュームの削除コマンドを発行する。このとき、ホスト111は、ストレージシステム1411に、ステップ1902で作成したスナップショットボリュームのスナップショットFlag2002をオンにし、他方のスナップショットボリュームのFlag2002をオフにするよう指示する(ステップ1904)。
次に、複数のストレージシステム1411各々のスナップショット制御プログラム1801は、古いスナップショットボリュームを削除し、ステップ1901に戻る(ステップ1905)。ここで、古いスナップショットボリュームの削除とは、スナップショット制御プログラム1801が、削除コマンドで指定されたスナップショットボリュームに対応する退避ボリューム1402に格納されているデータを消去することと、古いスナップショットボリュームのスナップショットNo2001を消去することである。スナップショット制御プログラム1801は、古いスナップショットボリュームの削除を実行した後、古いスナップショットボリュームの削除をホストに通知する。古いスナップショットボリュームの削除完了の通知を受信した、ホスト111は、古いスナップショットボリュームへのホスト内の設定を変更する。尚、スナップショット制御プログラム1801が古いスナップショットボリュームの削除を実行した後、ホストが古いスナップショットにアクセスした場合、スナップショット制御プログラムがホストにエラーを返し、その後、ホスト111は、古いスナップショットボリュームへのホスト内の設定を変更してもよい。
図23は、スナップショット機能のAt−Time−Snapshotの動作の一例を示す流れ図である。
まず、ホスト111のコマンド発行プログラム2202は、複数のストレージシステム131各々のRCデータ転送プログラム203にAt−Time−Snapshotコマンドを発行する(ステップ2301)。
次に、複数のストレージシステム131各々のRCデータ転送プログラム204は、At−Time−Snapshotコマンドで指定された時刻より後の最初の書き込みに対し、RCデータ情報212のFlag505をオンにする。尚、RCデータ転送プログラム204の代わりに、RC格上げプログラム304がデータを受け取ったときにFlag505をオンにしてもよい。(ステップ2302)。
次に、複数のストレージシステム131各々のRCデータ転送プログラム204は、At−Time−Snapshotコマンドの指定時刻とFlag505がオンになった書き込みデータをストレージシステム1411に転送する(ステップ2303)。
次に、ストレージシステム1411のデータ転送プログラム303は、Flag505がオンになった書き込みデータとAt−Time−Snapshotの指定時刻をストレージシステム131から受け取る(ステップ2304)。
次に、ストレージシステム1411各々のRC格上げプログラム302は、Flag505がオンになった書き込みの直前のデータまでボリューム142に格上げを行う。(ステップ2305)
次に、複数のストレージシステム1411各々のRC格上げプログラム302は、各々のスナップショット制御プログラム1801に、Flag505がオンになった書き込みの直前のデータまで格上げが完了したことを通知する(ステップ2306)。
次に、スナップショット制御プログラム1801は、スナップショットボリューム1401を作成する(ステップ2307)。
次に、複数のストレージシステム1411各々のスナップショット制御プログラム1801は、各々のRC格上げプログラム302にスナップショット作成を通知する(ステップ2308)。
次に、複数のストレージシステム1411各々のスナップショット制御プログラム1801は、スナップショット情報1811に先ほど作成したスナップショットのNoを書き込む(ステップ2309)。尚、ステップ2309は、ステップ2308の前に行ってもよい。
スナップショットボリューム作成後は、ストレージシステム131からストレージシステム1411にデータが転送される場合、ストレージシステム131からストレージシステム1411にデータが転送されるデータが格納される記憶領域に格納されているデータは、ボリューム1402に格納される。その後に、ストレージシステム131からストレージシステム1411に転送されるデータがボリューム142に格納される。ただし、この処理は、当該書き込みが、当該記憶領域に対して、最新のスナップショットボリュームが作成されてから初の、即ち、1回目の書き込みであるか否かをストレージシステム1411内でビットマップにより管理し、1回目の書き込みの場合のみ実行する。ビットマップは、スナップショットNo2001と、1回目の書き込みが実行される前にボリューム141の記憶領域に格納されていたデータが退避されている退避ボリューム1402内のアドレスと、このデータがスナップショットボリュームのどのアドレスに対応するデータかとを記録する。尚、1回目の書き込みであるか否かは、ビットマップで管理する以外の方法で管理してもよい。
図21は、正サイトに障害が発生した後、ホスト112で業務を再開するまで処理の一例を示した流れ図である。
副サイトのホスト112は、正サイトに障害が発生したことを検知する。尚、正サイトの障害の検知は、システムの管理者がホスト112の代わりに行ってもよい。(ステップ2101)。
次に、ホスト112のコマンド発行プログラム1602が、複数のストレージシステム1411各々のRCペア操作プログラム202に対し、非同期リモートコピーのペアを解除するコマンドを発行する(ステップ2102)。
次に、複数のストレージシステム1411各々のRCペア操作プログラム202は、非同期リモートコピーのペアを解除し、ペア状態をSimplex状態にする(ステップ2103)。
次に、複数のストレージシステム1411各々のスナップショット制御プログラム1801は、スナップショットFlag2002がオンになったスナップショットボリュームを選択する(ステップ2104)。
次に、複数のストレージシステム1411各々のスナップショット制御プログラム1801は、ステップ2104で選択したスナップショットボリュームのデータをボリューム142にコピーする。すなわち、ビットマップを参照して、スナップショットFlag2002がオンになったスナップショットボリュームに対応する、ボリューム1402に格納されているデータを特定し、ボリューム142にコピーする。尚、本実施形態では、ボリューム1402をスナップショットNOが付加された全てのスナップショットボリュームで共有するとしたが、ボリューム1402を各々のスナップショットボリュームに対して、用意してもよい。この場合、選択したスナップショットボリュームに対応するボリューム1402に格納されたデータをボリューム142にコピーする(ステップ2105)。
次に、ホスト112で業務を再開する(ステップ2106)。
図22は、副サイト102で業務再開した後、正サイト101が復旧し、ホスト111で業務再開するまでの処理の一例を示した流れ図である。
まず、管理者が、正サイト101の復旧を確認する(ステップ2201)。
次に、情報処理システムに接続される、管理端末からの管理者の指示により、ホスト112のコマンド発行プログラム2202が、複数のストレージシステム132各々に、非同期リモートコピーの初期化コピーコマンドを発行する(ステップ2202)。
次に、複数のストレージシステム1411各々は、ストレージシステム131に非同期リモートコピーの初期化コピーを行う(ステップ2203)。
次に、管理者は、管理端末から、ステップ1003の処理の完了を確認したら、ホスト112の業務を停止するよう指示する(ステップ2204)。
次に、管理端末からの管理者の指示により、複数のストレージシステム132各々のRCペア操作プログラム202は、ストレージシステム1411からストレージシステム131への非同期リモートコピーをストレージシステム131からストレージシステム1411への非同期リモートコピーに変更する(ステップ2205)。
次に、ホスト112のコマンド発行プログラム1602は、複数のストレージシステム1411各々に、スナップショット作成を指示するコマンドを発行する(ステップ2206)。
次に、複数のストレージシステム1411は、スナップショットを作成する。(ステップ2207)
次に、管理者は、ホスト111で業務を再開する(ステップ2208)。
次に、図19に示した、通常動作を再開する(ステップ2209)。
本実施形態では、ボリューム1402には、ボリューム142とスナップショットボリューム1401のデータの差分のみが退避されるため、ローカルレプリケーション機能を用いる場合より、ボリューム量とデータ転送量の削減が可能となる。
第1の実施例での情報処理システムの一例を示す図である。 正サイトに含まれるストレージシステムの機能構成の一例を示す図である。 副サイトに含まれるストレージシステムの機能構成の一例を示す図である。 ペア情報の一例を示す図である。 RCデータ情報の一例を示す図である。 LR管理情報の一例を示す図である。 RCペア情報の一例を示す図である。 通常運用時のLR1、LR2のLRペアを操作する処理フローの一例を示す図である。 正サイトに障害が発生した後、副サイトで業務を復旧する処理フローの一例を示す図である。 副サイトで業務再開した後、正サイトが復旧し、正サイトで業務を再開する処理の一例を示す流れ図である。 ローカルレプリケーション機能のAt−Time−Suspendを実行する処理の一例を示す流れ図である。 障害発生時の、LRボリュームの選択動作の一例を示す図である。 LRペアをAt−Time−Suspendする動作の一例を示す図である。 第2の実施例で用いるスナップショットの動作の一例を示す図である。 非同期リモートコピーとローカルレプリケーション機能における、ペアの一例を示す図である。 正サイトのホストのソフトウェア構成の一例を示す図である。 副サイトのホストのソフトウェア構成の一例を示す図である。 副サイトに含まれるストレージシステムの機能構成の一例を示す図である。 通常運用時のスナップショット作成の動作の一例を示した流れ図である。 スナップショット情報の一例を示す図である。 正サイトに障害が発生した後、副サイトで業務を復旧する処理の一例を示す図である。 副サイトで業務再開した後、正サイトが復旧し、正サイトで業務を再開する処理の一例を示す流れ図である。 スナップショット機能のAt−Time−Snapshotの動作の一例を示す流れ図である。
符号の説明
101 サイト
111 ホスト
131 ストレージシステム
141 ボリューム

Claims (12)

  1. 第1の計算機と接続される、第1のストレージシステムと第2のストレージシステムとを有する第1のサイトと、
    第2の計算機及び前記第1のストレージシステムと接続される第3のストレージシステムと前記第2の計算機及び前記第2のストレージシステムと接続される第4のストレージシステムとを有する第2のサイトを有する情報処理システムであって、
    前記第3のストレージシステムは、前記第1のストレージシステムから転送されるデータを格納する第1の記憶領域と、前記第3のストレージシステムの第1の記憶領域に格納されるデータのコピーを格納する第2の記憶領域と第3の記憶領域を有し、
    前記第4のストレージシステムは、前記第1のストレージシステムから転送されるデータを格納する第1の記憶領域と、前記第4のストレージシステムの第1の記憶領域に格納されるデータのコピーを格納する第2の記憶領域と第3の記憶領域を有し、
    前記第1のストレージシステムと前記第2のストレージシステムは、それぞれ、前記第1の計算機から書き込み時刻が吹かされたデータを受信し、
    前記第1のストレージシステムは、前記第3のストレージシステムに前記第1の計算機から受信したデータと書き込み時刻のコピーを転送し、
    前記第2のストレージシステムは、前記第4のストレージシステムに前記第1の計算機から受信したデータと書き込み時刻のコピーを転送し、
    前記第3のストレージシステムは、前記第1のストレージシステムから受信したデータを、前記第3のストレージシステム内の第1の記憶領域に、データに付加された時刻順に書き込み、前記第3のストレージシステム内の第1の記憶領域に書き込まれたデータのコピーを、前記第3のストレージシステム内の第2の記憶領域にデータが付加された時刻順に書き込み、
    前記第4のストレージシステムは、前記第2のストレージシステムから受信したデータを、前記第4のストレージシステム内の第1の記憶領域に、データに付加された時刻順に書き込み、前記第4のストレージシステム内の第1の記憶領域に書き込まれたデータのコピーを、前記第4のストレージシステム内の第2の記憶領域にデータが付加された時刻順に書き込み、
    前記第3のストレージシステムは、前記第1の計算機から指定された第1の所定の時刻より前の書き込み時刻が付加されたデータの前記第3のストレージシステム内の第2の記憶領域へのコピーが完了したら、前記第3のストレージシステム内の第1の記憶領域に書き込まれたデータのコピーを、前記第3のストレージシステム内の第2の記憶領域に書き込むことを停止し、
    その後に、前記第3のストレージシステムは、前記第3のストレージシステム内の第1の記憶領域に書き込まれたデータのコピーの、前記第3のストレージシステム内の第3の記憶領域への書き込み処理を開始し、
    前記第4のストレージシステムは、前記第1の計算機から指定された第1の所定の時刻より前の書き込み時刻が付加されたデータの前記第4のストレージシステム内の第2の記憶領域へのコピーが完了したら、前記第4のストレージシステム内の第1の記憶領域に書き込まれたデータのコピーを、前記第4のストレージシステム内の第2の記憶領域に書き込むことを停止し、
    その後に、前記第4のストレージシステムは、前記第4のストレージシステム内の第1の記憶領域に書き込まれたデータのコピーの、前記第4のストレージシステム内の第3の記憶領域への書き込み処理を開始することを特徴とする情報処理システム。
  2. 請求項1記載の情報処理システムであって、
    前記第3のストレージシステムは、前記第1の計算機から指定された第2の所定の時刻より前の書き込み時刻が付加されたデータの前記第3のストレージシステム内の第1の記憶領域に書き込まれたデータのコピーが完了したら、前記第3のストレージシステム内の第3の記憶領域に書き込むことを停止し、
    その後、前記第3のストレージシステムは、前記第3のストレージシステム内の第1の記憶領域に格納されたデータを前記第3のストレージシステム何の第2の記憶領域にコピーし、
    前記第4のストレージシステムは、前記第1の計算機から指定された第2の所定の時刻より前の書き込み時刻が付加されたデータの前記第4のストレージシステム内の第1の記憶領域に書き込まれたデータのコピーが完了したら、前記第4のストレージシステム内の第3の記憶領域に書き込むことを停止し、
    その後、前記第4のストレージシステムは、前記第4のストレージシステム内の第1の記憶領域に格納されたデータを前記第3のストレージシステム何の第2の記憶領域にコピーすることを特徴とする情報処理システム。
  3. 請求項2記載の情報処理システムであって、
    前記第1のサイトに障害が発生した場合、
    前記第3のストレージシステムは、前記第3のストレージシステム内の第2の記憶領域または第3の記憶領域のうち、障害が発生した債に、前記第3のストレージシステム内の第1の記憶領域に格納されるデータのコピーの書き込みが停止されていた記憶領域を選択し、選択した記憶領域に格納されているデータを第1の記憶領域にコピーし、
    前記第4のストレージシステムは、前記第4のストレージシステム内の第2の記憶領域または第3の記憶領域のうち、障害が発生した債に、前記第4のストレージシステム内の第1の記憶領域に格納されるデータのコピーの書き込みが停止されていた記憶領域を選択し、選択した記憶領域に格納されているデータを第1の記憶領域にコピーすることを特徴とする情報処理システム。
  4. 請求項3記載の情報処理システムであって、
    前記第1のサイトが復旧した場合、前記第3のストレージシステムは、前記第3のストレージシステム内の第1の記憶領域に格納されているデータのコピーを前記第1のストレージシステムに転送し、
    前記第4のストレージシステムは、前記第4のストレージシステム内の第1の記憶領域に格納されているデータのコピーを前記第1のストレージシステムに転送することを特徴とする情報処理システム。
  5. 第1の計算機と接続される、第1のストレージシステムと第2のストレージシステムとを有する第1のサイトと、
    第2の計算機及び前記第1のストレージシステムと接続される、前記第1のストレージシステムから転送されるデータを格納する第1の記憶領域と、前記第3のストレージシステムの第1の記憶領域に格納されるデータのコピーを格納する第2の記憶領域と第3の記憶領域を有する第3のストレージシステムと、
    前記第2の計算機及び前記第2のストレージシステムと接続される、前記第1のストレージシステムから転送されるデータを格納する第1の記憶領域と、前記第4のストレージシステムの第1の記憶領域に格納されるデータのコピーを格納する第2の記憶領域と第3の記憶領域を有する第4のストレージシステムとを有する
    第2のサイトを有する情報処理システムのコピー方法であって、
    前記第1のストレージシステムと前記第2のストレージシステムそれぞれが前記第1の計算機から書き込み時刻が吹かされたデータを受信するステップと、
    前記第1のストレージシステムから前記第3のストレージシステムへ前記第1の計算機から受信したデータと書き込み時刻のコピーを転送するステップと、
    前記第2のストレージシステムから前記第4のストレージシステムへ前記第1の計算機から受信したデータと書き込み時刻のコピーを転送するステップと、
    前記第1のストレージシステムから受信したデータを、前記第3のストレージシステム内の第1の記憶領域に、データに付加された時刻順に書き込み、更に、前記第3のストレージシステム内の第1の記憶領域に書き込まれたデータのコピーを、前記第3のストレージシステム内の第2の記憶領域にデータが付加された時刻順に書き込むステップと、
    前記第2のストレージシステムから受信したデータを、前記第4のストレージシステム内の第1の記憶領域に、データに付加された時刻順に書き込み、更に、前記第4のストレージシステム内の第1の記憶領域に書き込まれたデータのコピーを、前記第4のストレージシステム内の第2の記憶領域にデータが付加された時刻順に書き込むステップと、
    前記第1の計算機から指定された第1の所定の時刻より前の書き込み時刻が付加されたデータの前記第3のストレージシステム内の第2の記憶領域へのコピーが完了したら、前記第3のストレージシステム内の第1の記憶領域に書き込まれたデータのコピーを、前記第3のストレージシステム内の第2の記憶領域に書き込むことを停止するステップと、
    その後に、前記第3のストレージシステム内の第1の記憶領域に書き込まれたデータのコピーの、前記第3のストレージシステム内の第3の記憶領域への書き込み処理を開始するステップと、
    前記第1の計算機から指定された第1の所定の時刻より前の書き込み時刻が付加されたデータの前記第4のストレージシステム内の第2の記憶領域へのコピーが完了したら、前記第4のストレージシステム内の第1の記憶領域に書き込まれたデータのコピーを、前記第4のストレージシステム内の第2の記憶領域に書き込むことを停止するステップと、
    その後に、前記第4のストレージシステム内の第1の記憶領域に書き込まれたデータのコピーの、前記第4のストレージシステム内の第3の記憶領域への書き込み処理を開始するステップとを含むことを特徴とする情報処理システムのコピー方法。
  6. 請求項5記載の情報処理システムのコピー方法であって、
    前記第1の計算機から指定された第2の所定の時刻より前の書き込み時刻が付加されたデータの前記第3のストレージシステム内の第1の記憶領域に書き込まれたデータのコピーが完了したら、前記第3のストレージシステム内の第3の記憶領域に書き込むことを停止するステップと、
    その後、前記第3のストレージシステム内の第1の記憶領域に格納されたデータを前記第3のストレージシステム何の第2の記憶領域にコピーするステップと、
    前記第1の計算機から指定された第2の所定の時刻より前の書き込み時刻が付加されたデータの前記第4のストレージシステム内の第1の記憶領域に書き込まれたデータのコピーが完了したら、前記第4のストレージシステム内の第3の記憶領域に書き込むことを停止するステップと、
    その後、前記第4のストレージシステム内の第1の記憶領域に格納されたデータを前記第3のストレージシステム何の第2の記憶領域にコピーするステップとを含むことを特徴とする情報処理システムのコピー方法。
  7. 請求項6記載の情報処理システムのコピー方法であって、
    前記第1のサイトに障害が発生した場合、前記第3のストレージシステム内の第2の記憶領域または第3の記憶領域のうち、障害が発生した際に、前記第3のストレージシステム内の第1の記憶領域に格納されるデータのコピーの書き込みが停止されていた記憶領域を選択するステップと、
    選択した記憶領域に格納されているデータを前記第3のストレージシステム内の第1の記憶領域にコピーするステップと、
    前記第4のストレージシステム内の第2の記憶領域または第3の記憶領域のうち、障害が発生した際に、前記第4のストレージシステム内の第1の記憶領域に格納されるデータのコピーの書き込みが停止されていた記憶領域を選択するステップと、
    選択した記憶領域に格納されているデータを前記第4のストレージシステムの第1の記憶領域にコピーするステップとを含むことを特徴とする情報処理システムのコピー方法。
  8. 請求項7記載の情報処理システムのコピー方法であって、
    前記第1のサイトが復旧した場合、前記第3のストレージシステム内の第1の記憶領域に格納されているデータのコピーを前記第1のストレージシステムに転送するステップと、
    前記第4のストレージシステム内の第1の記憶領域に格納されているデータのコピーを前記第2のストレージシステムに転送するステップとを含むこと特徴とする情報処理システムのコピー方法。
  9. 第1の計算機と接続される、第1のストレージシステムと第2のストレージシステムとを有する第1のサイトと、
    第2の計算機及び前記第1のストレージシステムと接続される第3のストレージシステムと前記第2の計算機及び前記第2のストレージシステムと接続される第4のストレージシステムとを有する第2のサイトを有する情報処理システムであって、
    前記第3のストレージシステムは、前記第1のストレージシステムから転送されるデータを格納する第1の記憶領域と、前記第3のストレージシステムの第1の記憶領域に格納されるデータの退避先である第2の記憶領域とを有し、
    前記第4のストレージシステムは、前記第2のストレージシステムから転送されるデータを格納する第1の記憶領域と、前記第4のストレージシステムの第1の記憶領域に格納されるデータの退避先である第2の記憶領域とを有し、
    前記第1のストレージシステムと前記第2のストレージシステムは、それぞれ、前記第1の計算機から書き込み時刻が付加されたデータを受信し、
    前記第1のストレージシステムは、前記第3のストレージシステムに前記第1の計算機から受信したデータと書き込み時刻のコピーを転送し、
    前記第2のストレージシステムは、前記第4のストレージシステムに前記第1の計算機から受信したデータと書き込み時刻のコピーを転送し、
    前記第3のストレージシステムは、前記第1の計算機が指定した第1の所定の時刻以降の書き込み時刻が付与されたデータを受信すると、前記第1の所定の時刻以降の書き込み時刻が付与されたデータが書き込まれる前記第3のストレージシステムの第1の記憶領域に格納されているデータが前記第1の所定の時刻より前のデータであれば、該データを前記第3のストレージシステムの第2の記憶領域にコピーした後、前記第3のストレージシステム内の第1の記憶領域に、前記第1の所定の時刻以降の書き込み時刻が付与されたデータを格納し、
    前記第1の計算機が指定した第2の所定の時刻以降の書き込み時刻が付与されたデータを受信すると、前記第3のストレージシステム内の第2の記憶領域に格納されたデータを消去し、
    前記第4のストレージシステムは、前記第1の所定の時刻以降の書き込み時刻が付与されたデータを受信すると、前記第1の所定の時刻以降の書き込み時刻が付与されたデータが書き込まれる前記第4のストレージシステムの第1の記憶領域に格納されているデータが前記第1の所定の時刻より前のデータであれば、該データを前記第4のストレージシステムの第2の記憶領域にコピーした後、前記第4のストレージシステム内の第1の記憶領域に、前記第1の所定の時刻以降の書き込み時刻が付与されたデータを格納し、
    前記第2の所定の時刻以降の書き込み時刻が付与されたデータを受信すると、前記第1の所定の時刻より前の書き込み時刻が付与された、前記第4のストレージシステム内の第2の記憶領域に格納されたデータを消去することを特徴とする情報処理システム。
  10. 請求項9記載の情報処理システムであって、
    前記第3のストレージシステムは、前記第2の所定の時刻以降の書き込み時刻が付与されたデータが書き込まれる前記第3のストレージシステムの第1の記憶領域に格納されているデータが前記第2の所定の時刻より前のデータであれば、該データを前記第3のストレージシステムの第2の記憶領域にコピーした後、前記第3のストレージシステム内の第1の記憶領域に、前記第2の所定の時刻以降の書き込み時刻が付与されたデータを格納し、
    前記第4のストレージシステムは、前記第2の所定の時刻以降の書き込み時刻が付与されたデータが書き込まれる前記第4のストレージシステムの第1の記憶領域に格納されているデータが前記第2の所定の時刻より前のデータであれば、該データを前記第4のストレージシステムの第2の記憶領域にコピーした後、前記第4のストレージシステム内の第1の記憶領域に、前記第2の所定の時刻以降の書き込み時刻が付与されたデータを格納することを特徴とする情報処理システム。
  11. 請求項9記載の情報処理システムであって、
    前記第1のサイトに障害が発生した場合、
    前記第3のストレージシステムは、前記第2の所定の時刻より前の書き込み時刻を有するデータを前記第3のストレージシステム内の第2の記憶領域から第1の記憶領域にコピーし、
    前記第4のストレージシステムは、前記第2の所定の時刻より前の書き込み時刻を有するデータを前記第4のストレージシステム内の第2の記憶領域から第1の記憶領域にコピーすることを特徴とする情報処理システム。
  12. 請求項11記載の情報処理システムであって、
    前記第1のサイトが復旧した場合、前記第3のストレージシステムは、前記第3のストレージシステム内の第1の記憶領域に格納されているデータのコピーを前記第1のストレージシステムに転送し、
    前記第4のストレージシステムは、前記第4のストレージシステム内の第1の記憶領域に格納されているデータのコピーを前記第1のストレージシステムに転送することを特徴とする情報処理システム。
JP2004270672A 2004-08-09 2004-09-17 ストレージリモートコピー方式 Expired - Fee Related JP4508798B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2004270672A JP4508798B2 (ja) 2004-08-09 2004-09-17 ストレージリモートコピー方式
US10/950,577 US7200725B2 (en) 2004-08-09 2004-09-28 Storage remote copy system
EP04026277A EP1628220B1 (en) 2004-08-09 2004-11-05 Remote copy system maintaining a logically consistent copy
US11/649,214 US20070113034A1 (en) 2004-08-09 2007-01-04 Storage remote copy system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004231789 2004-08-09
JP2004270672A JP4508798B2 (ja) 2004-08-09 2004-09-17 ストレージリモートコピー方式

Publications (2)

Publication Number Publication Date
JP2006079568A true JP2006079568A (ja) 2006-03-23
JP4508798B2 JP4508798B2 (ja) 2010-07-21

Family

ID=36158936

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004270672A Expired - Fee Related JP4508798B2 (ja) 2004-08-09 2004-09-17 ストレージリモートコピー方式

Country Status (3)

Country Link
US (2) US7200725B2 (ja)
EP (1) EP1628220B1 (ja)
JP (1) JP4508798B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007293651A (ja) * 2006-04-26 2007-11-08 Hitachi Ltd ストレージシステム、リモートコピー、その管理方法
JP2010165255A (ja) * 2009-01-16 2010-07-29 Nec Corp 複製ボリュームの動的生成システム、および動的ペア設定方法
US7865680B2 (en) 2007-01-24 2011-01-04 Hitachi, Ltd. Remote copy system

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4728031B2 (ja) * 2005-04-15 2011-07-20 株式会社日立製作所 リモートコピーペアの移行を行うシステム
US7529224B2 (en) * 2005-04-18 2009-05-05 International Business Machines Corporation Scheduler, network processor, and methods for weighted best effort scheduling
US7457934B2 (en) * 2006-03-22 2008-11-25 Hitachi, Ltd. Method and apparatus for reducing the amount of data in a storage system
US7647525B2 (en) * 2006-03-31 2010-01-12 Emc Corporation Resumption of operations following failover in connection with triangular asynchronous replication
JP4920291B2 (ja) * 2006-04-18 2012-04-18 株式会社日立製作所 計算機システム、アクセス制御方法及び管理計算機
JP4942418B2 (ja) 2006-08-04 2012-05-30 株式会社日立製作所 計算機システム及びそのスナップショット作成方法
JP2010039986A (ja) * 2008-08-08 2010-02-18 Hitachi Ltd データのバックアップを管理する計算機システム及び方法
US9569349B2 (en) * 2008-12-19 2017-02-14 Ati Technologies Ulc Method and apparatus for reallocating memory content
WO2011024221A1 (en) 2009-08-26 2011-03-03 Hitachi,Ltd. Remote copy system
JP5323982B2 (ja) * 2010-03-09 2013-10-23 株式会社日立製作所 ボリューム管理装置及びストレージシステム
US8706946B2 (en) * 2011-02-11 2014-04-22 International Business Machines Corporation Extender storage pool system
CN103392164B (zh) 2011-05-31 2016-08-10 株式会社日立制作所 存储系统和存储控制方法
US8554963B1 (en) * 2012-03-23 2013-10-08 DSSD, Inc. Storage system with multicast DMA and unified address space
US9052828B2 (en) 2013-05-31 2015-06-09 International Business Machines Corporation Optimal volume placement across remote replication relationships
EP3238071A4 (en) * 2014-12-28 2018-05-30 Strato Scale Ltd. Recovery synchronization in a distributed storage system
US10168901B2 (en) * 2015-03-12 2019-01-01 Toshiba Memory Corporation Memory system, information processing apparatus, control method, and initialization apparatus
US10515671B2 (en) 2016-09-22 2019-12-24 Advanced Micro Devices, Inc. Method and apparatus for reducing memory access latency
CN110109871B (zh) * 2018-04-26 2021-04-06 中国科学院高能物理研究所 一种跨站点的高能物理数据访问方法及系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10333838A (ja) * 1997-06-04 1998-12-18 Hitachi Ltd データ多重化記憶サブシステム
JPH1115604A (ja) * 1997-06-25 1999-01-22 Hitachi Ltd データ多重化方法
JPH1185408A (ja) * 1997-09-12 1999-03-30 Hitachi Ltd 記憶制御装置
JP2000347811A (ja) * 1999-06-01 2000-12-15 Hitachi Ltd ダイレクトバックアップ方法および記憶装置システム
JP2002278706A (ja) * 2001-03-22 2002-09-27 Toshiba Corp ディスクアレイ装置
JP2003122509A (ja) * 2001-08-08 2003-04-25 Hitachi Ltd リモートコピー制御方法、これを用いた記憶サブシステム、及び、これらを用いた広域データストレージシステム
JP2003167683A (ja) * 2001-11-30 2003-06-13 Hitachi Ltd 情報記憶システム及びその制御方法
JP2003167684A (ja) * 2001-12-04 2003-06-13 Nec Corp ディスクアレイ装置間の遠隔データコピー方式
JP2004005370A (ja) * 2002-04-26 2004-01-08 Hitachi Ltd 記憶装置システムの制御方法および記憶制御装置
JP2004030254A (ja) * 2002-06-26 2004-01-29 Hitachi Ltd リモートsi制御方式
JP2005505045A (ja) * 2001-09-28 2005-02-17 コムヴォールト・システムズ・インコーポレーテッド クイックリカバリボリュームを作成及び管理する方法及び装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0772981A (ja) 1993-07-07 1995-03-17 Hitachi Ltd 記憶制御装置及びその制御方法
KR0128271B1 (ko) * 1994-02-22 1998-04-15 윌리암 티. 엘리스 재해회복을 위한 일관성 그룹 형성방법 및 레코드갱싱의 섀도잉 방법, 주시스템, 원격데이타 섀도잉 시스템과 비동기 원격데이타 복제 시스템
US5799323A (en) * 1995-01-24 1998-08-25 Tandem Computers, Inc. Remote duplicate databased facility with triple contingency protection
US6301643B1 (en) * 1998-09-03 2001-10-09 International Business Machines Corporation Multi-environment data consistency
US6539462B1 (en) * 1999-07-12 2003-03-25 Hitachi Data Systems Corporation Remote data copy using a prospective suspend command
JP4044717B2 (ja) 2000-03-31 2008-02-06 株式会社日立製作所 記憶サブシステムのデータ二重化方法及びデータ二重化システム
US6701455B1 (en) 2000-08-29 2004-03-02 Hitachi, Ltd. Remote copy system with data integrity
AU1480002A (en) * 2000-11-09 2002-05-21 Dixon Minsup Pty Ltd An improved seal
US7143252B2 (en) * 2001-05-10 2006-11-28 Hitachi, Ltd. Storage apparatus system and method of data backup
US7139885B2 (en) * 2001-12-27 2006-11-21 Hitachi, Ltd. Method and apparatus for managing storage based replication
US20040006459A1 (en) * 2002-07-05 2004-01-08 Dehlinger Peter J. Text-searching system and method
US7302536B2 (en) 2003-06-17 2007-11-27 Hitachi, Ltd. Method and apparatus for managing replication volumes
US7120769B2 (en) 2004-03-08 2006-10-10 Hitachi, Ltd. Point in time remote copy for multiple sites

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10333838A (ja) * 1997-06-04 1998-12-18 Hitachi Ltd データ多重化記憶サブシステム
JPH1115604A (ja) * 1997-06-25 1999-01-22 Hitachi Ltd データ多重化方法
JPH1185408A (ja) * 1997-09-12 1999-03-30 Hitachi Ltd 記憶制御装置
JP2000347811A (ja) * 1999-06-01 2000-12-15 Hitachi Ltd ダイレクトバックアップ方法および記憶装置システム
JP2002278706A (ja) * 2001-03-22 2002-09-27 Toshiba Corp ディスクアレイ装置
JP2003122509A (ja) * 2001-08-08 2003-04-25 Hitachi Ltd リモートコピー制御方法、これを用いた記憶サブシステム、及び、これらを用いた広域データストレージシステム
JP2005505045A (ja) * 2001-09-28 2005-02-17 コムヴォールト・システムズ・インコーポレーテッド クイックリカバリボリュームを作成及び管理する方法及び装置
JP2003167683A (ja) * 2001-11-30 2003-06-13 Hitachi Ltd 情報記憶システム及びその制御方法
JP2003167684A (ja) * 2001-12-04 2003-06-13 Nec Corp ディスクアレイ装置間の遠隔データコピー方式
JP2004005370A (ja) * 2002-04-26 2004-01-08 Hitachi Ltd 記憶装置システムの制御方法および記憶制御装置
JP2004030254A (ja) * 2002-06-26 2004-01-29 Hitachi Ltd リモートsi制御方式

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007293651A (ja) * 2006-04-26 2007-11-08 Hitachi Ltd ストレージシステム、リモートコピー、その管理方法
US8024537B2 (en) 2006-04-26 2011-09-20 Hitachi, Ltd. Storage system, remote copy and management method therefor
US8307178B2 (en) 2006-04-26 2012-11-06 Hitachi, Ltd. Storage system, remote copy and management method therefor
US7865680B2 (en) 2007-01-24 2011-01-04 Hitachi, Ltd. Remote copy system
US8161257B2 (en) 2007-01-24 2012-04-17 Hitachi, Ltd. Remote copy system
US8788771B2 (en) 2007-01-24 2014-07-22 Hitachi, Ltd. Remote copy system
JP2010165255A (ja) * 2009-01-16 2010-07-29 Nec Corp 複製ボリュームの動的生成システム、および動的ペア設定方法

Also Published As

Publication number Publication date
EP1628220B1 (en) 2011-01-12
US20060031646A1 (en) 2006-02-09
US7200725B2 (en) 2007-04-03
EP1628220A1 (en) 2006-02-22
US20070113034A1 (en) 2007-05-17
JP4508798B2 (ja) 2010-07-21

Similar Documents

Publication Publication Date Title
JP4508798B2 (ja) ストレージリモートコピー方式
JP4422519B2 (ja) 情報処理システム
JP4727437B2 (ja) データベースを有するストレージシステムの記憶制御方法
JP5124183B2 (ja) 非同期リモートコピーシステムの制御方法及び非同期リモートコピーシステム
JP4842703B2 (ja) ストレージシステム及びそのリカバリボリューム作成方法
JP4756992B2 (ja) ストレージシステム及び記憶制御方法
JP2006023889A (ja) リモートコピーシステム及び記憶装置システム
JP5286212B2 (ja) ストレージクラスタ環境でのリモートコピー制御方法及びシステム
JP2007179342A (ja) ストレージシステム及びスナップショット管理方法
JP2005182222A (ja) リモートコピーシステム
JP2005309550A (ja) リモートコピー方法及びリモートコピーシステム
JP2008225616A (ja) ストレージシステム、リモートコピーシステム、及びデータ復元方法
JP6931081B2 (ja) データバックアップシステム、中継サイトストレージ、データバックアップ方法、及び中継サイトストレージの制御プログラム
JP5521595B2 (ja) ストレージシステム及びストレージ制御方法
JP2005309793A (ja) データ処理システム
JP4577242B2 (ja) データバックアップシステム、データバックアップ方法、及びその動作制御プログラム
JP2006134204A (ja) リモートコピーシステムおよびその制御方法
JP4425728B2 (ja) リモートコピーシステム
JP2006260240A (ja) 計算機システム及び記憶装置とコンピュータ・ソフトウエア並びにデータ移行方法
US8131958B2 (en) Storage system, storage device, and data updating method using a journal volume
US20110167233A1 (en) Computing system and backup method
JP2005293469A (ja) データコピーシステムおよびデータコピー方法
JP4790283B2 (ja) ストレージサブシステム及びストレージシステム
JP2006221487A (ja) リモートコピーシステム
JP4721057B2 (ja) データ管理システム,データ管理方法及びデータ管理用プログラム

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060111

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20060111

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060523

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061016

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20071012

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20090217

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091008

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091022

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100415

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100427

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130514

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140514

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees