JP2002542526A - 冗長データ記憶ユニットを通じてデータをカスケードにする方法および装置 - Google Patents

冗長データ記憶ユニットを通じてデータをカスケードにする方法および装置

Info

Publication number
JP2002542526A
JP2002542526A JP2000600177A JP2000600177A JP2002542526A JP 2002542526 A JP2002542526 A JP 2002542526A JP 2000600177 A JP2000600177 A JP 2000600177A JP 2000600177 A JP2000600177 A JP 2000600177A JP 2002542526 A JP2002542526 A JP 2002542526A
Authority
JP
Japan
Prior art keywords
data
data storage
storage device
facility
storage facility
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000600177A
Other languages
English (en)
Other versions
JP3769190B2 (ja
Inventor
マチュー ガーニュ
ユーヴァル オフェク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
EMC Corp
Original Assignee
EMC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by EMC Corp filed Critical EMC Corp
Publication of JP2002542526A publication Critical patent/JP2002542526A/ja
Application granted granted Critical
Publication of JP3769190B2 publication Critical patent/JP3769190B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2082Data synchronisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1448Management of the data involved in backup or backup restore
    • G06F11/1451Management of the data involved in backup or backup restore by selection of backup contents
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1458Management of the backup or restore process
    • G06F11/1466Management of the backup or restore process to make the backup process non-disruptive
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2069Management of state, configuration or failover
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1456Hardware arrangements for backup
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2058Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring using more than 2 mirrored copies
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2071Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring using a plurality of controllers
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00Data processing: database and file management or data structures
    • Y10S707/99931Database or file accessing
    • Y10S707/99938Concurrency, e.g. lock management in shared database
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00Data processing: database and file management or data structures
    • Y10S707/99941Database schema or data structure
    • Y10S707/99944Object-oriented database structure
    • Y10S707/99945Object-oriented database structure processing
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00Data processing: database and file management or data structures
    • Y10S707/99951File or database maintenance
    • Y10S707/99952Coherency, e.g. same view to multiple users
    • Y10S707/99955Archiving or backup

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Techniques For Improving Reliability Of Storages (AREA)

Abstract

(57)【要約】 プロダクションデータ処理サイト(21)のようなデータ変更装置からリモートデータ受信サイト(23)へデータを転送するためのデータ記憶設備(22)。このデータ記憶設備は、データ変更装置によって生成されたデータ中のそれぞれの変更を記録するための第1のデータ記憶装置を含む。レジスタセット(75)は、それぞれの変更をトラック毎に記録する。第2のデータ記憶装置(34)は、第1及び第2の動作モードを有する。第1の動作モードの間中に、第2のデータ記憶装置は、第1のデータ記憶装置のミラーになる。第2の動作モードの間中に、第2のデータ記憶装置は、ミラーとして働くことをやめ、データ受信サイトへのデータの転送のためのソースになる。変更された情報のみ、すなわち変更された特定のトラックが、第2の動作モード中の連続した動作の間中に転送される。ローカルのプロダクションサイトからのコマンドは、第1と第2の動作モードの間の転送を開始する。

Description

【発明の詳細な説明】
【0001】 (関連出願とのクロス・リファレンス) 出願がこの発明と同じ譲受人に譲渡された、1996年5月31日に出願され
たリモートデータ設備の独立動作の方法及び装置(Method and Apparatus for In
dependent Operation of a Remote Data Facility)のための米国特許第08/6
56,035号。
【0002】 出願がこの発明と同じ譲受人に譲渡された、1997年4月25日に出願され
た共通データセットへの独立かつ同時のアクセスのための方法及び装置(Method
and Apparatus for Independent and Simultaneous Access to a Common Data S
et)のための米国特許第08/656,035号。
【0003】 (技術分野) この発明は、広くデータ処理ネットワーク中の冗長データ記憶デバイスに関し
、より詳しくは、複数の冗長データ記憶ユニット(redundant data storage unit
)を通じてデータをカスケードにする(cascade)ことを可能にする方法及び装置に
関する。
【0004】 (背景技術) データの冗長性によるデータの健全性の維持は、非常に重要な問題となってい
る。データの冗長性は、いくつかの形態及びバリエーションを有する。単一のサ
イトでは、ミラリング(mirroring)又はRAIDの冗長性が、ディスク又は他の記憶
装置の故障から保護する。1996年5月31日に出願された米国特許第08/
656,035号などに記載された他の形態では、冗長性は、遠隔の位置にある
ローカルなシステムを複製することによって達成される。遠隔の場所を使用する
ことによって、1つの場所での自然災害などによってデータが失われることが防
止される。
【0005】 先の米国特許第08/656,035号によると、すべてのデータ処理活動は
、データ記憶設備中に記憶されたデータを処理するためのホストシステムを含む
「ローカル」の又は「プロダクション(production)」のサイトで起こる。地理的
に遠隔な又はバックアップのサイトは、復元(restoration)又は回復(recovery)
データセットを維持するための「冗長な」設備として、データ記憶設備を含む。
このシステムでは、プロダクションサイトでホストがプロダクションサイトデー
タ記憶設備にデータを書き込む度に、プロダクションデータ記憶設備は、リモー
ト記憶設備にデータを自動的に書き込む。これらのアプリケーションの、ほとん
どではないとしても多くでは、リモートサイトのデータ記憶設備にデータを書き
込むことは、バックアップ手順がプロダクション設備の運転に影響を与えないよ
うに、広いバンド幅の通信リンクを通した転送を必要とする。T3及びESCONライ
ンは、それらの費用にもかかわらず、通信リンクとして、典型的に好まれている
【0006】 米国特許第08/842,953号は、プロダクションサイトで典型的に使用
されるBCVデバイスを含む他の概念を開示する。このアプローチでは、データセ
ット、例えば、プロダクションサイトのデータ記憶設備上の「論理ボリューム(l
ogical volume)」、すなわち「プロダクションボリューム(production volume)
」は、通常の方法で動作する。この同じサイトでの他の論理ボリュームは、「BC
Vボリューム(BCV volume)」として示される。ESTABLISHコマンドは、BCVボリュ
ームをプロダクションボリュームに接続し、BCVボリュームは、プロダクション
ボリュームと同期する。SPLITコマンドは、その後、BCVボリュームをプロダクシ
ョンボリュームから分離することができ、BCVボリューム上に記録されたデータ
を他のアプリケーションで利用できるようにすることができる。
【0007】 この他のアプリケーションは、BCVボリューム上に記憶されたデータを変更す
ることができる。結果として、BCVボリュームがプロダクションボリュームと再
接続されるときはいつでも、BCVボリュームとプロダクションボリュームの両方
の変化を表わすデータをBCVボリュームに転送する必要がある。他の選択肢は、
別のESTABLISHコマンドを出すことによって、BCVボリュームをプロダクションボ
リュームに再接続することである。しかし、このコマンドは、BCVボリューム上
のすべてのデータを置換するであろう。変化が起こったかどうかにかかわらす、
プロダクションボリュームからのすべてのデータが、BCVボリュームに転送され
なければならない。
【0008】 過去では、プロダクションサイトでのデータ記憶設備の位置を示すことは、許
容されてきた。特定の重要な用途では、第1の2つのサイトから遠隔の第3のサ
イトで更に他の復元コピーを記憶させることが今でも望まれ、またいくつかの状
況では、それは義務的である。これによって、すべてプロダクションサイトの動
作に透過的に(transparently)、プロダクションサイトから両方のリモートサイ
トにデータをコピーするためのアプローチが必要となる。プロダクションサイト
から単一のリモートサイトにデータをコピーするための前述のアプローチを単に
反復することは、過度の通信コストを含む。プロダクションサイトと第2のリモ
ートサイトの間、あるいは第1と第2のリモートサイトの間のいずれかで、第2
の高速通信リンクが必要となるであろう。必要なものは、よりコストの低い通信
リンクを通じた、種々の遠隔に位置するサイトで存在するデータに重大な相違が
全くない、すべてのデータ記憶設備が同期するか又はほぼ同期するような、冗長
なデータのコピーを確立する方法である。
【0009】 (発明の開示) 従って、本発明の目的は、よりコストの低い通信リンクを通じて通信すること
ができる冗長なデータ記憶設備を確立するための方法及び装置を提供することで
ある。
【0010】 本発明の他の目的は、地理的に遠隔なサイトで、冗長なディスク記憶を実現す
るための方法及び装置を、経済的に提供することである。
【0011】 本発明の更に他の目的は、経済的な通信リンクを使用して、2つ以上の地理的
に遠隔なサイトに、冗長なデータ記憶を提供するための方法及び装置を提供する
ことである。
【0012】 本発明のまた更に他の目的は、経済的な低いバンド幅の通信リンクを使用して
、2つ以上の地理的に遠隔なサイトに、冗長なデータ記憶を提供するための方法
及び装置を提供することである。
【0013】 本発明のまた更に他の目的は、プロダクションサイトで処理されるデータが、
プロダクションサイトでの動作に透過的に達成される冗長性で、2つ以上の冗長
な記憶サイトに記憶されるデータ処理ネットワークを提供することである。
【0014】 本発明によると、プロダクション設備のような、データを変更するデータ処理
設備から、リモートデータ記憶サイトは、データ記憶設備から遠隔の他のサイト
にデータを転送する。リモートサイトのデータ記憶設備は、第1及び第2のデー
タ記憶装置(data store)を含む。第1のデータ記憶装置は、プロダクションサイ
トからデータを受信する。データ変更レコーダ(data change recorder)は、デー
タ処理設備が第1のデータ記憶装置中で行った変更を識別する。第1の動作コン
トロール(operating control)は、その動作モードの間に前記変更レコーダ手段
中で記録された変更に従って第1のデータ記憶装置からデータを受信する、その
ような第1の動作モードを確立する。この動作が完了した後、第2の動作コント
ロールは、前記データ変更レコーダ中に記録された変更に従って、第2のデータ
記憶装置から他のリモートサイトにデータをコピーするための第2の動作モード
を確立する。
【0015】 本発明の他の態様によると、データは、プロダクションサイトとリモートサイ
トの間で転送される。プロダクションサイトは、ホスト及びプロダクション記憶
設備を含み、リモートサイト、リモート記憶設備は、トラック毎に(track-by-tr
ack basis)プロダクション設備からデータを受け取ることを特徴とする第1のデ
ータ記憶装置、及び第2のデータ記憶装置を含む。ホストは、プロダクション設
備が変更する第1のデータ記憶装置中のそれぞれのトラックを識別するための、
複数のトラックステータステーブルの画定を可能にする、複数のカスケードコマ
ンドを発行することができる。更に、ホストは、第1及び第2の動作モードを確
立することができる。第1の動作モードでは、第2のデータ記憶装置は、トラッ
クステータステーブル中に記録された変更に従って、第1のデータ記憶装置から
データを受信する。第2の動作モードの間では、第2のデータ記憶装置からのデ
ータは、第2のモードが確立されるときに、トラックステータステーブル中に記
録される変更に従って、リモート記憶設備にコピーされる。
【0016】 (図面の簡単な説明) 添付の請求項は、本発明の主題を、特に指し示し、明確にクレームする。本発
明の種々の目的、利点及び新しい特徴は、同様の参照番号は同様の部品を示す、
そのような添付の図面と共に、以下の詳細な説明を読むことから、より完全に明
らかになるであろう。
【0017】 (本発明を実施するためのベストモード) (一般的動作) 図1は、ローカル又はプロダクションサイト21、第1のリモートサイト22
及び第2のリモートサイト23に装置が設置されたデータ処理ネットワーク20
を示す。第1及び第2のリモートサイト22及び23は、典型的には、ローカル
のプロダクションサイト21から、及びお互いから、地理的に離れているであろ
う。しかし、明らかになっていくように、ローカルのプロダクションサイト21
及び第1のリモートサイト22の装置は、一緒に置くことができるであろう。
【0018】 冗長性の第1のレベルは、ローカルのプロダクションサイト21と第1のリモ
ートサイト22の間の相互作用(interaction)を通じてデータ処理ネットワーク
20中で達成される。知られているように、1つ以上の中央プロセッサ及びメイ
ンメモリを含むホスト24は、種々のプログラムで動作する。周期的に、ホスト
24は、ホストアダプタ25を通じてディスク記憶デバイスへの転送を実行する
であろう。このディスク記憶デバイスは、関連する情報を記憶するための別個の
セクションに編成された多くの物理ディスクドライブを有することができる。こ
れらは、ファイル又は他のデータブロックを含む。本発明の譲受人によって製造
される装置の状況では、典型的な記憶セクションは、多くの隣接したディスクト
ラックを含む論理ボリュームであり、転送はトラック毎に実行される。図1では
、R1論理ボリューム26は、通常そのようなディスク記憶設備中に含まれる多く
の論理ボリュームを表わす。明らかになっていくように、ホスト24は、それが
そのようなプロダクション記憶設備からホストアダプタ25を通じて必要とする
どのような情報も検索する。そのようなシステムは、技術上周知である。米国特
許第08/656,035号は、1つのそのようなシステムを開示する。
【0019】 示されてはいないが、ローカルのプロダクションサイト21は、R1論理ボリュ
ーム26のための冗長性を提供することができる。例えば、R1ボリュームを、実
際には、ミラリングしたり、又は種々のRAID構成によってホスト24による割込
み動作から特定の物理ディスクドライブの機能不全を防止する、そのような種々
のRAID構成のいずれか1つで、論理ボリュームのアレイによって構成したりする
ことができる。明らかになっていくように、ローカルのプロダクションサイト2
1で実施されるどのような冗長性の構成にも関わらず、本発明を適用することが
できる。
【0020】 技術上知られ、本発明と同じ譲受人に譲渡されたヤナイ他への米国特許第5,
544,347号に記載されているように、第1のリモートサイト22でR1論理
ボリューム26中のデータをミラリングすることによって実施することができる
他の冗長性の構成が開示される。この構成においてより具体的には、ローカルの
プロダクションサイト21は、ESCON又はT3通信ラインのような高速通信リンク
を通じて、第1のリモートサイト22中の対応するリモートアダプタ31に接続
するリモートアダプタ(remote adapter, RA)27を含む。この構成では、ホスト
24がR1論理ボリューム26にデータを書き込むごとに、R2論理ボリューム32
への転送のためにそのデータを高速通信リンクを通じて第1のリモート記憶サイ
ト22中のリモートアダプタ31に転送することによって、リモートアダプタ2
7は応答する。このように、それぞれのWRITE(書込み)動作は、R1論理ボリュー
ム26に関して遠隔のミラーとしての役割をするR2論理ボリューム32に反映す
なわち伝達される。もし、自然災害がローカルのプロダクションサイト21を襲
ったなら、データは、リモートサイトのR2論理ボリュームで簡単に利用できる。
更に、もしホスト33が第1のリモートサイト22中に位置するなら、すべての
動作は、検出されないデータの損失が全くないまま、連続した動作のために第1
のリモートサイトにシフトすることができる。
【0021】 前述のように、米国特許出願第842,953号は、データ記憶設備に関する
BCV論理ボリュームを含むデータ処理ネットワークを開示する。本発明によると
、BCV/R1論理ボリューム34は、第1のリモートサイト22中に含まれる。それ
は、第1のリモートサイト22内の、好適にはR2論理ボリューム32を含む物理
ディスクドライブと異なる物理ディスクドライブ上に、任意の専用の論理ボリュ
ームを含むことができる。
【0022】 この発明によると、また後でより詳細に説明するように、BCV/R1論理ボリュー
ム34を、R2論理ボリューム32又はリモートアダプタ35のいずれかに接続す
ることができる。第1の動作モードでは、BCV論理ボリューム34は、R2論理ボ
リューム32と同期する。BCV/R1論理ボリューム34がリモートアダプタ35に
接続している第2の動作モードでは、データは、R2論理ボリューム40又は他の
データレシーバへの転送のため、他の通信リンク36を通じて、第2のリモート
サイト23中のリモートアダプタ37に転送されるであろう。本発明の1つの実
施形態では、第2のリモートサイト23は、ホスト41を含み、また第1のリモ
ートサイト22にホスト33が存在する必要性をなくす。このようにして、第2
のリモートサイト23は、もし自然災害がローカルのプロダクションサイト21
で起きると、復元サイト又はデータで動作するための第2のサイトになる。
【0023】 第2のリモートサイトは、オプションのBCV/R1論理ボリューム42を含むよう
に示される。後でより完全に説明するように、第2のリモートサイト23にこの
論理ボリュームを含ませることによって、第3のリモートサイトへの本発明に従
って実施される機能の複製(replication)ができる。
【0024】 一般的な条件では、本発明に従って構成されるリモートサイトは、データ記憶
設備を構成する第1のリモートサイト22の基本的な構造を有するであろう。そ
れは、データを変更することができるローカルのプロダクションサイト21への
接続のために、R2論理ボリューム32の形態の第1のデータ記憶装置を含む。BC
V/R1論理ボリューム34は、第2のデータ記憶装置を構成する。第1のコマンド
に応答して、第1のリモートサイト22中のデータ記憶設備は、その動作モード
の間にR2論理ボリューム32がリモートアダプタ31からデータを受信し、それ
によってR1論理ボリューム26中のデータになされた変更に応答する、そのよう
な第1の動作モードで動作する。典型的には、これは、同期的に実施され、その
ため高速通信リンク30が必要である。この動作モードでは、BCV/R1論理ボリュ
ーム34は、それのBCV又は第1の動作モードで動作していると考えられる。
【0025】 本発明によると、BCV/R1論理ボリューム34は、一旦、第1の動作モードで同
期が達成されると、第2の又はR1の動作モードにシフトすることができる。第2
の動作モードでは、第1のリモートサイトは、BCV/R1論理ボリューム34からリ
モートアダプタ35、通信リンク36及びリモートアダプタ37を通じて、R2論
理ボリューム40にデータを転送する。第1から第2の動作モードへのシフトの
タイミングは、システムのオペレータによって決定されるであろう。しかし、第
2の動作モードから第1の動作モードへのシフトは、一般的には、R2論理ボリュ
ーム40へのデータ転送が完了した後に実施される。典型的には、第2の動作モ
ードへのシフトの間の間隔は、R2論理ボリューム32中の活動によって、分、時
間又は更には日の期間になるであろう。
【0026】 更に本発明によると、BCV/R1論理ボリューム34が、それの第2の動作モード
にシフトするたびに、第1の動作モードの間に変更されたデータトラックのみが
、R2論理ボリューム40に転送される。もしローカルのプロダクションサイト2
1が、第2の動作モードへの連続したシフトの間にR2論理ボリューム32の単一
のトラックへの反復した変更をするなら、BCV/R1論理ボリューム34からR2論理
ボリューム40への1つの転送のみが起こるであろう。そのような減少によって
、通信リンク36へのバンド幅の要件を減少させることができる。例えば、通信
リンク36を、低いバンド幅の電話線又はインターネットを通じて転送すること
ができるようなレベルに減少させることができるであろう。
【0027】 このように、本発明に従って、R1論理ボリューム26になされたデータの変更
は、R2論理ボリューム32中で、そしてBCV/R1論理ボリューム34を通じてR2論
理ボリューム40へと複製される。順番にデータを転送するこの処理は、カスケ
ードとして特徴付けられ、ローカル又はプロダクションサイト21でホスト24
によって処理されるカスケードコマンドセットによって制御される。
【0028】 (カスケードコマンド処理) より具体的には、システムのオペレータ、又はローカルのプロダクションサイ
ト21で処理されているアプリケーションプログラムは、第1のリモートサイト
22で実行されているカスケード動作を実行する。知られているように、図1の
ホスト24は、カスケードコマンドセット中のコマンドを含む種々のコマンドを
作り出すであろう。これらのコマンドは、ホストアダプタ25を含む任意の数の
デバイス又はアドレスに命令することができる。
【0029】 ここで図1及び2を参照すると、ホストアダプタ25がコマンドを受信すると
き、ステップ44は、そのコマンドをテストしてデコードするために普通の処理
を使用する。そのテストは、正しいコマンドが受信されたかどうかを確定するた
めに、文法、コンテキスト(context)及び他の関連するパラメータを分析する。
ステップ45は、そのコマンドが、カスケードコマンドセット中のコマンドの1
つであるかどうか、すなわち、カスケードコマンドであるかどうかを確定する。
もし、それがカスケードコマンドでなければ、ホストアダプタ25は、対応する
機能を実施するために手順46を使用する。有効なカスケードコマンドを受信す
ると、ホストアダプタ25は、そのコマンドをリモートアダプタ27に転送する
ために、ステップ47を使用する。
【0030】 リモートアダプタ27がステップ50でコマンドを受信したとき、ステップ5
1は、それ以上分析することなく、そのコマンドを通信リンク30を通じてリモ
ートアダプタ31に、単に転送する。リモートアダプタ31は、同様の処理を実
行する。すなわち、リモートアダプタ31は、ステップ52でコマンドを受信し
、及びそのコマンドをデバイスコントローラ43に転送するためにステップ53
を使用する。
【0031】 デバイスコントローラ34が、ステップ54でリモートアダプタ31からコマ
ンドを受信した後、デバイスコントローラ34は、ステップ55でコマンドをデ
コードし、及びステップ56でそのコマンドを処理する。
【0032】 カスケードコマンド又は他のコマンドによって定義された動作が完了したとき
、デバイスコントローラ43は、リモートアダプタ31への転送のために、ステ
ップ60で受取り(acknowledgement)を生成し、ステップ61、62及び63は
、ホスト24への転送のために、その受取りを通信リンクを逆に通してリモート
アダプタ27及びホストアダプタ25に転送するための処理を表わす。
【0033】 このように、この処理によって、ホスト24中で動作しているプログラムが、
今度はBCV/R1論理ボリューム34の動作を制御する第1のリモートサイト中のデ
バイスコントローラ43へのコマンドを発行することができる。ステップ60か
ら63は、次に、ホストがすべてのそのような動作の完了に気づくように、必要
なフィードバックを提供する。結果として、本発明を実施するための第1のリモ
ートサイトで、図1のホスト33のようなホストに対する要件がなくなる。
【0034】 (第1のリモートサイト22) 図1をもう一度参照すると、第1のリモートサイト22は、本発明を実施する
ための、多くのステータスレジスタ及びテーブル及びプログラムモジュールを含
む。コントロールモジュール70は、ESTABLISHコマンドを処理するためのESTモ
ジュール71、DIFFERENTIAL SPLITコマンドを処理するためのDSモジュール72
、及びREESTABLISHコマンドを処理するためのREESTモジュール73を含む、カス
ケードコマンドセット中のコマンドを含む種々のコマンドを処理するためのモジ
ュールを含む。ESTABLISH及びREESTABLISHコマンドは、カスケード動作から独立
して、機能も実行する。
【0035】 論理ボリュームのそれぞれは、デバイスのための、個々の物理シリンダー、及
びそれらのシリンダー内のトラックのステータスについての情報を維持するため
の専用の部分を含む。R2論理ボリューム32の1つのそのような部分は、それぞ
れのトラックについてのステータスワードを含む専用の部分74によって構成さ
れる。それぞれのステータスワードは、トラックについての情報を含み、種々の
ステータスの機能について利用可能な多くのビット位置(bit position)のために
使用される。それらのビット位置の1つは、カスケード処理での使用のために割
り当てられるであろうし、またそのビット位置は、nがR2論理ボリューム32中
のトラックの数と等しい場合の1×nのテーブルである、プロテクションビット
テーブル(Protection Bit Table)75として複製されるであろう。
【0036】 第1のリモートサイト22は、R2トラックステータステーブル76及びBCV/R1
トラックステータステーブル77も含む。トラックステータステーブル76及び
77のそれぞれは、複数の行、具体的には、4つのミラリングデバイス又はボリ
ュームに割り当てられた4つの行を含む。BCV/R1論理ボリューム34がR2論理ボ
リューム32に接続しているときの通常動作では、R2トラックステータステーブ
ル76のM1行中のビット位置は、R2論理ボリューム32中のトラックに対応し;
M2行中のビット位置は、R1論理ボリューム26中のトラックに対応し;及びM3行
中のビット位置は、BCV動作モードで働いているBCV/R1論理ボリューム34中の
トラックに対応する。同様に、BCV/R1トラックステータステーブル77は、BCV/
R1論理ボリューム34のためのトラックステータスを識別するためのM1行中のビ
ット位置及びR2論理ボリューム40のためのM2行中のビット位置を含む複数のミ
ラー行を含む。
【0037】 PBビットレジスタ80は、カスケード動作の間に使用されることになるプロテ
クションビットテーブル75中の選択されたビット位置を識別する。セッション
フラグ81は、システムがカスケードコマンドに応答して動作しているかどうか
を指示する。コピープログラム82は、後でより詳細に説明するように、第1の
リモートサイト22設備中の異なる論理ボリュームの間でのデータのコピーを行
う。
【0038】 (動作−第1の動作モード) 第1のリモートサイト22は、リモートアダプタ31で受信された変更に従っ
て、その動作モードの間にコピープログラム82がR2論理ボリューム32の形態
の第1のデータ記憶設備からBCV/R1論理ボリューム34の形態の第2のデータ記
憶設備にデータをコピーする、そのような第1の動作モードで動作するように、
最初にコンフィギュレーション設定が行われるであろう。このコンフィギュレー
ションは、BCV/R1論理ボリューム34上のデータがR2論理ボリューム32上に記
憶されたデータと等しくなるような時間まで、同じ状態を保つ。その後、第1の
動作モードは、その同期を維持する。
【0039】 (動作−第2の動作モード) そのような同期が達成された後はいつでも、ホスト24がDIFFERENTIAL SPLIT
カスケードコマンドを発行するときに、第2の動作モードを確立することができ
る。他には、第1のリモートサイトのオプションのホスト33は、そのようなコ
マンドを生成することも可能であろう。コマンドを発行することは、カスケード
セッションを開始する。
【0040】 応答として、デバイスコントローラ43は、BCV/R1論理ボリューム34をR2論
理ボリューム32から分離し、図1のコピープログラムがBCV/R1論理ボリューム
34からリモートアダプタ35を通じて、R2論理ボリューム40を含む図1の第
2のリモートサイト23によって表わされるようなデータ受信デバイスにデータ
を転送することを可能にするであろう。それらの2つのボリュームが同期した後
はいつでも、BCV/R1論理ボリューム34をリモートアダプタ35から分離し、そ
れをR2論理ボリューム32に再接続することによって、REESTABLISHコマンドは
システムを第1の動作モードに戻し、その後、コピープログラム82は、BCV/R1
論理ボリューム34をR2論理ボリューム32と再同期させるであろう。セッショ
ンは、後続のDIFFERENTIAL SPLIT及びREESTABLISHコマンドを発行することによ
って、CLOSE SESSIONコマンドが生成されるまで継続する。
【0041】 図3は、より詳細にDIFFERENTIAL SPLITコマンドの受信に応答した動作を示す
。ホストアダプタ25が、ステップ90で異なるコマンドが受信されたことを認
識するとき、種々のあり得るエラーステータスを求めて、知られているように及
び図2のステップ44に関して説明されるように、コマンドをテストする。もし
何かエラーが存在するなら、その手順は、技術上知られた報告手順を使用して中
止される。もしエラーが存在しないなら、制御部(control)70が応答できるよ
うに、リモートアダプタ27、通信リンク30及びリモートアダプタ31を通じ
た転送のために、DIFFERENTIAL SPLITコマンドを転送するステップ92に制御が
移る。
【0042】 DIFFERENTIAL SPLIT(DS)モジュール72がステップ93で応答するとき、それ
は、ロック(lock)が存在する間は、他のどのアプリケーションも選択された論理
ボリュームに影響を与えることを防ぐために、普通のロック動作(locking opera
tion)を実行する。ステップ94は、セッションフラグ81をモニタし、カスケ
ードセッションが進行中であるかどうかを確認する。もしこれが、カスケード動
作の最初のディファレンシャルスプリット(differential split)動作であれば、
セッションフラグ81は、セッションは進行中でないことを指示する。制御は、
所定の位置に記憶されたデータに基づいてプロテクションビットテーブル(prote
ction bits table)75を確立するステップ95に進行する。例えば、ステップ
95は、R2論理ボリューム32中の専用の部分74から、プロテクションビット
データファイル(protection bits data file)を検索することができる。他には
、ステップ95は、メモリ中に維持されているそのようなファイルのコピーから
、対応する情報を検索することができる。どのような形態でも、それぞれのエン
トリは、トラックに対応しており、それぞれのエントリは、任意の目的に割り当
てることができる複数のビット部分を含む。ステップ95は、開始されているセ
ッションのための1つのビット位置を確立するため、異なるビット位置のどのよ
うな有効な使用も識別するテーブル(図示せず)から、使用されていないビット
部分を選択する。そのようなビット位置を選択するための処理は、技術上周知で
ある。次に、DSモジュール72は、その選択されたビット位置をPB BITレジスタ
80中に記録する。
【0043】 ステップ96は、普通のモジュールから基本的なステップを使用して普通のス
プリット動作を実行するための手順を表わす。この動作の詳細は、図4に示され
る。具体的には、ステップ101は、R2論理ボリューム32のためのミラーとし
てのBCV/R1論理ボリューム34のミラリング動作を終了させる。この実行によっ
て、コピープログラム82が、R2論理ボリューム32からBCV/R1論理ボリューム
34に転送されることが防止される。しかし、R2論理ボリューム32へのそれぞ
れの転送は、R2トラックステータステーブル76のM3行中に記録され、それによ
って、BCV/R1論理ボリューム34中に反映されなかったR2論理ボリューム26中
の変化が指示されるであろう。
【0044】 ステップ102は、前述の米国特許出願第08/842,953号中にの記載
のように、WRITE PENDING動作を管理する。次のステップ103は、第1のリモ
ートサイト22から第2のリモートサイトへのデータの転送がすべての識別情報
を含むように、どの識別テーブル(identification table)も、R2論理ボリューム
32からBCV/R1論理ボリューム34にコピーする。ステップ104は、次に、BC
V/R1論理ボリューム34を、第2のリモートサイト23のR2論理ボリューム40
にデータをコピーするために割り当てる。これによって、コピープログラム82
は、適当な宛先、すなわちR2論理ボリューム40にデータを転送することが可能
になる。
【0045】 図4の動作が完了したとき、図3のステップ105は、BCV/R1トラックステー
タステーブル77のM2ビット位置中のすべてのビットをセットする。全てのビッ
トをセットすることによって、すべてのトラック中のデータが、図1のR2論理ボ
リューム40に転送されることになる動作環境が確立される。ステップ105は
、どのような後続のDIFFERENTIAL SPLITの間でも、後述の他のパスが続くことが
明確になるように、セッションフラグ81もセットする。
【0046】 ステップ106は、ロックを解除する。ステップ107は、BCV/R1トラックス
テータステーブル77中のデータ、特にM3行中の情報に従って、BCV/R1論理ボリ
ューム34からR2論理ボリューム40へのデータの転送を開始するコピープログ
ラム82を開始する。それぞれのコピー動作が起きると、BCV/R1トラックステー
タステーブル77中の対応するM2ビットが消去される。全てのビットが消去され
たとき、ステップ110は、完了ステータス(complete status)を通知(post)し
、対応するメッセージは、ホストアダプタ25に逆に転送され、それによって、
転送が完了したホスト24中で動作する対応するアプリケーションプログラムを
指示する。
【0047】 (動作−第1の動作モードに戻る) すべてのデータがR2論理ボリューム40に転送された後はいつでも、システム
オペレータは、別のカスケードコマンドを構成するREESTABLISHコマンドを発行
することができる。図5のステップ112は、ホストアダプタ25でのそのコマ
ンドの受信を表わす。ステップ113は、もしエラーが検出されたなら処理を中
止する可能性がある、そのコマンドのコンテキスト及び文法のテストを表わす。
エラーが検出されなければ、ホストアダプタ25は、ステップ114を使用して
、リモートアダプタ27及び通信リンク30を通じたリモートアダプタ31への
転送を制御するためのコマンドをデバイスコントローラ43に渡す。
【0048】 デバイスコントローラ43は、ステップ115を使用して、そのようなコマン
ドの受信を指示する。ステップ116は、BCV/R1論理ボリューム34を、R2トラ
ックステータステーブル76中の次に利用可能なデバイスのミラーの指示を有す
るローカルのBCVミラーとして追加する。ステップ117で、デバイスコントロ
ーラ43は、DIFFERENTIAL SPLIT動作のための記憶設備として動作しているBCV/
R1論理ボリューム34をNOT READY(NR)にセットする。これによって、COPYプロ
グラムが更にデータを第2のリモートサイト23にコピーすることが防止される
。どのWRITE PENDING動作も、ステップ118でINVALID状態にセットされる。前
述のアプリケーションで説明したように、どのWRITE PENDING動作をセットする
ことも、記憶されているデータに影響を与えない。ステップ120は、次に、BC
V/R1トラックステータステーブル77のためのM4ビット位置中のビットを有する
BCV/R1論理ボリューム34(すなわち、M3ビット)に割り当てられたミラリング
された位置にあったR2トラックステータステーブル76中のどのビットもマージ
する。他のアプリケーションの間に、M4ビット位置は、BCV/R1デバイスのデータ
になされたどのような変更も、通常記録する。しかし、DIFFERENTIAL SPLITコマ
ンドの間でシステムが第2のモードで動作しているとき、そのような変更はなさ
れない。続いてステップ120は、第1のリモートサイトがDIFFERENTIAL SPLIT
動作モードで動作していた間にR2論理ボリューム32になされたどのような変更
も表わすR2トラックステータステーブル76のM3行中のビットを単に取得する。
次のステップ121は、ロックを解除し、またステップ122は、ホストアダプ
タ25に逆に転送される完了ステータス(complete status)を、ステップ123
でホスト24に通知する。ここで、コピープログラム82が、R2トラックステー
タスレジスタテーブル76中のM3ビット位置の内容に従って、R2論理ボリューム
32からBCV/R1論理ボリューム34にデータを転送するために利用可能になる。
それぞれの転送の間、コピープログラム82は、R2トラックステータスレジスタ
テーブル76のM3ビット位置中の対応するビットを消去する。しかし、プロテク
ションビットテーブル75中の対応するビット位置は、変化しないままである。
【0049】 (動作−R2論理ボリューム40への書込み) 第1のリモートサイト22のデータ記憶設備が、BCV/R1論理ボリューム34か
らR2論理ボリューム40にデータをコピーする第2の動作モードで動作する間隔
の間、ホスト24は、R1論理ボリューム26及びR2論理ボリューム32に書込み
動作を発行し続けることができる。リモートアダプタ31は、図6のステップ1
30でWRITEデータを受信する。その情報は、ステップ131でR2論理ボリュー
ム32に直ちに書き込まれ、R2トラックステータステーブル76中の対応するエ
ントリはステップ132で更新される。この場合、M3行中の対応するトラックビ
ット位置は、WRITE動作がR2論理ボリューム32への転送を引き起こしたが、BCV
/R1論理ボリューム34中の対応する変更を引き起こさなかったことを示すよう
に更新されるであろう。次に、システムは、セッションフラグ81を見て、カス
ケード動作が進行中であったかどうかを確認するであろう。もしそうであったな
ら、ステップ133は、制御をステップ134に移し、それによって、プロテク
ションビットテーブル75及びトラックステータステーブル76中のM3行が同一
の情報を有するように、対応するステータスをプロテクションビットテーブル7
5に書き込む。ステップ134は、もしカスケード動作が進行中でないなら、バ
イパスされる。ステップ135は、次に、その処理によって制御部70が書込み
動作を完了させる、そのような処理を表わす。通常動作の場合は、WRITE動作は
、変更されたデータをBCV/R1論理ボリューム34に転送することによって完了す
る。もし、BCV/R1論理ボリューム34が接続されていなければ、WRITEリクエス
トは、WRITE PENDINGリクエストにされるであろう。
【0050】 (動作−連続ディファレンシャルスプリット動作) システムのオペレータが定義することができ、分、時間又は日で測定すること
ができる、いくつかの追加の時間間隔の後、ホスト21は、他のDIFFERENTIAL S
PLITコマンドを発行する。デバイスコントローラ43がそのコマンドを受信する
とき、それの制御は、図3に示された手順に再び移される。しかし、この場合、
図4のステップ101に関して説明したものと同様の方法で、ステップ94がス
テップ141に分岐するようにセッションフラグ81はセットされ、R2論理ボリ
ューム32へのミラーとしてのBCV/R1論理ボリューム34の動作を終了させる。
これによって、R2論理ボリューム32からBCV論理ボリューム34へのデータの
転送が目的の、コピープログラム82のどのような更なるアクションもできない
ようにされる。ステップ142は、ステップ102と同様に、全てのWRITE PEND
ING動作を管理する。
【0051】 次に、DSモジュール72は、ステップ143を使用して、プロテクションビッ
トテーブル75を、BCV/R1トラックステータステーブル77中のM2行にコピーす
る。次に、DSモジュール72は、プロテクションビットテーブル75を消去する
。これらの動作の後、BCV/R1トラックステータステーブル77中のM2ビット位置
は、処理されている最後のDIFFERENTIAL SPLITリクエストに続いて変更されたR2
論理ボリューム32中のそれらのトラックを指示する。プロテクションビットテ
ーブル75中のプロテクションビットを消去することは、論理ボリューム32及
び34のロックを外すと同時に、どのWRITE PENDING動作も、プロテクションビ
ットテーブル75中の適当なビットをセットすることによって適切に記録される
ことを確実にする。
【0052】 DSモジュール72中の次の制御は、ステップ93でかけられたロックを解除す
るためにステップ143からステップ106にシフトし、そしてステップ107
にシフトし、その結果、コピープログラム82が、BCV/R1論理ボリューム34か
らR2論理ボリューム40にデータを転送できるようになる。しかし、変更された
トラックの中のデータのみが送信されるであろう。すなわち、セッション中の最
初の動作の後の全てのDIFFERENTIAL SPLIT動作は、変更されたトラック中のデー
タに対応する、増加する量の情報のみを送信するということは、このコマンドの
性質である。更に、通信リンク36を通じて実際に転送されたデータのトラック
の数は、連続したDIFFERENTIAL SPLIT動作の間に起こる書込み動作の数より、通
常かなり小さいであろう。例えば、もしそのような間隔の間に、R2論理ボリュー
ム32の同じトラック上の異なる領域への、10回の書込み動作があったとした
ら、BCV/R1デバイス34は、最も新しい情報のみを含み、そして1つのトラック
書込み動作のみが、第2のリモートサイト23中のR2論理ボリューム40を更新
するために必要になるであろう。そのような反復する書込み動作が単一のトラッ
クに発生するとき、通信リンク36のためのバンド幅の要件を劇的に減少させる
ことができる。要件を十分に減らすことができ、そして、T1ラインのような、少
なくとも次のより低いレベルの通信バンド幅を使用することができることは、一
般的にわかる。多くのアプリケーションでは、インターネットを通信リンク36
として使用することができるようなレベルに更にバンド幅の要件を減少させるこ
とができる。
【0053】 DIFFERENTIAL SPLIT及びREESTABLISHコマンドの順番は、冗長なコピーのため
のリポジトリとして、第2のリモートサイト23を使用することが望まれる限り
、反復して継続することができる。一旦、冗長なコピーを維持する必要がなくな
ったら、ホストは、所定のCLOSE SESSIONコマンドを生成することができる。こ
のカスケードコマンドは、レジスタ80中のPBビット位置の割り当てを開放し、
カスケード動作を完了させるためにセッションフラグ81を消去する。
【0054】 本発明は、ローカルのプロダクションサイト21が、プロダクションデータ記
憶設備中でデータを周期的に変更するための装置を表わすような好適な実施の形
態に関して説明してきた。本発明によると、第1のリモートサイトは、プロダク
ションサイトでデータをミラリングするための第1のデータ記憶装置を含む。BC
V/R1論理ボリューム34の形態の第2のデータ記憶装置は、2つの動作モードを
有する。1つでは、BCV/R1論理ボリューム34は、R2論理ボリューム32のため
のミラーとして働く。DIFFERENTIAL SPLIT又は同等のコマンドを発行することに
よって開始される他のモードでは、BCV/R1論理ボリューム34は、R2論理ボリュ
ーム32から分離され、BCV/R1トラックステータステーブル77中で識別された
データをR2論理ボリューム40、又はBCV/R1論理ボリューム34からのデータの
ためのレシーバとして働く第2のリモートサイト23中の他の手段に伝達する。
【0055】 プロテクションビットテーブル75によって表わされるデータ変更記録装置は
、第2の動作モードの間中、BCV/R1論理ボリューム34の内容がR2論理ボリュー
ム40に転送されている間に、R2論理ボリューム32へのどのような変更も記録
する。制御がBCV/R1論理ボリューム34を逆に第1の動作モードにシフトしてい
るとき、データの変更の記録は、それらのデータブロック又はR2論理ボリューム
32からBCV/R1論理ボリューム34に転送しなければならない他のデータブロッ
クを識別する。この変更されたデータの記録は、システムが再びBCV/R1論理ボリ
ューム34の動作を第2の動作モードにシフトさせるとき、BCV/R1論理ボリュー
ム34から第2のリモートサイト23のようなデータ受信サイトに転送されるよ
うなトラックを更に制御する。
【0056】 図1から6に示された具体的に開示された実施形態に行うことができる多くの
変形がある。図1は、例えば、テーブル及びモジュールの特定の編成を表現する
。第1のリモートサイト22の全体の動作から減じることなく、その情報の異な
るコンフィギュレーションで置きかえることができよう。図1から6は、単一の
論理ボリュームに関連する動作を更に表現する。一般的に、ネットワークは、図
1から6に示される動作及び装置を繰り返すことによって、それぞれをこれと同
じ方法で扱うことができる複数の論理ボリュームを含むであろう。更に、種々の
モジュールの説明は、説明の目的のために特定の順番を確立するが;他の補助的
な動作のために必要なような他の動作のいくつかの削除又は追加も含むことがで
きる、他の順番でもよいであろう。そのような順番は、動作モードの間のそれぞ
れの転送をシステムのオペレータが開始するために、マニュアルで制御すること
ができる。他には、カスケードセッションのすべて又は部分を自動制御とするこ
ともできよう。このように、本発明は特定の実施形態に関して開示してきたが、
本発明の真の精神及び範囲内の、すべての変形及び変更を包含することが、添付
の請求項の目的である。
【図面の簡単な説明】
【図1】 プロダクション設備及び2つの地理的に遠隔の設備を含むデータ処理ネットワ
ークのブロック図である。
【図2】 プロダクション設備からリモート記憶設備へのコマンドの転送を示すフロー図
である。
【図3】 DIFFERENTIAL SPLITコマンドに応答した図1のネットワークの動作を示す図で
ある。
【図4】 図3で示された動作で使用される手順の詳細を示す図である。
【図5】 RE-ESTABLISHコマンドに応答した図1のネットワークの動作を示す図である。
【図6】 DIFFERENTIAL SPLITコマンドを処理した後に起きる他の動作を示す図である。
【手続補正書】
【提出日】平成13年3月7日(2001.3.7)
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正の内容】
【特許請求の範囲】
───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 5B018 GA04 HA05 MA12 QA15 5B082 DE03 GB02 5B083 AA05 CC04 CD11 EE08

Claims (38)

    【特許請求の範囲】
  1. 【請求項1】 データ処理システムにおける、データ変更手段とデータ受信
    手段の間に介在するデータ記憶設備であって、 A.データを前記データ変更手段から受信するための、前記データ変更手段との
    接続のための第1のデータ記憶装置と、 B.第2のデータ記憶装置と、 C.前記第1のデータ記憶装置中で前記データ変更手段が行う変更を識別するた
    めの変更記録手段と、 D.前記変更記録手段中に記録された変更に従って、第1の動作モードの間に前
    記第2のデータ記憶装置が前記第1のデータ記憶装置からデータを受信する、そ
    のような第1の動作モードを確立するための第1の動作手段と、 E.第2の動作モードが確立されるときに前記変更記録手段中に記録される変更
    に従って、前記第2のデータ記憶装置から前記受信手段にデータをコピーするた
    めの前記第2の動作モードを確立するための第2の動作手段と、を有することを
    特徴とするデータ記憶設備。
  2. 【請求項2】 前記データ記憶設備内の転送は、データブロックとして起こ
    り、前記第1のデータ記憶装置は、それぞれのデータブロックについての別の情
    報のための記憶装置を含み、前記変更記録手段は、前記別の情報を受信するため
    の第1のテーブルを含み、前記第2の動作手段は、所定の情報の内容を前記第1
    のデータ記憶装置から前記第1のテーブルに転送することを特徴とする請求項1
    に記載のデータ記憶設備。
  3. 【請求項3】 前記データ記憶設備内の転送は、データブロックとして起こ
    り、前記第1のデータ記憶装置の部分は、それぞれのデータブロックについての
    情報を含み、前記第2の動作手段は、前記第1のデータ記憶装置の部分の内容を
    前記変更記録手段に転送することを特徴とする請求項1に記載のデータ記憶設備
  4. 【請求項4】 前記データ記憶設備は、前記第1及び第2の動作手段を相互
    に排他的に使用可能にする前記変更手段から受信する所定のデータに応答する制
    御手段を更に含むことを特徴とする請求項3に記載のデータ記憶設備。
  5. 【請求項5】 前記データ記憶設備は、カスケードセッションの間中に制御
    手段が交互にかつ反復して前記第1及び第2の動作手段を相互に排他的に使用可
    能にする、そのようなカスケードセッションを実行するための前記変更手段から
    の、反復して生成される第1及び第2のコマンドに応答する前記制御手段を更に
    含むことを特徴とする請求項3に記載のデータ記憶設備。
  6. 【請求項6】 データを転送するためのコピー手段を更に含み、前記変更記
    録手段は、第1、第2及び第3のテーブルを含み、前記第1の動作手段は、所定
    の位置から前記第1のテーブルへデータを転送し、かつ、カスケードセッション
    における最初の反復の間中に、前記第2のテーブル中の全てのデータを第1の状
    態にセットし、それによって前記コピー手段が前記第2のデータ記憶装置中の全
    ての前記データを前記受信手段に転送することを特徴とする請求項5に記載のデ
    ータ記憶設備。
  7. 【請求項7】 次の動作における前記第1の動作手段は、前記第1及び第2
    のテーブル中の対応するデータを変更し、次の動作における前記第2の動作手段
    は、前記第1のテーブルから前記第3のテーブルに対応するデータを転送するこ
    とを特徴とする請求項6に記載のデータ記憶設備。
  8. 【請求項8】 ホスト及びプロダクション記憶設備を有するプロダクション
    サイトを含み、かつ、リモート記憶設備、前記プロダクションサイトを相互接続
    するための記憶設備、及び前記ホストが複数のカスケードコマンドを発行するこ
    とができるような前記リモートサイトを含むデータネットワークにおける、中間
    記憶設備であって、 A.トラック毎にデータを前記プロダクション設備から受信するための、前記プ
    ロダクション設備との接続のための第1のデータ記憶装置と、 B.第2のデータ記憶装置と、 C.前記プロダクション設備が変更する前記第1のデータ記憶装置中のそれぞれ
    のトラックを識別するための複数のトラックステータステーブルと、 D.第1のカスケードコマンドに応答して、前記トラックステータステーブル中
    に記録された変更に従って、第1の動作モードの間中に前記第2のデータ記憶装
    置が前記第1のデータ記憶装置からデータを受信する、そのような第1の動作モ
    ードを確立するための第1の動作手段と、 E.第2のカスケードコマンドに応答して、第2の動作モードが確立されるとき
    に前記トラックステータステーブル中に記録される変更に従って、前記第2のデ
    ータ記憶装置から前記リモート記憶設備にデータをコピーするための、前記第2
    の動作モードを確立するための第2の動作手段と、を有することを特徴とする中
    間記憶設備。
  9. 【請求項9】 前記第1のデータ記憶装置は、それぞれのトラックについて
    の別の情報のための記憶装置を含み、前記トラックステータステーブルは、前記
    別の情報を受信するための第1のテーブルを含み、前記第2の動作手段は、所定
    の情報の内容を前記第1のデータ記憶装置から前記第1のテーブルに転送するこ
    とを特徴とする請求項8に記載の中間記憶設備。
  10. 【請求項10】 前記第1のデータ記憶装置の部分は、それぞれのデータト
    ラックについての情報を含み、前記第2の動作手段は、前記第1のデータ記憶装
    置の部分の内容を前記トラックステータステーブルに転送することを特徴とする
    請求項8に記載のデータ記憶設備。
  11. 【請求項11】 前記中間記憶設備は、前記第1及び第2の動作手段を相互
    に排他的に使用可能にする前記プロダクション設備から受信する所定のデータに
    応答する制御手段を更に含むことを特徴とする請求項10に記載のデータ記憶設
    備。
  12. 【請求項12】 前記中間記憶設備は、カスケードセッションの間中に制御
    手段が交互にかつ反復して前記第1及び第2の動作手段を相互に排他的に使用可
    能にする、そのようなカスケードセッションを実行するための前記プロダクショ
    ン設備からの、反復して生成される第1及び第2のコマンドに応答する前記制御
    手段を更に含むことを特徴とする請求項10に記載のデータ記憶設備。
  13. 【請求項13】 データを転送するためのコピー手段を更に含み、前記トラ
    ックステータステーブルは、第1、第2及び第3のテーブルを含み、前記第1の
    動作手段は、前記第1のデータ記憶装置の部分から前記第1のテーブルへデータ
    を転送し、かつカスケードセッションにおける最初の反復の間中に、前記第2の
    テーブル中の全てのデータを第1の状態にセットし、それによって前記コピー手
    段が前記第2のデータ記憶装置中の全ての前記データを前記受信手段に転送する
    ことを特徴とする請求項12に記載のデータ記憶設備。
  14. 【請求項14】 次の動作における前記第1の動作手段は、前記第1及び第
    2のテーブル中の対応するデータを変更し、次の動作における前記第2の動作手
    段は、前記第1のテーブルから前記第3のテーブルに対応するデータを転送する
    ことを特徴とする請求項13に記載のデータ記憶設備。
  15. 【請求項15】 前記中間記憶設備は、前記リモートサイトから地理的に遠
    隔であり、前記中間記憶設備と前記リモートサイトの間の通信リンクを確立する
    ための手段を更に有することを特徴とする請求項10に記載のデータ記憶設備。
  16. 【請求項16】 前記中間記憶設備は、前記プロダクション設備から地理的
    に遠隔であり、前記プロダクション設備と前記中間記憶設備の間の通信リンクを
    確立するための手段を更に有することを特徴とする請求項10に記載のデータ記
    憶設備。
  17. 【請求項17】 前記中間記憶設備は、前記リモートサイトから地理的に遠
    隔であり、前記中間記憶設備と前記リモートサイトの間の通信リンクを確立する
    ための手段を更に有することを特徴とする請求項16に記載のデータ記憶設備。
  18. 【請求項18】 前記中間記憶設備は、前記リモートサイトから地理的に遠
    隔であり、前記中間記憶設備と前記リモートサイトの間の通信リンクを確立する
    ための手段を更に有し、前記通信リンクのそれぞれは、異なる特性のバンド幅を
    有することを特徴とする請求項16に記載のデータ記憶設備。
  19. 【請求項19】 前記中間記憶設備は、前記リモートサイトから地理的に遠
    隔であり、前記中間記憶設備と前記リモートサイトの間の通信リンクを確立する
    ための手段を更に有し、前記プロダクション設備への前記通信リンクは、前記リ
    モートサイトへの前記通信リンクより広い特性のバンド幅を有することを特徴と
    する請求項16に記載のデータ記憶設備。
  20. 【請求項20】 データ変更設備とデータ受信設備の間でデータを転送する
    ための方法であって、 A.変更されたデータを受信するための第1のデータ記憶装置を確立するステッ
    プと、 B.第2のデータ記憶装置を確立するステップと、 C.受信された変更されたデータによって作り出される前記第1のデータ記憶装
    置中の変更を識別するステップと、 D.識別された前記変更に従って、第1の動作モードの間に前記第2のデータ記
    憶装置が前記第1のデータ記憶装置からデータを受信する、そのような第1の動
    作モードを確立するステップと、 E.第2の動作モードが確立されるときに識別される変更に従って、前記第2の
    データ記憶装置から前記受信設備にデータをコピーするための第2の動作モード
    を確立するステップと、を有することを特徴とする方法。
  21. 【請求項21】 前記データ記憶設備内の転送は、データブロックとして起
    こり、前記第1のデータ記憶装置は、それぞれのデータブロックについての別の
    情報のための記憶装置を含み、前記変更を識別するステップは、前記別の情報を
    受信するための第1のテーブルを確立するステップ、及び前記第2の動作モード
    が確立しているときに所定の情報の内容を前記第1のデータ記憶装置から前記第
    1のテーブルに転送することを特徴とする請求項20に記載の方法。
  22. 【請求項22】 前記データ記憶設備内の転送は、データブロックとして起
    こり、前記第1のデータ記憶装置の部分は、それぞれのデータブロックについて
    の情報を含み、前記第1のデータ記憶装置の部分の内容は、最初の識別情報を提
    供するために転送されることを特徴とする請求項20に記載の方法。
  23. 【請求項23】 前記第1及び第2の動作モードは、前記変更設備からの所
    定のデータに応答して相互に排他的に動作することを特徴とする請求項22に記
    載の方法。
  24. 【請求項24】 前記変更設備からの第1及び第2のコマンドの反復する生
    成は、カスケードセッションの間中に前記第1及び第2の動作モードが相互に排
    他的に反復して使用可能にされる、そのようなカスケードセッションを実行する
    ことを特徴とする請求項22に記載の方法。
  25. 【請求項25】 データは、コピーによって転送され、変更の前記識別は、
    第1、第2及び第3のテーブルを含み、第1の動作モードの開始は、所定の位置
    から前記第1のテーブルへデータを転送し、かつカスケードセッションにおける
    最初の反復の間中に、前記第2のテーブル中の全てのデータを第1の状態にセッ
    トし、それによって前記コピーが前記第2のデータ記憶装置中の全ての前記デー
    タを前記受信設備に転送することを更に特徴とする請求項24に記載の方法。
  26. 【請求項26】 次の動作における前記第1の動作モードは、前記第1及び
    第2のテーブル中の対応するデータを変更し、次の動作における前記第2の動作
    モードは、前記第1のテーブルから前記第3のテーブルに対応するデータを転送
    することを特徴とする請求項25に記載の方法。
  27. 【請求項27】 ホスト及びプロダクション記憶設備を有するプロダクショ
    ンサイトと、リモート記憶設備を有するリモートサイトの間でデータを転送する
    ための方法であって、前記ホストは、複数のカスケードコマンドを発行すること
    ができ、 A.トラック毎にデータを前記プロダクション設備から受信するための第1のデ
    ータ記憶装置を確立するステップと、 B.第2のデータ記憶装置を確立するステップと、 C.前記プロダクション設備が変更する前記第1のデータ記憶装置中のそれぞれ
    のトラックを識別するための複数のトラックステータステーブルを定義するステ
    ップと、 D.第1のカスケードコマンドに応答して、前記トラックステータステーブル中
    に記録された変更に従って、第1の動作モードの間中に前記第2のデータ記憶装
    置が前記第1のデータ記憶装置からデータを受信する、そのような第1の動作モ
    ードを確立するステップと、 E.第2のカスケードコマンドに応答して、第2の動作モードが確立されるとき
    に前記トラックステータステーブル中に記録される変更に従って、前記第2のデ
    ータ記憶装置から前記リモート記憶設備にデータをコピーするための、前記第2
    の動作モードを確立するステップと、を有することを特徴とする方法。
  28. 【請求項28】 前記第1のデータ記憶装置は、それぞれのトラックについ
    ての別の情報のための記憶装置を含み、前記変更トラックステータステーブルは
    、前記別の情報を受信するための第1のテーブルを含み、前記第2の動作手段は
    、所定の情報の内容を前記第1のデータ記憶装置から前記第1のテーブルに転送
    することを特徴とする請求項27に記載の方法。
  29. 【請求項29】 前記第1のデータ記憶装置の部分は、それぞれのトラック
    についての情報を含み、前記第2の動作手段は、前記第1のデータ記憶装置の部
    分の内容を前記トラックステータステーブルに転送することを特徴とする請求項
    27に記載の方法。
  30. 【請求項30】 前記中間データ記憶設備は、前記第1及び第2の動作手段
    を相互に排他的に使用可能にする前記プロダクション設備から受信する所定のデ
    ータに応答する制御手段を更に含むことを特徴とする請求項29に記載の方法。
  31. 【請求項31】 前記中間データ記憶設備は、カスケードセッションの間中
    に制御手段が交互にかつ反復して前記第1及び第2の動作手段を相互に排他的に
    使用可能にする、そのようなカスケードセッションを実行するための前記プロダ
    クション設備からの、反復して生成される第1及び第2のコマンドに応答する前
    記制御手段を更に含むことを特徴とする請求項29に記載の方法。
  32. 【請求項32】 データ転送を実行するためにデータをコピーし、第1、第
    2及び第3のテーブルを有する前記トラックステータステーブルを確立し、前記
    第1のデータ記憶装置の部分から前記第1のテーブルへデータを転送し、かつカ
    スケードセッションにおける最初の反復の間中に、第1の動作モードの第1の状
    態に前記第2のテーブル中のすべてのデータをセットし、それによって前記コピ
    ー手段が前記第2のデータ記憶装置中の全ての前記データを前記受信手段に転送
    するステップを更に含むことを特徴とする請求項31に記載の方法。
  33. 【請求項33】 次の反復における前記第1の動作モードは、前記第1及び
    第2のテーブル中の対応するデータを変更し、次の反復における前記第2の動作
    モードの間に、前記第1のテーブルから前記第3のテーブルに対応するデータが
    転送されることを特徴とする請求項32に記載の方法。
  34. 【請求項34】 前記中間記憶設備は、前記リモートサイトから地理的に遠
    隔であり、前記中間記憶設備と前記リモートサイトの間の通信リンクを確立する
    ステップを更に有することを特徴とする請求項29に記載の方法。
  35. 【請求項35】 前記中間記憶設備は、前記プロダクション設備から地理的
    に遠隔であり、前記プロダクション設備と前記中間記憶設備の間の通信リンクを
    確立するステップを更に有することを特徴とする請求項29に記載の方法。
  36. 【請求項36】 前記中間記憶設備は、前記リモートサイトから地理的に遠
    隔であり、前記中間記憶設備と前記リモートサイトの間の通信リンクを確立する
    ステップを更に有することを特徴とする請求項35に記載の方法。
  37. 【請求項37】 前記通信リンクを確立する前記ステップは、異なる特性の
    バンド幅を有する通信リンクを確立することを特徴とする請求項35に記載の方
    法。
  38. 【請求項38】 前記通信リンクを確立する前記ステップは、前記リモート
    サイトへの前記通信リンクより広い特性のバンド幅を有する前記プロダクション
    設備への通信リンクを確立することを特徴とする請求項35に記載の方法。
JP2000600177A 1999-02-17 1999-10-12 冗長データ記憶ユニットを通じてデータをカスケードにする方法および装置 Expired - Lifetime JP3769190B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US09/251,812 US6209002B1 (en) 1999-02-17 1999-02-17 Method and apparatus for cascading data through redundant data storage units
US09/251,812 1999-02-17
PCT/US1999/023939 WO2000049500A1 (en) 1999-02-17 1999-10-12 Method and apparatus for cascading data through redundant data storage units

Publications (2)

Publication Number Publication Date
JP2002542526A true JP2002542526A (ja) 2002-12-10
JP3769190B2 JP3769190B2 (ja) 2006-04-19

Family

ID=22953524

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000600177A Expired - Lifetime JP3769190B2 (ja) 1999-02-17 1999-10-12 冗長データ記憶ユニットを通じてデータをカスケードにする方法および装置

Country Status (7)

Country Link
US (3) US6209002B1 (ja)
EP (2) EP1071993B1 (ja)
JP (1) JP3769190B2 (ja)
KR (1) KR100562820B1 (ja)
DE (1) DE69927258T2 (ja)
IL (3) IL139069A0 (ja)
WO (1) WO2000049500A1 (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004519754A (ja) * 2000-09-06 2004-07-02 ユニシス コーポレイシヨン データの整合性を保証するための方法および装置
JP2005062928A (ja) * 2003-08-11 2005-03-10 Hitachi Ltd 複数のサイトにリモートコピーを行うシステム
JP2005157521A (ja) * 2003-11-21 2005-06-16 Hitachi Ltd 遠隔記憶装置の状態情報監視方法および記憶サブシステム
JP2006065629A (ja) * 2004-08-27 2006-03-09 Hitachi Ltd データ処理システム及び方法
JP2006244501A (ja) * 2005-03-02 2006-09-14 Internatl Business Mach Corp <Ibm> カスケード・コピー・ターゲティング機能及び高められた完全性をもつストレージ・システム
US7162580B2 (en) 2003-12-16 2007-01-09 Hitachi, Ltd. Remote copy control method
JP2009505281A (ja) * 2005-08-19 2009-02-05 マイクロソフト コーポレーション データベースフラグメントのクローン化および管理
JP2010015301A (ja) * 2008-07-02 2010-01-21 Hitachi Ltd ストレージシステム及びリモートコピー復旧方法
US7725445B2 (en) 2003-06-27 2010-05-25 Hitachi, Ltd. Data replication among storage systems
US7739371B2 (en) 2004-06-09 2010-06-15 Hitachi, Ltd. Computer system
US7870423B2 (en) 2004-09-01 2011-01-11 Hitachi, Ltd. Data processing system and copy processing method thereof
US8234471B2 (en) 2003-06-27 2012-07-31 Hitachi, Ltd. Remote copy method and remote copy system
JP2012208649A (ja) * 2011-03-29 2012-10-25 Nec Corp 分散ファイルシステム

Families Citing this family (119)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7756986B2 (en) * 1998-06-30 2010-07-13 Emc Corporation Method and apparatus for providing data management for a storage system coupled to a network
US6662197B1 (en) * 1999-06-25 2003-12-09 Emc Corporation Method and apparatus for monitoring update activity in a data storage facility
TW454120B (en) 1999-11-11 2001-09-11 Miralink Corp Flexible remote data mirroring
US6401178B1 (en) 1999-12-23 2002-06-04 Emc Corporatiion Data processing method and apparatus for enabling independent access to replicated data
US20020046251A1 (en) * 2001-03-09 2002-04-18 Datacube, Inc. Streaming memory controller
JP3951547B2 (ja) * 2000-03-24 2007-08-01 株式会社日立製作所 レプリケーションによるホスト間データ共有方式
JP2002189570A (ja) 2000-12-20 2002-07-05 Hitachi Ltd 記憶システムの二重化方法および記憶システム
US7260636B2 (en) 2000-12-22 2007-08-21 Emc Corporation Method and apparatus for preventing unauthorized access by a network device
US6516394B1 (en) * 2001-03-02 2003-02-04 Emc Corporation System and method for management of storage devices using labels
US6728736B2 (en) 2001-03-14 2004-04-27 Storage Technology Corporation System and method for synchronizing a data copy using an accumulation remote copy trio
WO2002093963A1 (en) * 2001-05-11 2002-11-21 Nokia Corporation Data element information management in a network environment
JP4175789B2 (ja) * 2001-07-05 2008-11-05 株式会社日立製作所 記憶装置のファイルレベルリモートコピー方法
US20030014523A1 (en) * 2001-07-13 2003-01-16 John Teloh Storage network data replicator
US7827136B1 (en) 2001-09-20 2010-11-02 Emc Corporation Management for replication of data stored in a data storage environment including a system and method for failover protection of software agents operating in the environment
US7539745B1 (en) 2001-12-11 2009-05-26 Emc Corporation Network management for replication of data stored in a data storage environment
US7155463B1 (en) * 2001-09-20 2006-12-26 Emc Corporation System and method for replication of one or more databases
US6862632B1 (en) 2001-11-14 2005-03-01 Emc Corporation Dynamic RDF system for transferring initial data between source and destination volume wherein data maybe restored to either volume at same time other data is written
US6701392B1 (en) * 2001-11-14 2004-03-02 Emc Corporation Hierarchical approach to indentifying changing device characteristics
US6976139B2 (en) * 2001-11-14 2005-12-13 Emc Corporation Reversing a communication path between storage devices
US7152078B2 (en) 2001-12-27 2006-12-19 Hitachi, Ltd. Systems, methods and computer program products for backup and restoring storage volumes in a storage area network
US7139932B2 (en) * 2002-01-03 2006-11-21 Hitachi, Ltd. Data synchronization of multiple remote storage after remote copy suspension
US6745303B2 (en) * 2002-01-03 2004-06-01 Hitachi, Ltd. Data synchronization of multiple remote storage
US6948089B2 (en) * 2002-01-10 2005-09-20 Hitachi, Ltd. Apparatus and method for multiple generation remote backup and fast restore
US7007142B2 (en) * 2002-02-19 2006-02-28 Intel Corporation Network data storage-related operations
US20030204539A1 (en) * 2002-04-30 2003-10-30 Bergsten James R. Facility protection utilizing fault tolerant storage controllers
US7080378B1 (en) 2002-05-17 2006-07-18 Storage Technology Corporation Workload balancing using dynamically allocated virtual servers
US20030217131A1 (en) * 2002-05-17 2003-11-20 Storage Technology Corporation Processing distribution using instant copy
US7103727B2 (en) * 2002-07-30 2006-09-05 Hitachi, Ltd. Storage system for multi-site remote copy
US6928476B2 (en) * 2002-08-23 2005-08-09 Mirra, Inc. Peer to peer remote data storage and collaboration
JP2004110367A (ja) * 2002-09-18 2004-04-08 Hitachi Ltd 記憶装置システムの制御方法、記憶制御装置、および記憶装置システム
US6957301B2 (en) 2002-09-18 2005-10-18 International Business Machines Corporation System and method for detecting data integrity problems on a data storage device
US7263593B2 (en) * 2002-11-25 2007-08-28 Hitachi, Ltd. Virtualization controller and data transfer control method
US7107272B1 (en) 2002-12-02 2006-09-12 Storage Technology Corporation Independent distributed metadata system and method
US7080225B1 (en) * 2002-12-10 2006-07-18 Emc Corporation Method and apparatus for managing migration of data in a computer system
US6996682B1 (en) * 2002-12-27 2006-02-07 Storage Technology Corporation System and method for cascading data updates through a virtual copy hierarchy
JP2004220450A (ja) 2003-01-16 2004-08-05 Hitachi Ltd ストレージ装置、その導入方法、及びその導入プログラム
JP4429634B2 (ja) * 2003-06-02 2010-03-10 株式会社日立製作所 ストレージシステム、及びストレージシステムの制御方法
JP2005157825A (ja) * 2003-11-27 2005-06-16 Hitachi Ltd 障害復旧機能を有する計算機システム、および、障害復旧方法
US7065589B2 (en) * 2003-06-23 2006-06-20 Hitachi, Ltd. Three data center remote copy system with journaling
JP4374953B2 (ja) 2003-09-09 2009-12-02 株式会社日立製作所 データ処理システム
US7130975B2 (en) * 2003-06-27 2006-10-31 Hitachi, Ltd. Data processing system
US7552309B2 (en) * 2005-05-06 2009-06-23 International Business Machines Corporation Data storage methods for hierarchical copies
US7793060B2 (en) * 2003-07-15 2010-09-07 International Business Machines Corporation System method and circuit for differential mirroring of data
JP4419460B2 (ja) * 2003-08-04 2010-02-24 株式会社日立製作所 リモートコピーシステム
JP2005056200A (ja) * 2003-08-05 2005-03-03 Hitachi Ltd データ管理方法、ディスク記憶装置およびディスク記憶システム
JP4021823B2 (ja) * 2003-09-01 2007-12-12 株式会社日立製作所 リモートコピーシステム及びリモートコピーの方法
JP4386694B2 (ja) * 2003-09-16 2009-12-16 株式会社日立製作所 記憶システム及び記憶制御装置
US7219201B2 (en) * 2003-09-17 2007-05-15 Hitachi, Ltd. Remote storage disk control device and method for controlling the same
JP4598387B2 (ja) * 2003-09-17 2010-12-15 株式会社日立製作所 記憶システム
JP2005157712A (ja) * 2003-11-26 2005-06-16 Hitachi Ltd リモートコピーネットワーク
JP2005157867A (ja) * 2003-11-27 2005-06-16 Hitachi Ltd 記憶システム、記憶制御装置及び記憶制御装置を用いたデータ中継方法
WO2005057337A2 (en) * 2003-12-01 2005-06-23 Emc Corporation Virtual ordered writes for multiple storage devices
US7228456B2 (en) * 2003-12-01 2007-06-05 Emc Corporation Data recovery for virtual ordered writes for multiple storage devices
GB2436746B (en) * 2003-12-01 2008-02-27 Emc Corp Virtual ordered writes for multiple storage devices
US7054883B2 (en) * 2003-12-01 2006-05-30 Emc Corporation Virtual ordered writes for multiple storage devices
US7437389B2 (en) * 2004-03-10 2008-10-14 Hitachi, Ltd. Remote copy system
US7724599B2 (en) * 2003-12-03 2010-05-25 Hitachi, Ltd. Remote copy system
US7085788B2 (en) * 2003-12-03 2006-08-01 Hitachi, Ltd. Remote copy system configured to receive both a write request including a write time and a write request not including a write time.
JP4412989B2 (ja) 2003-12-15 2010-02-10 株式会社日立製作所 複数の記憶システムを有するデータ処理システム
JP4282464B2 (ja) * 2003-12-17 2009-06-24 株式会社日立製作所 リモートコピーシステム
JP2005202893A (ja) * 2004-01-19 2005-07-28 Hitachi Ltd 記憶デバイス制御装置、ストレージシステム、プログラムを記録した記録媒体、情報処理装置、及びストレージシステムの制御方法
JP4477370B2 (ja) * 2004-01-30 2010-06-09 株式会社日立製作所 データ処理システム
US20050172072A1 (en) * 2004-01-30 2005-08-04 Cochran Robert A. Multiple site data replication
US7039785B2 (en) 2004-02-24 2006-05-02 Hitachi, Ltd. Method and apparatus for increasing an amount of memory on demand when monitoring remote mirroring performance
US8140475B1 (en) * 2004-02-26 2012-03-20 Netapp, Inc. Dynamic configuration archival and retrieval
JP4476683B2 (ja) * 2004-04-28 2010-06-09 株式会社日立製作所 データ処理システム
US7366857B2 (en) * 2004-04-30 2008-04-29 Hewlett-Packard Development Company, L.P. Internal disk array mirror architecture
JP4715286B2 (ja) 2004-05-11 2011-07-06 株式会社日立製作所 計算機システムおよび計算機システムの制御方法
JP2006011581A (ja) * 2004-06-23 2006-01-12 Hitachi Ltd ストレージシステム及びストレージシステムの制御方法
JP4477950B2 (ja) * 2004-07-07 2010-06-09 株式会社日立製作所 リモートコピーシステム及び記憶装置システム
US20060031418A1 (en) * 2004-07-30 2006-02-09 Mirra, Inc. Authenticating client-to-client communication
JP2006048300A (ja) * 2004-08-03 2006-02-16 Hitachi Ltd ディスクアレイ装置群およびそのコピー処理方法
JP4519563B2 (ja) 2004-08-04 2010-08-04 株式会社日立製作所 記憶システム及びデータ処理システム
JP4401895B2 (ja) * 2004-08-09 2010-01-20 株式会社日立製作所 計算機システム、計算機及びそのプログラム。
US7516354B2 (en) * 2004-08-25 2009-04-07 International Business Machines Corporation Storing parity information for data recovery
US7395265B2 (en) * 2004-08-27 2008-07-01 Hitachi, Ltd. Data processing system and storage subsystem provided in data processing system
JP4646574B2 (ja) 2004-08-30 2011-03-09 株式会社日立製作所 データ処理システム
US7330861B2 (en) 2004-09-10 2008-02-12 Hitachi, Ltd. Remote copying system and method of controlling remote copying
JP4915775B2 (ja) * 2006-03-28 2012-04-11 株式会社日立製作所 ストレージシステム及びストレージシステムのリモートコピー制御方法
JP2006099440A (ja) * 2004-09-29 2006-04-13 Hitachi Ltd リモートコピーシステム
US8078813B2 (en) * 2004-09-30 2011-12-13 Emc Corporation Triangular asynchronous replication
US20060069890A1 (en) * 2004-09-30 2006-03-30 Emc Corporation Triangular asynchronous replication with minimal synchronous storage
JP2006107450A (ja) * 2004-09-30 2006-04-20 Emc Corp トライアングル非同期複製(triangularasynchronousreplication)
US20060080362A1 (en) * 2004-10-12 2006-04-13 Lefthand Networks, Inc. Data Synchronization Over a Computer Network
JP2006127028A (ja) * 2004-10-27 2006-05-18 Hitachi Ltd 記憶システム及び記憶制御装置
JP2006127217A (ja) * 2004-10-29 2006-05-18 Hitachi Ltd 計算機システムおよび計算機システムの制御方法
US7657578B1 (en) * 2004-12-20 2010-02-02 Symantec Operating Corporation System and method for volume replication in a storage environment employing distributed block virtualization
US20060218060A1 (en) * 2005-03-09 2006-09-28 Lawlor Erin P Accounting method and system
JP4639112B2 (ja) * 2005-04-28 2011-02-23 株式会社日立製作所 リモートコピートポロジチェック方法
US7490213B2 (en) * 2005-05-06 2009-02-10 Xiv Ltd. Dynamic allocation of storage for hierarchical copies
US7549029B2 (en) 2005-05-06 2009-06-16 International Business Machines Corporation Methods for creating hierarchical copies
US7613747B1 (en) * 2005-06-08 2009-11-03 Sprint Communications Company L.P. Tiered database storage and replication
US7836266B2 (en) * 2005-09-19 2010-11-16 International Business Machines Corporation Managing snapshot history in a data storage system
US7620938B2 (en) * 2005-10-31 2009-11-17 Microsoft Corporation Compressed program recording
JP4577242B2 (ja) * 2006-03-10 2010-11-10 日本電気株式会社 データバックアップシステム、データバックアップ方法、及びその動作制御プログラム
US7647525B2 (en) * 2006-03-31 2010-01-12 Emc Corporation Resumption of operations following failover in connection with triangular asynchronous replication
US8548948B2 (en) * 2006-04-11 2013-10-01 Oracle International Corporation Methods and apparatus for a fine grained file data storage system
JP4887893B2 (ja) 2006-04-26 2012-02-29 株式会社日立製作所 計算機システム及び計算機システムの制御方法
JP2007310448A (ja) * 2006-05-16 2007-11-29 Hitachi Ltd 計算機システム、管理計算機、および、ストレージシステム管理方法
JP2007323218A (ja) * 2006-05-31 2007-12-13 Hitachi Ltd バックアップシステム
JP4842720B2 (ja) * 2006-06-29 2011-12-21 株式会社日立製作所 ストレージシステム及びデータ複製方法
US7539827B2 (en) * 2006-07-19 2009-05-26 Microsoft Corporation Synchronization of change-tracked data store with data store having limited or no change tracking
US8117409B2 (en) * 2006-11-22 2012-02-14 Hitachi, Ltd. Method and apparatus for backup and restore in a dynamic chunk allocation storage system
US7856419B2 (en) * 2008-04-04 2010-12-21 Vmware, Inc Method and system for storage replication
JP5422147B2 (ja) * 2008-07-08 2014-02-19 株式会社日立製作所 リモートコピーシステム及びリモートコピー方法
US8495043B2 (en) * 2008-09-17 2013-07-23 International Business Machines Corporation System and method for allowing updates to database objects
US9325790B1 (en) 2009-02-17 2016-04-26 Netapp, Inc. Servicing of network software components of nodes of a cluster storage system
US9215279B1 (en) 2009-02-17 2015-12-15 Netapp, Inc. Servicing of storage device software components of nodes of a cluster storage system
IT1399922B1 (it) 2010-05-06 2013-05-09 Tenova Spa Procedimento integrato di controllo, centraggio e regolazione della sciabolatura (camber) del nastro metallico in linee di processo
JP5675234B2 (ja) * 2010-09-10 2015-02-25 任天堂株式会社 情報処理システム、情報処理プログラムおよび情報処理方法
WO2012127537A1 (en) * 2011-03-24 2012-09-27 Hitachi, Ltd. Computer system and data backup method
US9372910B2 (en) 2012-01-04 2016-06-21 International Business Machines Corporation Managing remote data replication
JP5867902B2 (ja) * 2012-03-06 2016-02-24 日本電気株式会社 データベースの非同期レプリケーション方式
US9081754B1 (en) * 2012-03-30 2015-07-14 Emc Corporation Method and apparatus for cascaded replication using a multi splitter
US10180889B2 (en) 2014-06-23 2019-01-15 Liqid Inc. Network failover handling in modular switched fabric based data storage systems
US10303782B1 (en) 2014-12-29 2019-05-28 Veritas Technologies Llc Method to allow multi-read access for exclusive access of virtual disks by using a virtualized copy of the disk
US10198183B2 (en) * 2015-02-06 2019-02-05 Liqid Inc. Tunneling of storage operations between storage nodes
US11169727B1 (en) * 2017-03-10 2021-11-09 Pure Storage, Inc. Synchronous replication between storage systems with virtualized storage
US11385909B2 (en) * 2020-01-06 2022-07-12 International Business Machines Corporation Cascading data configuration and data migration

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4686620A (en) 1984-07-26 1987-08-11 American Telephone And Telegraph Company, At&T Bell Laboratories Database backup method
US5093787A (en) * 1986-06-12 1992-03-03 Simmons John C Electronic checkbook with automatic reconciliation
US4866611A (en) * 1987-01-29 1989-09-12 International Business Machines Corporation Method for automatically reconciling entries on two copies of independently maintained electronic calendars
US4975690A (en) * 1988-11-07 1990-12-04 Ibm Corporation Method for concurrent data entry and manipulation in multiple applications
US5307481A (en) * 1990-02-28 1994-04-26 Hitachi, Ltd. Highly reliable online system
US5544347A (en) 1990-09-24 1996-08-06 Emc Corporation Data storage system controlled remote data mirroring with respectively maintained data indices
US5592660A (en) * 1991-03-04 1997-01-07 Fujitsu Limited Database management system to alternately perform retrieval process and updating process
JP2550239B2 (ja) * 1991-09-12 1996-11-06 株式会社日立製作所 外部記憶装置システム
JP2793399B2 (ja) * 1991-12-09 1998-09-03 日本電気株式会社 バッファ装置
US5392390A (en) * 1992-04-10 1995-02-21 Intellilink Corp. Method for mapping, translating, and dynamically reconciling data between disparate computer platforms
EP0593062A3 (en) * 1992-10-16 1995-08-30 Siemens Ind Automation Inc Redundant networked database system
JP3612339B2 (ja) * 1992-10-23 2005-01-19 株式会社日立製作所 データ処理方法および装置
US5469503A (en) * 1993-07-27 1995-11-21 Aspect Telecommunications Corporation Method for resynchronizing secondary database and primary database with preservation of functionality of an automatic call distribution system
US5432922A (en) * 1993-08-23 1995-07-11 International Business Machines Corporation Digital storage system and method having alternating deferred updating of mirrored storage disks
US5553279A (en) * 1993-10-08 1996-09-03 International Business Machines Corporation Lossless distribution of time series data in a relational data base network
US5495606A (en) * 1993-11-04 1996-02-27 International Business Machines Corporation System for parallel processing of complex read-only database queries using master and slave central processor complexes
US5596745A (en) * 1994-05-16 1997-01-21 International Business Machines Corporation System and procedure for concurrent database access by multiple user applications through shared connection processes
US5434994A (en) * 1994-05-23 1995-07-18 International Business Machines Corporation System and method for maintaining replicated data coherency in a data processing system
US5579318A (en) * 1994-06-30 1996-11-26 Bellsouth Corporation Processes and apparatus for maintaining data concurrence between databases in telecommunications networks
US5625818A (en) * 1994-09-30 1997-04-29 Apple Computer, Inc. System for managing local database updates published to different online information services in different formats from a central platform
US5835953A (en) 1994-10-13 1998-11-10 Vinca Corporation Backup system that takes a snapshot of the locations in a mass storage device that has been identified for updating prior to updating
US5799147A (en) 1994-10-19 1998-08-25 Shannon; John P. Computer recovery backup method
US5634052A (en) 1994-10-24 1997-05-27 International Business Machines Corporation System for reducing storage requirements and transmission loads in a backup subsystem in client-server environment by transmitting only delta files from client to server
US5649089A (en) * 1994-11-30 1997-07-15 Motorola, Inc. Method and apparatus for maintaining a redundant database system
US6063983A (en) 1995-09-05 2000-05-16 The General Hospital Corporation Monoclonal lymphocytes and methods of use
US5857208A (en) * 1996-05-31 1999-01-05 Emc Corporation Method and apparatus for performing point in time backup operation in a computer system
US6092066A (en) 1996-05-31 2000-07-18 Emc Corporation Method and apparatus for independent operation of a remote data facility
US6101497A (en) 1996-05-31 2000-08-08 Emc Corporation Method and apparatus for independent and simultaneous access to a common data set
US5937414A (en) * 1997-02-28 1999-08-10 Oracle Corporation Method and apparatus for providing database system replication in a mixed propagation environment
US6529944B1 (en) * 1999-01-06 2003-03-04 Emc Corporation Host system for remote control of mass storage volumes using cascading commands
US6950871B1 (en) * 2000-06-29 2005-09-27 Hitachi, Ltd. Computer system having a storage area network and method of handling data in the computer system

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004519754A (ja) * 2000-09-06 2004-07-02 ユニシス コーポレイシヨン データの整合性を保証するための方法および装置
US8135671B2 (en) 2003-06-27 2012-03-13 Hitachi, Ltd. Data replication among storage systems
US7725445B2 (en) 2003-06-27 2010-05-25 Hitachi, Ltd. Data replication among storage systems
US8943025B2 (en) 2003-06-27 2015-01-27 Hitachi, Ltd. Data replication among storage systems
US8566284B2 (en) 2003-06-27 2013-10-22 Hitachi, Ltd. Data replication among storage systems
US8239344B2 (en) 2003-06-27 2012-08-07 Hitachi, Ltd. Data replication among storage systems
US8234471B2 (en) 2003-06-27 2012-07-31 Hitachi, Ltd. Remote copy method and remote copy system
US9058305B2 (en) 2003-06-27 2015-06-16 Hitachi, Ltd. Remote copy method and remote copy system
JP2005062928A (ja) * 2003-08-11 2005-03-10 Hitachi Ltd 複数のサイトにリモートコピーを行うシステム
US7380079B2 (en) 2003-11-21 2008-05-27 Hitachi, Ltd. Method of monitoring status information of remote storage and storage subsystem
US7769969B2 (en) 2003-11-21 2010-08-03 Hitachi, Ltd. Method of monitoring status information of remote storage and storage subsystem
JP2005157521A (ja) * 2003-11-21 2005-06-16 Hitachi Ltd 遠隔記憶装置の状態情報監視方法および記憶サブシステム
US7380078B2 (en) 2003-11-21 2008-05-27 Hitachi, Ltd. Method of monitoring status information of remote storage and storage subsystem
US7162580B2 (en) 2003-12-16 2007-01-09 Hitachi, Ltd. Remote copy control method
US7739371B2 (en) 2004-06-09 2010-06-15 Hitachi, Ltd. Computer system
JP4519573B2 (ja) * 2004-08-27 2010-08-04 株式会社日立製作所 データ処理システム及び方法
JP2006065629A (ja) * 2004-08-27 2006-03-09 Hitachi Ltd データ処理システム及び方法
US7870423B2 (en) 2004-09-01 2011-01-11 Hitachi, Ltd. Data processing system and copy processing method thereof
JP2006244501A (ja) * 2005-03-02 2006-09-14 Internatl Business Mach Corp <Ibm> カスケード・コピー・ターゲティング機能及び高められた完全性をもつストレージ・システム
JP2009505281A (ja) * 2005-08-19 2009-02-05 マイクロソフト コーポレーション データベースフラグメントのクローン化および管理
JP2010015301A (ja) * 2008-07-02 2010-01-21 Hitachi Ltd ストレージシステム及びリモートコピー復旧方法
JP2012208649A (ja) * 2011-03-29 2012-10-25 Nec Corp 分散ファイルシステム
US8943022B2 (en) 2011-03-29 2015-01-27 Nec Corporation Distributed file system

Also Published As

Publication number Publication date
IL183096A (en) 2008-04-13
WO2000049500A1 (en) 2000-08-24
EP1071993B1 (en) 2005-09-14
IL139069A (en) 2008-04-13
DE69927258T2 (de) 2006-06-14
JP3769190B2 (ja) 2006-04-19
KR100562820B1 (ko) 2006-03-23
EP1605357A3 (en) 2008-01-23
US20040193660A1 (en) 2004-09-30
IL139069A0 (en) 2001-11-25
US6687718B2 (en) 2004-02-03
US6209002B1 (en) 2001-03-27
DE69927258D1 (de) 2005-10-20
EP1605357A2 (en) 2005-12-14
US7313578B2 (en) 2007-12-25
EP1071993A1 (en) 2001-01-31
KR20010042781A (ko) 2001-05-25
US20010007102A1 (en) 2001-07-05

Similar Documents

Publication Publication Date Title
JP2002542526A (ja) 冗長データ記憶ユニットを通じてデータをカスケードにする方法および装置
US8176010B2 (en) Remote copy system
US7225307B2 (en) Apparatus, system, and method for synchronizing an asynchronous mirror volume using a synchronous mirror volume
US6401178B1 (en) Data processing method and apparatus for enabling independent access to replicated data
US7287181B2 (en) Mirrored volume replication method, apparatus, and system
US6742138B1 (en) Data recovery method and apparatus
JP4430846B2 (ja) 遠隔ミラーリングシステム、装置及び方法
JP4108074B2 (ja) 多重リモートストレージでのデータ同期
US6052758A (en) Interface error detection and isolation in a direct access storage device DASD system
US5870537A (en) Concurrent switch to shadowed device for storage controller and device errors
US7310743B1 (en) Data recovery method and apparatus
US7330861B2 (en) Remote copying system and method of controlling remote copying
JP2576847B2 (ja) 記憶制御装置及び関連する方法
JP4074072B2 (ja) データの完全性を備えるリモートコピーシステム
US7277997B2 (en) Data consistency for mirroring updatable source data storage
US8250240B2 (en) Message conversion method and message conversion system
US7437389B2 (en) Remote copy system
US20090024815A1 (en) Remote copy system

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050124

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20050425

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20050506

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050926

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060203

R150 Certificate of patent or registration of utility model

Ref document number: 3769190

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090210

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100210

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100210

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110210

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120210

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130210

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140210

Year of fee payment: 8

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term