JP2005352831A - サイト間でデータをミラーリングする方法、システム、およびプログラム - Google Patents

サイト間でデータをミラーリングする方法、システム、およびプログラム Download PDF

Info

Publication number
JP2005352831A
JP2005352831A JP2004173737A JP2004173737A JP2005352831A JP 2005352831 A JP2005352831 A JP 2005352831A JP 2004173737 A JP2004173737 A JP 2004173737A JP 2004173737 A JP2004173737 A JP 2004173737A JP 2005352831 A JP2005352831 A JP 2005352831A
Authority
JP
Japan
Prior art keywords
data unit
write mode
source data
relationship
copy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004173737A
Other languages
English (en)
Other versions
JP4583075B2 (ja
Inventor
Beardsley Brent Cameron
ブレント・キャメロン・ビアズリ
Frank Mikka William
ウィリアム・フランク・ミッカ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Priority to JP2004173737A priority Critical patent/JP4583075B2/ja
Publication of JP2005352831A publication Critical patent/JP2005352831A/ja
Application granted granted Critical
Publication of JP4583075B2 publication Critical patent/JP4583075B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Abstract

【課題】データをミラーリングする方法、システム、およびプログラムを提供すること。
【解決手段】第1のコピー書込みが指定されている場合、この更新は、この対応するターゲット・データ・ユニットへの第1の書込みモード中にソース・データ・ユニットへとコピーされる。そうでなくて、第1の書込みモードが指定されていない場合には、この更新は、第2の書込みモード中に、ターゲット・データ・ユニットに対応するソース・データ・ユニットへとコピーされる。第1の書込みモードが指定されていない場合には、この関係に従うすべてのデータ・ユニットについての書込み数が閾値よりも小さいかどうかについて判定がなされ、この関係に従うすべてのデータ・ユニットについての書込み数が閾値よりも小さい場合には、第1の書込みモードが指定される。
【選択図】図1

Description

本発明は、サイト間でデータをミラーリングするシステム、方法、およびプログラムに関する。
障害回復システムでは一般に、2つのタイプの障害、すなわち、時間のある1ポイントにおける突然の破局的な障害、またはある期間にわたってのデータ損失に対する対処がなされる。第2のタイプの斬新的な障害では、ボリュームに対する更新が失われる可能性がある。データ更新の回復を助けるために、データのコピーがリモート位置に提供される。かかるデュアル・コピーまたはシャドウ・コピーは一般に、アプリケーション・システムが、一次記憶装置に新しいデータを書き込むときに作成される。主題の本特許出願の譲受人であるインターナショナル・ビジネス・マシーンズ・コーポレーション(IBM)は、二次サイトにデータのリモート・コピーを保持する2つのシステム、すなわちXRC(extended remote copy拡張リモート・コピー)およびPPRC(peer-to-peer remote copyピアツーピア・リモート・コピー)を提供している。これらのシステムでは、最後の安全な更新とシステム障害の間でデータ更新を回復する方法が提供される。かかるデータ・シャドウイング・システムでは、リモート・サイトにおけるローカル・アクセスなどの回復目的以外の追加リモート・コピーも提供することができる。かかるIBMのXRCシステムおよびPPRCシステムについては、本明細書中に関係する、IBMの発行による「リモート・コピー:管理者のガイドおよびリファレンス(RemoteCopy:Administrator's Guide and Reference)」IBMドキュメント(IBM document)、No.SC35−0169−02(IBM著作権1994、1996)に記載されている。
データがミラーリングされるバックアップ・システムでは、データは、ボリューム対として保持される。ボリューム対は、一次記憶装置のボリュームと、一次ボリューム中に保持されるデータの同一コピーを含む、二次記憶装置中の対応するボリュームから成っている。一般に、この対のうちの一次ボリュームは、一次DASD(direct access storage device直接アクセス記憶装置)に保持され、この対のうちの二次ボリュームは、一次DASD上のデータをシャドウイングする二次DASD中に保持される。一次記憶制御装置が、一次DASDへのアクセスを制御するように設けられ、二次記憶制御装置が、二次DASDへのアクセスを制御するように設けられることもある。
対等関係がソース・ボリュームとターゲット・ボリュームの間で確立されると、初期コピー動作が開始されてすべてのソース・ボリューム中のすべてのトラックが対等関係にあるターゲット・ボリュームにコピーされる。初期コピーは、ソース・ボリューム中のトラックを表すビットマップ中のビットを設定することにより開始されて、ソース・トラックを対応するターゲット・トラックにコピーするように指示が行われる。ボリューム・ビットマップの最初のパスの一環として、一次記憶制御装置は、対応するターゲット・トラックに関係のある最初のボリュームの最初のトラックから最後のボリュームの最後のトラックへと非同期的にコピーを行うことになる。この関係に含まれるボリューム中の各トラックをコピーした後、一次記憶制御装置は、コピーされたトラックの対応するビットを、そのトラックがコピーされたことを示す「オフ(off)」に設定することになる。このビットマップ・テーブルの最初の通過中に、あるトラックに対する更新を受ける場合、更新すべきそのトラックに対応するビットは「オン(on)」に設定される。ビットマップ・テーブルの第2のパス中に、対応するビットが「オン」であるソース・トラックだけが対応するターゲット記憶トラックに非同期的にコピーされる。さらに、第2フェーズ中に、ローカル一次記憶装置が受けた更新はどれも、二次サイトに同期的にコピーされる。したがって、ビットマップ・テーブルの最初のパスの後に、この関係のソース・トラックに対する更新はどれも同期的にコピーされ、ここでは、ターゲット・トラックに対する書込みが完了するまでアプリケーションに、「完了(complete)」は戻されない。
初期コピー動作中の帯域幅の使用を最適化するために、この確立用の初期コピーをサブセットに分割し、その結果、このボリュームが初期コピー中にグループに分けてコピーされるようにすることができる。例えば、この関係で100個のボリュームがある場合には、ボリュームのグループに、例えば5つのボリュームに関して、ビットマップ・テーブルの第1および第2のパスを実施することによって初期コピーを実装することができる。次いで、第1および第2のビットマップ・テーブルのパスを次に続くボリューム・グループに関して実施することになる。1グループのボリュームに対する最初のパスを実行した後、最初のパスの対象となった、かかるボリュームに対する書込みはどれも、対応するターゲット・トラックに同期的にコピーされる。しかし、同期的な書込みおよび初期コピーの組は同じ物理接続を共用するので、より多くのボリュームが初期コピーを完了するにつれ、同期的な書込み数は、最初のパスの対象となるボリューム数が増加するので増加する。進行中の初期コピー動作と帯域幅を共用する同期書込み数のこの増加によって、伝送遅延が引き起こされ、それによって、ソース・トラックに対する更新を開始するアプリケーションへの「完了」を戻す際の遅延が増加することもある。同期書込みを使用して、この更新が正常にターゲット・トラックにミラーリングされるまで「完了」を戻さないことを保証することによって二次サイトにおけるデータの保全性が改善される。
「リモート・コピー:管理者のガイドおよびリファレンス(RemoteCopy:Administrator's Guide and Reference)」IBMドキュメント(IBM document)、No.SC35−0169−02(IBM著作権1994、1996) 「IBM TotalStorageエンタープライズ・ストレージ・サーバPPRC拡張距離(IBM TotalStorage Enterprise Storage Server PPRC Extended Distance)」、ドキュメントNo.SG24−6568−00(IBM著作権、2002年6月)
データをミラーリングする方法、システム、およびプログラムが提供される。
一次記憶装置中の複数のソース・データ・ユニットと二次記憶装置中の対応する複数のターゲット・データ・ユニットとの間の関係が確立される。対応するターゲット・データ・ユニットに対してこの関係にあるすべてのソース・データ・ユニットの初期コピーを実施する動作が開始される。ソース・データ・ユニットに対する更新を受け取り、第1の書込みモードが指定されているかどうかについて判定が行われる。第1のコピー書込みが指定されている場合、この更新は、この対応するターゲット・データ・ユニットへの第1の書込みモード中にソース・データ・ユニットへとコピーされる。そうでなくて、第1の書込みモードが指定されていない場合には、この更新は、第2の書込みモード中に、ターゲット・データ・ユニットに対応するソース・データ・ユニットへとコピーされる。第1の書込みモードが指定されない場合には、この関係に従うすべてのデータ・ユニットについての書込み数が閾値よりも小さいかどうかについて判定がなされ、この関係に従うすべてのデータ・ユニットについての書込み数が閾値よりも小さい場合には、第1の書込みモードが指定される。
ある種の実装形態では、第1の書込みモードが同期書込みモードを含み、第2の書込みモードが非同期書込みモードを含む。
さらなる実装形態では、ソース・データ・ユニットを対応するターゲット・データ・ユニットへコピーするように指示するデータ構造が提供される。このデータ構造では、すべてのソース・データ・ユニットを対応するターゲット・データ・ユニットに第2の書込みモード中に初期コピーを実施する動作の一部としてコピーするように指示がなされる。
さらに、このデータ構造が処理されて、対応するターゲット・データ・ユニットにコピーするための、このデータ構造中で指示されるソース・データ・ユニットを決定することができ、すべての決定されたソース・データ・ユニットを第2の書込みモード中に対応するターゲット・データ・ユニットにコピーすることができ、この第2の書込みモード中にコピーされたターゲット・データ・ユニットに対する更新はすべての決定されたソース・データ・ユニットをコピーするステップの一部としてコピーされる。
さらに他の実装形態では、この関係にあるソース・データ・ユニットおよびターゲット・データ・ユニットは、ボリューム対中にあり、ここで、この関係に従うすべてのデータ・ユニットについての書込み数が閾値よりも小さいかどうかを判定するステップが、すべてのボリューム対についての書込み数が閾値よりも小さいかどうかを判定するステップを含み、この関係に従うすべてのボリューム対についての書込み数が閾値よりも小さい場合にはこの関係にあるすべてのボリューム対について第1の書込みモードが指定される。
以上に記載の実装形態は、異なる状況に対して異なる書込みモードを使用してミラーリング・コピー動作の実施を最適化する、一次記憶装置と二次記憶装置の間でデータをミラーリングする技法を提供している。
図面を次に参照すると、図中で、同様な参照番号は、全体にわたって対応する部分を示している。
以下の説明においては、本明細書の一部を成し、本発明のいくつかの実施形態を示す添付図面の参照を行っている。他の実施形態を利用することも可能であり、本発明の範囲を逸脱することなく構造上および動作上の変更を行うことができることを理解されたい。
図1に本発明の態様を実装することができるネットワーク計算機環境を示す。一次記憶制御装置2aおよび二次記憶制御装置2bが、接続4上で通信を行う。記憶制御装置2a、2bには、それぞれ記憶管理ソフトウェア6a、6b、および接続された記憶システム8a、8bがある。記憶システム8aおよび8bは、それぞれボリューム10a、10b..10n、および12a、12b..12nを含む。記憶制御装置2a、2bは互いに、同じ建物など、比較的近接した地理的な地域内に、同じキャンパス、同じ市などの異なる建物内に、あるいは異なる大陸に、数千マイル(1マイルは約1609m)離れた遠い地理上の場所に離れて、位置することができる。記憶制御装置2a、2b間の接続4には、ファイバ光接続、SAN(Storage Area Network記憶域ネットワーク)、LAN(Local Area Networkローカル・エリア・ネットワーク)などの専用線またはネットワークが含まれることもある。あるいは、接続4には、イントラネットまたはインターネットが含まれることがある。ホスト・システム1は、記憶システム8a、8b中のボリュームに関して入出力(I/O)動作を実施することができるアプリケーションを含む。
記憶制御装置2aおよび2bは、さらにプロセッサ複合体(図示せず)を含むはずであり、IBM ESS(Enterprise Storage Serverエンタープライズ・ストレージ・サーバ)(登録商標)、3990(登録商標)記憶制御装置など、どのような記憶制御装置または当技術分野で知られているサーバを含んでもよい(EnterpriseStorage ServerはIBMの登録商標である)。記憶システム8a、8bには、JBOD(Just a Bunch of Disks)、RAID(RedundantArray of Independent Disks独立したディスクの冗長アレイ)アレイ、仮想化装置などの記憶装置アレイを備えることもできる。記憶管理ソフトウェア6a、6bは、IBM PPRC XD(ExtendedDistance拡張距離)プログラム中に含まれるコードなど、データのミラーリングおよび障害事象におけるデータ回復を可能にし、比較的短距離および長距離にわたるデータのミラーリングを可能にするコードを含むこともある。IBM PPRC拡張距離プログラムのさらなる詳細については、本明細書に関係する、IBMの発行による「IBM TotalStorageエンタープライズ・ストレージ・サーバPPRC拡張距離(IBMTotalStorage Enterprise Storage Server PPRC Extended Distance)」、ドキュメントNo.SG24−6568−00(IBM著作権、2002年6月)に記載されている。
記憶管理ソフトウェア6aは、ソース・ボリューム中のトラックがターゲット・ボリューム中のトラックにミラーリングされるなどのコピー関係中に含まれるボリューム対、すなわちソース・トラックおよび対応するターゲット・トラックを識別するコピー関係14の情報を保持する。ビットマップ16は、ボリューム中の各トラックごとに1ビットを含み、各ボリュームごとに保持される。あるボリュームについてビットマップ中で設定されたビットは、トラックに対する更新(またはコピーすべき初期データ)が対応するターゲット・トラックにコピーされているかどうかを示す。さらに同期モード・フラグ18は、ソース・ボリュームに対する書込みが非同期的に(この場合、「完了」は書込みが二次記憶装置8bに適用される前にアプリケーションに戻される)処理されるべきか、それとも同期的に(この場合、「完了」は、書込みが二次記憶装置8bに適用されたという確認を受け取った後にしか戻されない)処理されるべきかを示す。
図2に、本発明の実装形態に従って、ターゲット・ボリューム12a、12b..12n中の対応するトラックに対するソース・ボリューム10a、10b..10n中のソース・トラックの初期コピーを実施するソース管理ソフトウェア6aによって実施される動作を示す。(ブロック50で)対等コピー関係など、ソース・ボリュームとターゲット・ボリューム間のコピー関係が確立されると、(ブロック52で)記憶管理ソフトウェア6aは、確立された関係にあるソース・ボリュームについてのボリューム・ビットマップ16中のすべてのビットを、(かかるソース・トラックを二次記憶装置8b中のターゲット・ボリューム12a、12b..12mに(同期的に)コピーする必要があることを示す)「オン」に設定する。次いで、(ブロック54ないしブロック66で)確立された関係にある各ソース・ボリュームiごとにループを実施する。ソース・ボリュームi中の各トラックjごとにブロック56ないし64で内部ループを実施する。(ブロック58で)トラックjに対するボリュームiのビットマップ16中の対応するビットが「オン」である場合、(ブロック60で)トラックjは二次記憶装置8b中の対応するターゲット・トラックに非同期的にコピーされる。(ブロック62で)ボリュームiのビットマップ16のトラックjに対するビットが、かかるビットによって表されるソース・トラックがコピー済みであることを示す「オフ」に設定される。(ブロック58で)トラックjに対するボリュームiのビットマップ16中の対応するビットが「オフ」の場合には、制御はブロック64へと進み、ボリュームiの次のトラックをコピーすべきかどうかを考慮する。
この関係にある、ソース・トラックを表すビットマップ16中のすべてのビットを処理した後に、(ブロック68で)同期モード・フラグ18が、書込みを同期的に処理することを示すように設定されている場合、(ブロック70で)記憶管理ソフトウェア6aは、コピーすべきトラックがまだあるかどうかを判定するが、これはソース・ボリューム・ビットマップ16中に「オン」に設定されたビットがどれか1つでもあるかどうかによって示される。ある場合には、制御はブロック54に戻って、すべてのボリューム・ビットマップを処理して対応するビット値が「オン」であるソース・トラックはどれでもコピーする。そうでなくて、非同期的にコピーすべきトラックがもはやない場合には、この制御は終了し、同期化が完了している。さらに、(ブロック68で)同期モード・フラグ18が、更新が非同期的にコピーされることを示す場合には、制御はブロック54に進み、非同期的なトラックのコピーが続行される。図3のロジックに従って、このコピーすべき関係についてのボリューム・ビットマップ16中に示されるトラック数が閾値数より小さいときに同期モードが設定されることに留意されたい。
図2のロジックでは、同期モードが設定され、この関係にあるソース・ボリュームおよびターゲット・ボリュームが、同期化される、すなわちこの関係にあるすべてのボリュームに対するビットマップがもはやコピーすべきトラックがないことを示すまで、ブロック54から56のステップを連続的に実施することができる。ソース・ボリュームおよびターゲット・ボリュームが完全に同期化されるまで、この連続的な動作をPPRC XD非同期モードで実施することができる。
図3に、記憶管理ソフトウェア6aが同期モード・フラグ18を「オン」に設定するように実施する動作を示す。現在の書込みモードが非同期であり、すなわち同期モード・フラグ18が「オフ」である場合、記憶管理ソフトウェア6aは、ブロック80のプロセスを定期的に開始することになる。(ブロック82で)この関係にあるソース・ボリュームについてすべてのビットマップ16中におけるすべてのビットのパーセンテージが、閾値のパーセンテージよりも小さい場合には、(ブロック84で)記憶管理ソフトウェア6aは、1つまたは複数のコマンドを発行して、検査したばかりのこの関係にあるすべてのボリューム対について書込みモードを同期モードに変換する。(ブロック86で)同期モード・フラグ18は、「オン」に設定されて、この関係にあるソース・トラックへの新しい書込みに同期してターゲット・トラックにコピーが行われることを示す。(ブロック82で)小さい方の閾値が満たされない場合、制御は終了する。
以上で説明した実装形態は、ソースからターゲットへのデータのコピーを非同期的に処理することにより、ホスト書込みに応答して遅延を最小にするように動作し、その結果、ホスト4のアプリケーションの書込み要求に対する遅延がなくなる。ある関係にあるすべてのターゲット・ボリュームとソース・ボリュームの対について、十分な数のソース・トラックが二次記憶装置にコピーされた後で、ボリューム・ビットマップ16に示されるように、非同期的にコピーすべきトラック数が、同期書込みの処理を必要以上に遅らせるほどの十分な数にはならないと考えられるので、ソース・トラックへの書込みは、同期モードで処理される。したがって、この関係にあるすべてのボリュームに対する書込み数が同期モード処理の準備が整うまで、同期遅延を受けるボリュームはないことになる。例えば、ボリューム・ビットマップ16に示されるように、非同期的にコピーすべき多数のトラックがある場合には、多数の実施すべき非同期書込みの結果もたらされる帯域幅および伝送遅延に起因して、同期書込みにはかなりの遅延が生じる可能性がある。しかし、非同期的に書き込むべき未解決のトラック数が十分に小さければ、非同期的なコピーが同期書込みを必要以上に遅延させることにはならない。いつ同期的な書込みのコピーに切り換えるかについての閾値は、すべてのソース・ボリューム中のすべてのトラックの数パーセントなどの値に設定することができる。代替実装形態では、閾値として使用すべき値は、初期コピーを最適化し、ホスト書込み要求に応答する経験的に決定されたどのような値にも設定することができる。非同期的にコピーすべきデータが、同期書込みに不必要な遅延を引き起こさないレベルまで低下する時まで、帯域幅が初期コピー動作によってほぼ使い尽くされる場合には、以上に説明した実装形態では更新をソース・トラックに非同期的にコピーする。
図4に、本発明の実装形態による、ソース・トラックに対する更新を処理する記憶管理ソフトウェア6aによって実施される動作を示す。(ブロック100で)あるコピー関係のあるソース・トラックに対する更新を受け取ると、(ブロック102で)同期モード・フラグ18が、更新が非同期的にコピーされることを示す「オフ」に設定されている場合、(ブロック104で)記憶管理ソフトウェア6aは、更新されたトラックに対応するボリューム・ビットマップ16中のビットを「オン」に設定する。記憶管理ソフトウェア6aが、ボリューム・ビットマップ16を処理して図2に説明している動作の一部としてトラックを非同期的にコピーするとき、(ブロック106で)更新されたソース・トラックは、その後、対応するターゲット・トラックにコピーされることになる。(ブロック102で)同期モード・フラグ18が「オン」であり、かつ(ブロック108で)更新すべきソース・トラックに対応するビットが「オン」である場合には、(ブロック110で)対応するビットが「オフ」に設定され、(ブロック112で)このトラックが二次記憶装置8b中のターゲット・トラックに同期的にコピーされる。あるいは、ブロック108のYes分岐から制御を終了することもでき、更新を図2のロジックの実行中に非同期にコピーすることになる。(ブロック108で)更新すべきソース・トラックに対応するビットが「オフ」の場合には、(ブロック112で)更新されたトラックが同期的にコピーされる。
一次記憶装置8aサイトにおいて障害が起こる場合には、このコピー関係は一時中断され、二次記憶制御装置2bおよび記憶装置8bを含めて二次記憶サイトにおいて、動作が再開される。図5に本発明の実装形態による、一次サイトが使用可能になった後に、記憶管理ソフトウェア6aが、再同期化して一次記憶装置8aに戻るように実施される動作を示す。(ブロック150で)一次記憶装置8aに再同期化して戻るために、二次記憶制御装置2bにおいて、対等コピー関係(例えば、PPRC)などのコピー関係が、(ソースとして機能する)二次記憶装置8b中のボリューム12a、12b..12nと(ターゲットとして機能する)一次記憶装置8a中のボリューム10a、10b..10nとの間に確立される。次いで、(ブロック154で)二次記憶管理ソフトウェア6bでは、図2を参照して説明している、ソース・ボリューム12a、12b..12nを二次記憶装置8b(ソース)から一次記憶装置8a(ターゲット)へとコピーする動作が実施されることになる。(ブロック156で)二次記憶制御装置2bではさらに、再同期化中にホスト4からの二次記憶装置8bへの任意の更新を処理する図4の動作が実施されることになる。
一次記憶装置8aが二次記憶装置8bと完全に同期しており、すなわちボリューム・ビットマップに、ターゲット・トラックにコピーすべきソース・トラックが示されないときには、二次記憶制御装置2bは、(ブロック158で)二次記憶装置8bへのホスト・アクセスを終了させ、(ブロック160で)(ソースとしての役割を果たす)二次記憶装置8bと(ターゲットとしての役割を果たす)一次記憶装置8aとの間のコピー関係(ボリューム対)を終了させる。(ブロック162で)一次記憶制御装置2aにおいて、一次記憶管理ソフトウェア6aでは、一次記憶装置8aと二次記憶装置8bの間の関係を初期コピーなしで確立されることになり、ここで、一次記憶装置8aは、ソースとなり、二次記憶装置8bは、ターゲットとなる。次いで、(ブロック164で)ホスト4が、再開され、一次記憶装置8aに直接I/Oを行うように初期化される。
以上説明した実装形態では、対応するターゲット・トラックに対してある関係にあるソース・トラックの初期コピー、およびこの初期コピー中に行われるソース・トラックへの更新を処理して、トラックの更新に「完了」を戻すに当たっての遅延を最小にすると共に、二次コピーにおける同期化も保証する技法が提供される。さらに、以上説明した実装形態では、二次記憶装置へフェイルオーバする必要が起こった場合に、あるポイントで更新を同期的にコピーして二次記憶装置におけるデータの同時実行を保証することが実現される。
一次サイトと二次サイトの間でデータをミラーリングする以上で説明した技法では、ソフトウェア、ファームウェア、ハードウェアまたはこれらの組合せをもたらす標準的なプログラミング技法またはエンジニアリング技法あるいはその両方を使用して方法、装置、または製品として実施することができる。本明細書中で使用している用語「製品(article of manufacture)」は、ハードウェア・ロジック(例えば、集積回路チップ、PGA(ProgrammableGate Arrayプログラム可能ゲート・アレイ)、ASIC(Application Specific Integrated Circuit特定用途向け集積回路)など)、または磁気記憶媒体(例えば、ハード・ディスク・ドライブ、フロッピー(R)・ディスク、テープなど)、光記憶装置(CD−ROM、光ディスクなど)、揮発性および不揮発性メモリ・デバイス(例えば、EEPROM、ROM、PROM、RAM、DRAM、SRAM、ファームウェア、プログラマブル・ロジックなど)などのコンピュータ読取り可能媒体の形で実装されたコード、またはロジックのことを指す。コンピュータ読取り可能媒体中のコードは、プロセッサ複合体によってアクセスされ、実行される。好ましい実施形態を実装するコードには、さらに伝送媒体を介して、またはネットワーク上のファイル・サーバからアクセス可能なこともある。かかる場合には、コードが実装される製品には、ネットワーク伝送回線、無線伝送媒体、空間を介して伝搬する信号、無線電波、赤外線信号などの伝送媒体が含まれることもある。したがって、「製品」には、コードが実現される媒体が含まれることもある。さらに、「製品」には、コードが実現され、処理され、実行されるハードウェア構成要素とソフトウェア構成要素の組合せが含まれることもある。もちろん、当業者には、本発明の範囲を逸脱することなくこの構成に多くの変更を施すことができること、また製品には、当技術分野において知られている任意の情報保持媒体が含まれ得ることが理解されよう。
以上に説明した実装形態では、IBM PPRC拡張距離計算機環境に関して説明してきた。しかし、一貫性を維持するために、以上の実装形態を他の計算機環境およびベンダ環境中で、また本明細書中に記載した以外の他のデータ・コピーのプロトコルおよびプログラムを使用して一貫性を維持するように適用することができる。
いくつかの実装形態では、記憶装置中のデータがトラックおよびボリュームの形に構成されている。代替システムでは、記憶装置のデータ・ユニットに、ブロックやサブブロックなど、トラック以外のユニットを含めることができ、またデータ・ユニットをボリューム以外の記憶ユニットにグループ分けすることもできる。
以上で説明した実装形態では、更新をソース・トラックにコピーするための同期モードは、コピーすべきソース・トラック数が、コピー関係に含まれるすべてのソース・トラックの数パーセントなど、ある種の閾値を下回る場合に、開始されている。代替実装形態では、代わりの閾値を使用することもできる。
以上で説明した実装形態では、ビットマップを使用してあるソース・トラックを対応するターゲット・トラックにコピーする必要があるかどうかを指示する。代替実施形態では、当技術分野で知られている任意のデータ構造を使用してこの関係にある対応するターゲット・トラックにコピーすべきソース・トラックを識別する。
以上で説明した実装形態では、同期モードの適用は、この関係に含まれるすべてのボリュームに対してなされた。代替実装形態では、同期モードをボリュームごとに適用するか、それともすべてのソース・ボリュームよりも少ない何らかの他のグループ分けに適用することができ、その結果、いくつかのソース・ボリューム中のトラックへの更新を同期的に処理し、他のソース・ボリューム中のトラックへの更新を非同期的に処理することができる。かかる実装形態では、閾値をボリュームごとに適用して、同期モードをそのボリュームに対していつ適用することになるかを決定することができる。
図2〜図5に示すロジックでは、ある種の事象がある順序で発生することを示している。代替実装形態では、ある種の動作を異なる順序で実施し、変更し、または除去することもできる。さらに、以上に説明したロジックにステップを追加し、依然として説明した実装形態に一致するようにすることもできる。さらに、本明細書中に記載の動作が順次行われ、あるいはある種の動作を並列に処理することもできる。さらに、動作を、単一の処理装置または分散処理装置によって実施することもできる。
図6に、図1に示す記憶制御装置やホストなどのネットワーク構成要素のコンピュータ・アーキテクチャ200の一実装形態を示す。このアーキテクチャ200には、プロセッサ202(例えば、マイクロプロセッサ)、メモリ204(例えば、揮発性メモリ・デバイス)、および記憶装置206(例えば、磁気ディスク・ドライブ、光ディスク・ドライブ、テープ・ドライブなどの不揮発性記憶装置)が含まれ得る。記憶装置206は、内部記憶装置、あるいは接続記憶装置またはネットワーク・アクセス可能な記憶装置を含むこともある。記憶装置206中のプログラムは、メモリ204にロードされ、当技術分野で知られている方法でプロセッサ202によって実行される。このアーキテクチャはさらに、ネットワークとの通信を可能にするネットワーク・カード208を含む。入力装置210を使用して、プロセッサ202に対するユーザ入力を提供しており、これにはキーボード、マウス、ペン・スタイラス、マイクロフォン、接触感知ディスプレイ画面、または当技術分野で知られている他の活性化機構または入力機構が含まれ得る。出力装置212では、プロセッサ202、またはディスプレイ・モニタ、プリンタ、記憶装置など他の構成要素から伝送される情報を表現することができる。
本発明の様々な実装形態についての以上の説明を、図示し説明する目的で提示してきた。網羅的なことを企図したものでもなく、また本発明を厳密な開示の形態に限定するものでもない。以上の教示を考慮すれば、多くの変更形態および変形形態が可能である。本発明の範囲は、添付の特許請求の範囲によって限定される以外は、この詳細な説明によって限定されるものではない。以上の明細書、例、およびデータでは、本発明の構成の製造および使用についての完全な説明を提供している。本発明の趣旨および範囲を逸脱することなく、本発明についての多くの実施形態が実現できるので、本発明は、添付の特許請求の範囲に帰するものである。
本発明の態様が実装されるネットワーク計算機環境を示すブロック図である。 一次記憶サイトと二次記憶サイトの間のデータ・ミラーリング動作を管理するように実施される動作を示す図である。 一次記憶サイトと二次記憶サイトの間のデータ・ミラーリング動作を管理するように実施される動作を示す図である。 一次記憶サイトと二次記憶サイトの間のデータ・ミラーリング動作を管理するように実施される動作を示す図である。 障害回復後に一次記憶サイトを再同期させるように実施される動作を示す図である。 記憶制御装置および監視システムなど、ネットワーク環境中の計算機構成要素のアーキテクチャを示す図である。
符号の説明
1 ホスト
2a 一次記憶制御装置
2b 二次記憶制御装置
4 接続
6a 記憶管理ソフトウェア
6b 記憶管理ソフトウェア
8a 記憶システム
8b 記憶システム
10 ホスト・システム
10a、10b..10n ボリューム
12a、12b..12n ボリューム
14 コピー関係
16 ボリューム・ビットマップ
18 同期モード・フラグ
200 コンピュータ・アーキテクチャ
202 プロセッサ
204 メモリ
206 記憶装置
208 ネットワーク・カード
210 入力装置
212 出力装置

Claims (28)

  1. 一次記憶装置中の複数のソース・データ・ユニットと二次記憶装置中の対応する複数のターゲット・データ・ユニットとの間の関係を確立するステップと、
    前記対応するターゲット・データ・ユニットに対して前記関係にあるすべてのソース・データ・ユニットの初期コピーを実施する動作を開始するステップと、
    ソース・データ・ユニットに対する更新を受け取るステップと、
    第1の書込みモードが指定されているかどうかを判定するステップと、
    前記第1のコピー書込みが指定されている場合、前記対応するターゲット・データ・ユニットへの前記第1の書込みモード中に前記更新を前記ソース・データ・ユニットにコピーするステップと、
    前記第1の書込みモードが指定されていない場合には、第2の書込みモード中に、前記更新をターゲット・データ・ユニットに対応する前記ソース・データ・ユニットにコピーするステップと、
    前記第1の書込みモードが指定されていない場合には、前記関係に従うすべてのデータ・ユニットについての書込み数が閾値よりも小さいかどうかを判定するステップと、
    前記関係に従うすべてのデータ・ユニットについての前記書込み数が前記閾値よりも小さい場合には、前記第1の書込みモードを指定するステップと
    を含む、データをミラーリングする方法。
  2. 前記第1の書込みモードが、同期書込みモードを含み、前記第2の書込みモードが、非同期書込みモードを含む、請求項1に記載の方法。
  3. 前記初期コピーの一部として前記対応するターゲット・データ・ユニットにコピーされる前記ソース・データ・ユニットが、前記第1の書込みモード中にコピーされる、請求項1に記載の方法。
  4. 対応するターゲット・データ・ユニットにコピーするようにソース・データ・ユニットに指示するデータ構造を提供するステップと、
    すべてのソース・データ・ユニットを前記対応するターゲット・データ・ユニットに前記第2の書込みモード中に前記初期コピーを実施する前記動作の一部としてコピーするように前記データ構造中で指示するステップと
    をさらに含む、請求項1に記載の方法。
  5. 前記データ構造を処理して前記対応するターゲット・データ・ユニットにコピーするための前記データ構造中で指示されるソース・データ・ユニットを決定するステップと、
    すべての決定されたソース・データ・ユニットを前記第2の書込みモード中に前記対応するターゲット・データ・ユニットにコピーするステップとをさらに含み、前記第2の書込みモード中にコピーされる前記ターゲット・データ・ユニットに対する前記更新が、すべての前記決定されたソース・データ・ユニットの前記コピーするステップの一部としてコピーされる、請求項4に記載の方法。
  6. 前記更新を受け取るのに応答して、前記第1の書込みモードが指定されていない場合に、前記更新されたソース・データ・ユニットを前記ターゲット・データ・ユニットにコピーするように前記データ構造中で指示するステップをさらに含む、請求項5に記載の方法。
  7. 前記データ構造を処理する前記ステップおよびすべての決定されたソース・データ・ユニットをコピーする前記ステップが、前記データ構造がどのソース・データ・ユニットにも前記対応するターゲット・データ・ユニットにコピーするように指示しなくなるまで実施される、請求項5に記載の方法。
  8. 前記初期コピーが、前記データ構造を処理する前記ステップとすべての決定されたソース・データ・ユニットをコピーする前記ステップとを実施する第1の時間を含む、請求項7に記載の方法。
  9. 前記関係にある前記ソース・データ・ユニットおよび前記ターゲット・データ・ユニットがボリューム対中にあり、前記関係に従うすべてのデータ・ユニットについての前記書込み数が閾値よりも小さいかどうかを判定するステップが、すべてのボリューム対についての前記書込み数が前記閾値よりも小さいかどうかを判定するステップを含み、前記関係に従うすべてのボリューム対についての前記書込み数が前記閾値よりも小さい場合に、前記第1の書込みモードが、前記関係にあるすべてのボリューム対について指定される、請求項1に記載の方法。
  10. コピーすべきソース・データ・ユニットの前記数が前記閾値数よりも小さいかどうかを判定するステップが、前記関係にあるすべての前記ソース・データ・ユニットのうちのコピーするよう指示されるソース・データ・ユニットのパーセンテージが閾値数よりも小さいかどうかを判定するステップを含む、請求項9に記載の方法。
  11. 一次記憶装置と、
    二次記憶装置と、
    前記一次記憶装置中の複数のソース・データ・ユニットと前記二次記憶装置中の対応する複数のターゲット・データ・ユニットとの間の関係を確立する手段と、
    前記対応するターゲット・データ・ユニットに対して前記関係にあるすべてのソース・データ・ユニットの初期コピーを実施する動作を開始する手段と、
    ソース・データ・ユニットに対する更新を受け取る手段と、
    第1の書込みモードが指定されているかどうかを判定する手段と、
    前記第1のコピー書込みが指定されている場合、前記対応するターゲット・データ・ユニットへの前記第1の書込みモード中に前記更新を前記ソース・データ・ユニットにコピーする手段と、
    前記第1の書込みモードが指定されていない場合には、第2の書込みモード中に、前記更新をターゲット・データ・ユニットに対応する前記ソース・データ・ユニットにコピーする手段と、
    前記第1の書込みモードが指定されていない場合には、前記関係に従うすべてのデータ・ユニットについての書込み数が閾値よりも小さいかどうかを判定する手段と、
    前記関係に従うすべてのデータ・ユニットについての前記書込み数が前記閾値よりも小さい場合には、前記第1の書込みモードを指定する手段と
    を備える、データをミラーリングするシステム。
  12. 前記第1の書込みモードが、同期書込みモードを含み、前記第2の書込みモードが、非同期書込みモードを含む、請求項11に記載のシステム。
  13. データ構造を含むメモリと、
    対応するターゲット・データ・ユニットにコピーするようにソース・データ・ユニットに前記データ構造中で指示する手段と、
    すべてのソース・データ・ユニットを前記対応するターゲット・データ・ユニットに前記第2の書込みモード中に前記初期コピーを実施する前記動作の一部としてコピーするように前記データ構造中で指示する手段と
    をさらに備える、請求項11に記載のシステム。
  14. 前記データ構造を処理して前記対応するターゲット・データ・ユニットにコピーするための、前記データ構造中で指示されるソース・データ・ユニットを決定する手段と、
    すべての決定されたソース・データ・ユニットを前記第2の書込みモード中に前記対応するターゲット・データ・ユニットにコピーする手段とをさらに備え、前記第2の書込みモード中にコピーされる前記ターゲット・データ・ユニットに対する前記更新が、すべての前記決定されたソース・データ・ユニットの前記コピーするステップの一部としてコピーされる、請求項13に記載のシステム。
  15. 前記更新を受け取るのに応答して、前記第1の書込みモードが指定されていない場合に、前記更新されたソース・データ・ユニットを前記ターゲット・データ・ユニットにコピーするように前記データ構造中で指示する手段をさらに備える、請求項14に記載のシステム。
  16. 前記データ構造を処理する前記ステップおよびすべての決定されたソース・データ・ユニットをコピーする前記ステップが、前記データ構造がどのソース・データ・ユニットにも前記対応するターゲット・データ・ユニットにコピーするように指示しなくなるまで実施される、請求項15に記載のシステム。
  17. 前記関係にある前記ソース・データ・ユニットおよび前記ターゲット・データ・ユニットがボリューム対中にあり、前記関係に従うすべてのデータ・ユニットについての前記書込み数が閾値よりも小さいかどうかを判定する手段が、すべてのボリューム対についての前記書込み数が前記閾値よりも小さいかどうかを判定し、前記関係に従うすべてのボリューム対についての前記書込み数が前記閾値よりも小さい場合に、前記第1の書込みモードが、前記関係にあるすべてのボリューム対について指定される、請求項14に記載のシステム。
  18. コピーすべきソース・データ・ユニットの前記数が前記閾値数よりも小さいかどうかを判定する前記手段が、前記関係にあるすべての前記ソース・データ・ユニットのうちのコピーするよう指示されるソース・データ・ユニットのパーセンテージが閾値数よりも小さいかどうかを判定する、請求項17に記載のシステム。
  19. 一次記憶装置と二次記憶装置の間でデータをミラーリングする製品であって、前記製品が、動作を実施させるようになっており、前記動作が
    前記一次記憶装置中の複数のソース・データ・ユニットと前記二次記憶装置中の対応する複数のターゲット・データ・ユニットとの間の関係を確立するステップと、
    前記対応するターゲット・データ・ユニットに対して前記関係にあるすべてのソース・データ・ユニットの初期コピーを実施する動作を開始するステップと、
    ソース・データ・ユニットに対する更新を受け取るステップと、
    第1の書込みモードが指定されているかどうかを判定するステップと、
    前記第1のコピー書込みが指定されている場合、前記対応するターゲット・データ・ユニットへの前記第1の書込みモード中に前記更新を前記ソース・データ・ユニットにコピーするステップと、
    前記第1の書込みモードが指定されていない場合には、第2の書込みモード中に、前記更新をターゲット・データ・ユニットに対応する前記ソース・データ・ユニットにコピーするステップと、
    前記第1の書込みモードが指定されていない場合には、前記関係に従うすべてのデータ・ユニットについての書込み数が閾値よりも小さいかどうかを判定するステップと、
    前記関係に従うすべてのデータ・ユニットについての前記書込み数が前記閾値よりも小さい場合には、前記第1の書込みモードを指定するステップと
    を含む、製品。
  20. 前記第1の書込みモードが、同期書込みモードを含み、前記第2の書込みモードが、非同期書込みモードを含む、請求項19に記載の製品。
  21. 前記初期コピーの一部として前記対応するターゲット・データ・ユニットにコピーされる前記ソース・データ・ユニットが、前記第1の書込みモード中にコピーされる、請求項19に記載の製品。
  22. 前記動作が、
    対応するターゲット・データ・ユニットにコピーするようにソース・データ・ユニットに指示するデータ構造を提供するステップと、
    すべてのソース・データ・ユニットを前記対応するターゲット・データ・ユニットに前記第2の書込みモード中に前記初期コピーを実施する前記動作の一部としてコピーするように前記データ構造中で指示するステップと
    をさらに含む、請求項19に記載の製品。
  23. 前記動作が、
    前記データ構造を処理して前記対応するターゲット・データ・ユニットにコピーするための前記データ構造中で指示されるソース・データ・ユニットを決定するステップと、
    すべての決定されたソース・データ・ユニットを前記第2の書込みモード中に前記対応するターゲット・データ・ユニットにコピーするステップとをさらに含み、前記第2の書込みモード中にコピーされる前記ターゲット・データ・ユニットに対する前記更新が、すべての前記決定されたソース・データ・ユニットの前記コピーするステップの一部としてコピーされる、請求項22に記載の製品。
  24. 前記動作が、
    前記更新を受け取るのに応答して、前記第1の書込みモードが指定されていない場合に、前記更新されたソース・データ・ユニットを前記ターゲット・データ・ユニットにコピーするように前記データ構造中で指示するステップをさらに含む、請求項23に記載の製品。
  25. 前記データ構造を処理する前記ステップおよびすべての決定されたソース・データ・ユニットをコピーする前記ステップが、前記データ構造がどのソース・データ・ユニットにも前記対応するターゲット・データ・ユニットにコピーするよう指示しなくなるまで実施される、請求項23に記載の製品。
  26. 前記初期コピーが、前記データ構造を処理する前記ステップとすべての決定されたソース・データ・ユニットをコピーする前記ステップとを実施する第1の時間を含む、請求項25に記載の製品。
  27. 前記関係にある前記ソース・データ・ユニットおよび前記ターゲット・データ・ユニットがボリューム対中にあり、前記関係に従うすべてのデータ・ユニットについての前記書込み数が閾値よりも小さいかどうかを判定するステップが、すべてのボリューム対についての前記書込み数が前記閾値よりも小さいかどうかを判定するステップを含み、前記関係に従うすべてのボリューム対についての前記書込み数が前記閾値よりも小さい場合に、前記第1の書込みモードが、前記関係にあるすべてのボリューム対について指定される、請求項19に記載の製品。
  28. コピーすべきソース・データ・ユニットの前記数が前記閾値数よりも小さいかどうかを判定するステップが、前記関係にあるすべての前記ソース・データ・ユニットのうちのコピーするよう指示されるソース・データ・ユニットのパーセンテージが閾値数よりも小さいかどうかを判定するステップを含む、請求項27に記載の製品。
JP2004173737A 2004-06-11 2004-06-11 サイト間でデータをミラーリングする方法、システム、およびプログラム Expired - Fee Related JP4583075B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004173737A JP4583075B2 (ja) 2004-06-11 2004-06-11 サイト間でデータをミラーリングする方法、システム、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004173737A JP4583075B2 (ja) 2004-06-11 2004-06-11 サイト間でデータをミラーリングする方法、システム、およびプログラム

Publications (2)

Publication Number Publication Date
JP2005352831A true JP2005352831A (ja) 2005-12-22
JP4583075B2 JP4583075B2 (ja) 2010-11-17

Family

ID=35587260

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004173737A Expired - Fee Related JP4583075B2 (ja) 2004-06-11 2004-06-11 サイト間でデータをミラーリングする方法、システム、およびプログラム

Country Status (1)

Country Link
JP (1) JP4583075B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10936447B2 (en) 2015-05-05 2021-03-02 International Business Machines Corporation Resynchronizing to a first storage system after a failover to a second storage system mirroring the first storage system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10936447B2 (en) 2015-05-05 2021-03-02 International Business Machines Corporation Resynchronizing to a first storage system after a failover to a second storage system mirroring the first storage system

Also Published As

Publication number Publication date
JP4583075B2 (ja) 2010-11-17

Similar Documents

Publication Publication Date Title
KR100734817B1 (ko) 싸이트간 데이타 미러링을 위한 방법, 시스템, 및 기록 매체
US7904684B2 (en) System and article of manufacture for consistent copying of storage volumes
CN110998538B (zh) 一致性组中一致性时间点快照副本的异步本地和远程生成
JP4405509B2 (ja) データ管理方法、システム、およびプログラム(リモート記憶位置にフェイルオーバを行うための方法、システム、およびプログラム)
US8055865B2 (en) Managing write requests to data sets in a primary volume subject to being copied to a secondary volume
US7188222B2 (en) Method, system, and program for mirroring data among storage sites
US7734883B2 (en) Method, system and program for forming a consistency group
JP5396146B2 (ja) 異種レプリケーションエンジンを用いた整合性グループの管理
US7467168B2 (en) Method for mirroring data at storage locations
JP4800031B2 (ja) ストレージシステム及びスナップショット管理方法
US20090070528A1 (en) Apparatus, system, and method for incremental resynchronization in a data storage system
JP2007507030A (ja) データを同期させるための方法、システム及びプログラム
KR20050033608A (ko) 데이터의 미러 복사본 제공 방법, 시스템 및 컴퓨터프로그램
JP2007183930A (ja) 異なるコピー技術を用いてデータをミラーリングするときの整合性の維持
JP2008033829A (ja) バックアップシステム及びバックアップ方法
JP2006079568A (ja) ストレージリモートコピー方式
JP2005158062A (ja) 優先順位を割り当てるための方法、システム、およびプログラム
US7647357B2 (en) Data transfer management in consistency group formation
US8583884B2 (en) Computing system and backup method
JP4583075B2 (ja) サイト間でデータをミラーリングする方法、システム、およびプログラム
US20070118605A1 (en) Method and computer system for information notification
JP2006235737A (ja) ストレージサブシステム及びストレージシステム
JP4072963B2 (ja) ストレージ・ボリュームの整合したコピーのための方法、システム、および製品
US20160357479A1 (en) Storage control apparatus

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060810

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060822

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061004

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20061004

RD12 Notification of acceptance of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7432

Effective date: 20061004

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20061004

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070629

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20070919

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070919

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20071024

A912 Removal of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20080926

RD14 Notification of resignation of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7434

Effective date: 20081219

RD12 Notification of acceptance of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7432

Effective date: 20100702

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100709

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20100709

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20100702

RD14 Notification of resignation of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7434

Effective date: 20100820

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100831

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130910

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees