JP2010165255A - 複製ボリュームの動的生成システム、および動的ペア設定方法 - Google Patents
複製ボリュームの動的生成システム、および動的ペア設定方法 Download PDFInfo
- Publication number
- JP2010165255A JP2010165255A JP2009008131A JP2009008131A JP2010165255A JP 2010165255 A JP2010165255 A JP 2010165255A JP 2009008131 A JP2009008131 A JP 2009008131A JP 2009008131 A JP2009008131 A JP 2009008131A JP 2010165255 A JP2010165255 A JP 2010165255A
- Authority
- JP
- Japan
- Prior art keywords
- volume
- site
- replication
- area
- pair
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【解決手段】メインサイト100では、クライアントサイト300からのファイルアクセスが行われた際に、メインサイト100のマスタボリューム(MV)130とクライアントサイト300の複製ボリューム(RV)330とのペア関係を、MV・RVペア管理表145を参照して、動的ペア設定手段142により自動的に設定する。
【選択図】図1
Description
ここで、レプリケーションでは、マスタボリューム(MV)の全更新が複製ボリューム(RV)へ反映されない限り、複製ボリューム(RV)の一貫性は確保されない。このため、レプリケーション途中では、複製ボリューム(RV)のファイルを正しく参照することは出来ない。
クライアントサイトにおいて、ホストから複製ボリューム(RV)のファイルへのアクセス要求により、クライアントサイトのストレージはメインサイトのストレージに複製ボリューム(RV)の該当する領域が最新であるかを問い合わせ、最新でなければ、メインサイトのストレージはマスタボリューム(MV)の該当する領域をロックしてメインサイトからの更新を排他し、該当する領域の更新データをクライアントサイトに転送し、クライアントサイトのストレージにおいて、複製ボリューム(RV)に該当する領域の更新データを反映させることで、クライアントサイトにおいて要求が上がった時点で最新のファイルにアクセスできる。
レプリケートされたファイルをクライアントサイト(またはサブサイト)からアクセスする場合、同時にアクセスするボリューム数が少ない場合でも、一般にどのボリュームがいつ必要か分からないため、全てのマスタボリューム(MV)に対応する複製ボリューム(RV)を準備することが理想であるが、現実には、それだけ多数の複製ボリューム(RV)を設備することはできない。
これにより、クライアントサイトおよびサブサイトの複製ボリューム(RV)の数がメインサイトのマスタボリューム(MV)の数より少ない状況においても、マスタボリューム(MV)と複製ボリューム(RV)のペア関係を手動で設定することなく自動で設定することができる。このため、クライアントサイトおよびサブサイトのホストからメインサイトのマスタボリューム(MV)に対しレプリケーションを用いて効率的にファイルアクセスが行える。
従来の複製ボリュームを使用するシステムでは、以下のような問題がある。
第1の問題点は、前述のように、クライアントサイトの複製ボリューム(RV)の数がメインサイトのマスタボリューム(MV)の数より少ない環境においては、マスタボリューム(MV)と複製ボリューム(RV)のペア関係を切り替えて必要なデータをレプリケートする必要がある。したがって、このペア関係の設定・解除作業は非常に煩わしい作業となっており、この問題の解決が望まれていた。
本発明の複製ボリュームの動的生成システムの構成について図1、図2を参照して説明する。なお、ここでは、複製ボリュームの動的生成システムの構成の概要について説明し、詳細な動作については、図3以降で説明する。
サブサイト200は、ホストコンピュータ210と、ストレージ(記憶部)220とを有しており、ストレージ220には、複数の複製ボリューム(RV1,RV2,RV3)230と、コントローラ240を有している。
図1に示すクライアントサイト300において、コントローラ340内の領域最新化手段313は、アプリケーション(AP)314からの指示によるファイルオープンの過程で、複製ボリューム(RV)330内のファイル制御領域とファイルデータ領域が配置されている領域情報をストレージ320に送信し、対応する複製ボリューム(RV)330の領域の最新化を領域ロック・転送手段341に指示する。
また、この領域ロック・転送手段341は、メインサイト100からの受信データを複製ボリューム(RVn)330に反映すると、メインサイト100に対し反映完了の通知とともにMV・RVペア管理表145において複製ボリューム(RV)330へのアクセス時刻の更新と、反映差分管理表146において反映領域の反映済みフラグを上げることとアクセス回数の更新を要求する。また、領域ロック・転送手段341は、マスタボリューム(MV)130に対する参照ロックを解放する手段と、ネットワーク回線障害を検知する通信障害検知手段を有する。
メインサイト100内のマスタボリューム(MV)130は、レプリケート元のボリュームであり、メインサイト100のホストで使用するボリュームである。マスタボリューム(MV)が更新された時は、反映差分管理表146にボリューム内の更新箇所が記録される。なお、複製ボリューム(RV)は、レプリケート先のボリュームであり、クライアントサイト300およびサブサイト200のホストで使用するボリュームで、マスタボリューム(MV)で更新されたデータがレプリケーションによって書き込まれる。
サブサイト200は、メインサイト100とクライアントサイト300とを接続するネットワークが通信不能になった場合に、メインサイト100とクライアントサイト300との間を中継するために設けられるものである。このため、サブサイト200にはメインサイト100と同様な構成部分を有している。
図3乃至図6は、クライアントサイト300でアプリケーション(AP)314からファイルを入力オープンしたとき、メインサイト100/クライアントサイト300のストレージ120,320間の連携動作を説明するための図である。以下、図3乃至図6を参照してその処理の流れについて説明する。
メインサイト100の領域ロック・転送手段141は、要求情報からファイルデータ領域132が配置されている領域に参照ロックをし、ファイル制御領域131の参照ロックを解放する(ステップS114)。
続いて、領域ロック・転送手段341は、メインサイト100の動的ペア設定手段142に対して、MV・RVペア管理表145における複製ボリューム(RV)アクセス時刻の更新と、反映差分管理表146における該当する領域の反映済みフラグを上げることとアクセス回数の更新とを要求し、メインサイト100の動的ペア設定手段142は、その要求に従いMV・RVペア管理表145と反映差分管理表146を更新する(ステップS119)。
クライアントサイト300の領域ロック・転送手段341は、ホストの領域最新化手段313に対して、ファイルデータ領域332の最新化完了を通知する(ステップS122)。領域最新化手段313は、アプリケーション(AP)314に対してファイルシステム312を通じ、ファイルのオープンが完了したことを通知する(ステップS123)。
図10を参照して、まず、メインサイト100のストレージ120に、新たなマスタボリューム(MV2)130aを追加する(ステップS301)。
これにより、マスタボリューム(MV)130とクライアントサイト300の複製ボリューム(RV)330とにペア関係がない場合においても、このペア関係を動的に設定し、クライアントサイト300に最新のデータを送信することができる。
これにより、マスタボリューム(MV)130とサブサイト200の複製ボリューム(RV)230とにペア関係がない場合においても、このペア関係を動的に設定し、サブサイト200に最新のデータを送信することができる。
図11は、アクセス頻度による先読みについての説明するための図である。以下、図11を参照して、その処理の流れについて説明する。
メインサイト100の領域ロック・転送手段141は、マスタボリューム(MV)130から該当する領域データを取得する(ステップS403)。
クライアントサイト300の領域ロック・転送手段341は、メインサイト100から受信したデータを複製ボリューム(RV)330に書き込む(ステップS405)。
クライアントサイト300の領域ロック・転送手段341は、メインサイト100に該当する領域のデータを複製ボリューム(RV)330に反映したことを通知する(ステップS406)。
これにより、ネットワーク回線の利用頻度が低いときに、アクセス頻度の情報をもとに事前にメインサイトからクライアントサイトおよびサブサイトへレプリケーションを行えようになる。
図12乃至図19は、第3の実施例における処理動作について説明するための図であり、以下図12乃至図19を参照して、その処理の流れについて説明する。
サイト切替手段343は、サブサイト200に対し、メインサイト100への中継を要求する(ステップS504)。
クライアントサイト300の複製ボリューム(RV)330とペアになっているマスタボリューム(MV)130について、サブサイト200において同じマスタボリューム(MV)130とペアになっている複製ボリューム(RV)230を割り出し、その割り出したサブサイト200の複製ボリューム(RV)230をマスタボリューム(MV)として、クライアントサイト300の複製ボリューム(RV)330とペアを生成し、MV・RVペア管理表245に登録する。続いて、取得した反映差分表をそのMV・RVペア管理表245に登録する(ステップS506)。
サブサイト200の領域ロック・転送手段241は、サイト切替管理手段247から得た転送するサイト情報をもとに、メインサイト100に対して、ファイル制御領域の参照ロック取得と最新データの転送を要求する(ステップS510)。
領域最新化手段313は、ストレージ320の領域ロック・転送手段341に対してファイルデータ領域が配置されている領域の最新化を指示する(ステップS529)。
クライアントサイト300の領域ロック・転送手段341は、サブサイト200に対してファイルデータ領域が配置されている領域の参照ロック取得、ファイル制御領域の参照ロック解放、最新データの転送を要求する(ステップS530)。
メインサイト100の領域ロック・転送手段141は、要求情報からファイルデータ領域132が配置されている領域に参照ロックをし、ファイル制御領域131の参照ロックを解放する(ステップS533)。
続いて、クライアントサイト300の領域ロック・転送手段341は、サブサイト200の動的ペア設定手段242に対して、MV・RVペア管理表245における複製ボリューム(RV)アクセス時刻の更新と、反映差分管理表246における該当する領域の反映済みフラグを上げることとアクセス回数の更新とを要求し(ステップS548)、サブサイト200の動的ペア設定手段242は、その要求に従いMV・RVペア管理表245と反映差分管理表246を更新する。
サブサイト200の領域ロック・転送手段241は、サイト切替管理手段247から得た転送するサイト情報をもとに、メインサイト100に対して、ファイルデータ領域の参照ロック解除を要求する(ステップS551)。
クライアントサイト300の領域ロック・転送手段341は、ホストの領域最新化手段313に対して、ファイルデータ領域332の最新化完了を通知する(ステップS553)。
領域最新化手段313は、アプリケーション(AP)314に対してファイルシステム312を通じ、ファイルのオープンが完了したことを通知する(ステップS554)。
そして、クライアントサイト300は、メインサイト100との間のネットワーク回線が不通になったことを検知する通信障害検知手段342と、通信障害検知手段342によりネットワーク回線が不通になったことを検知した場合に、サブサイト200にアクセス先を切り替えるサイト切替手段343と、を有する。
また、サブサイト200は、クライアントサイト300のサイト切替手段343からの切り替え要求を受けて、メインサイト100とクライアントサイト100とを中継するための情報を取得するサイト切替管理手段247と、メインサイト100のマスタボリューム(MV)130とクライアントサイト300の複製ボリューム(RV)330との間のレプリケーションを中継する領域ロック・転送手段と、を有する。
そして、サブサイト200は、クライアントサイト300とメインサイト100との通信ネットワーク回線が不通になった通知を受けて、メインサイト100のマスタボリューム(MV)130と、クライアントサイト300の複製ボリューム(RV)330との間のレプリケーションを中継する。
これにより、メインサイトとメインサイトにアクセスしているクライアントサイトの間のネットワーク回線が不通になった場合、別のネットワーク回線で接続されているサブサイトのストレージを中継として、そのままメインサイトのファイルのアクセスを継続することできる。
Claims (5)
- 複数のマスタボリューム(MV)を記憶部に有するメインサイトと、前記マスタボリュームの内容をレプリケートする複製ボリューム(RV)を記憶部に有するクライアントサイトとがネットワークで接続されて構成されると共に、前記マスタボリューム(MV)と前記複製ボリューム(RV)とでペア関係が設定される複製ボリュームの動的生成システムであって、
前記マスタボリューム(MV)と前記クライアントサイトの複製ボリューム(RV)とのペア関係を、クライアントサイトからメインサイトへのファイルアクセスが行われる際に、動的に設定する動的ペア設定手段を、
備えることを特徴とする複製ボリュームの動的生成システム。 - 前記複製ボリュームの動的生成システムは、
さらに、前記メインサイトと前記通信ネットワークを介して接続されると共に、前記メインサイトのマスタボリューム(MV)の内容をレプリケートする複製ボリューム(RV)を記憶部に有するサブサイトを備え、
前記マスタボリューム(MV)と前記サブサイトの複製ボリューム(RV)とのペア関係を、サブサイトからメインサイトへのファイルアクセスが行われる際に、動的に設定する動的ペア設定手段を
備えることを特徴とする請求項1に記載の複製ボリュームの動的生成システム。 - 前記メインサイトは、
前記ペア関係を記述するMV・RVペア管理表と、
前記MV・RVペア管理表に記述されたペア関係に関連付けされると共に、前記マスタボリューム(MV)へのファイルアクセスでアクセスされた領域のアクセス頻度を記憶する反映差分管理表と、
前記反映差分管理表から各マスタボリューム(MV)のアクセス頻度が高い領域を割り出す先読領域割出手段と、
前記先読領域割出手段を用いて読み出されたアクセス頻度の情報に基づいて、アクセス頻度の高いデータを予め前記ペア関係を有するクライアントサイト、およびサブサイトに送信する先読み手段と、
を備え、
前記先読み手段は、アクセス頻度が高いと判定されたマスタボリューム(MV)中の領域について、当該領域の送信すべきデータをネットワーク回線の空いているときに、前記クライアントサイト、およびサブサイトに送信すること、
を特徴とする請求項1または請求項2に記載の複製ボリュームの動的生成システム。 - 前記複製ボリュームの動的生成システムは、
前記メインサイトと前記通信ネットワークを介して接続されると共に、前記メインサイトのマスタボリューム(MV)の内容をレプリケートする複製ボリューム(RV)を記憶部に有するサブサイトを備え、
前記クライアントサイトは、
メインサイトとの間のネットワーク回線が不通になったことを検知する通信障害検知手段と、
前記通信障害検知手段により前記ネットワーク回線が不通になったことを検知した場合に、前記サブサイトにアクセス先を切り替えるサイト切替手段と、
を備え、
前記サブサイトは、
前記クライアントサイトのサイト切替手段からの切り替え要求を受けて、前記メインサイトとクライアントサイトとを中継するための情報を取得するサイト切替管理と、
前記メインサイトのマスタボリューム(MV)と前記クライアントサイトの複製ボリューム(RV)との間のレプリケーションを中継する領域ロック・転送手段と、
を備えることを特徴とする請求項1から請求項3のいずれかに記載の複製ボリュームの動的生成システム。 - 複数のマスタボリューム(MV)を記憶部に有するメインサイトと、前記マスタボリュームの内容をレプリケートする複製ボリューム(RV)を記憶部に有するクライアントサイトとがネットワークで接続されて構成されると共に、前記マスタボリューム(MV)と前記複製ボリューム(RV)とでペア関係が設定される複製ボリュームの動的生成システムにおける動的ペア設定方法であって、
前記メインサイトにより、
前記マスタボリューム(MV)と前記複製ボリューム(RV)とのペア関係を、クライアントサイトからメインサイトへのファイルアクセスが行われる際に、動的に設定する動的ペア設定手順が、
行われることを特徴とする動的ペア設定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009008131A JP5293213B2 (ja) | 2009-01-16 | 2009-01-16 | 複製ボリュームの動的生成システム、および動的ペア設定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009008131A JP5293213B2 (ja) | 2009-01-16 | 2009-01-16 | 複製ボリュームの動的生成システム、および動的ペア設定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010165255A true JP2010165255A (ja) | 2010-07-29 |
JP5293213B2 JP5293213B2 (ja) | 2013-09-18 |
Family
ID=42581346
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009008131A Expired - Fee Related JP5293213B2 (ja) | 2009-01-16 | 2009-01-16 | 複製ボリュームの動的生成システム、および動的ペア設定方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5293213B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150254142A1 (en) * | 2014-03-06 | 2015-09-10 | Software Ag | Systems and/or methods for data recovery in distributed, scalable multi-tenant environments |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05120110A (ja) * | 1991-10-30 | 1993-05-18 | Hitachi Ltd | フアイルの自動バツクアツプシステム |
JPH07262067A (ja) * | 1994-03-18 | 1995-10-13 | Nissin Electric Co Ltd | ネットワーク型ファイルバックアップ装置 |
JPH07311703A (ja) * | 1994-05-18 | 1995-11-28 | Matsushita Electric Ind Co Ltd | ネットワークファイルシステム管理方法およびその装置 |
JPH0962456A (ja) * | 1995-08-22 | 1997-03-07 | Nec Software Ltd | 拡張記憶機構における二重化仮想ディスク装置データの 動的ペア変更方法 |
JPH11232159A (ja) * | 1998-02-13 | 1999-08-27 | The Japan Reserch Institute Ltd | ファイル管理方法およびファイル管理のためのプログラムを記憶した媒体 |
JP2001175681A (ja) * | 1999-12-21 | 2001-06-29 | Hitachi Ltd | データベースシステム、データベースのレプリカ生成方法およびデータベースのレプリカ生成プログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP2004192133A (ja) * | 2002-12-09 | 2004-07-08 | Nec Corp | 複製ボリューム生成方法およびディスク装置 |
JP2005050165A (ja) * | 2003-07-29 | 2005-02-24 | Hitachi Ltd | 分散ストレージ装置のファイル管理方法及び分散ストレージシステム |
JP2005165694A (ja) * | 2003-12-03 | 2005-06-23 | Hitachi Ltd | 記憶装置システムおよびそのレプリケーション作成方法 |
JP2005234836A (ja) * | 2004-02-19 | 2005-09-02 | Fuji Xerox Co Ltd | 文書管理用コンピュータプログラムならびに文書管理装置および方法 |
JP2006079568A (ja) * | 2004-08-09 | 2006-03-23 | Hitachi Ltd | ストレージリモートコピー方式 |
JP2006251937A (ja) * | 2005-03-09 | 2006-09-21 | Nec Corp | ストレージ装置及び複製管理方法並びにプログラム |
-
2009
- 2009-01-16 JP JP2009008131A patent/JP5293213B2/ja not_active Expired - Fee Related
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05120110A (ja) * | 1991-10-30 | 1993-05-18 | Hitachi Ltd | フアイルの自動バツクアツプシステム |
JPH07262067A (ja) * | 1994-03-18 | 1995-10-13 | Nissin Electric Co Ltd | ネットワーク型ファイルバックアップ装置 |
JPH07311703A (ja) * | 1994-05-18 | 1995-11-28 | Matsushita Electric Ind Co Ltd | ネットワークファイルシステム管理方法およびその装置 |
JPH0962456A (ja) * | 1995-08-22 | 1997-03-07 | Nec Software Ltd | 拡張記憶機構における二重化仮想ディスク装置データの 動的ペア変更方法 |
JPH11232159A (ja) * | 1998-02-13 | 1999-08-27 | The Japan Reserch Institute Ltd | ファイル管理方法およびファイル管理のためのプログラムを記憶した媒体 |
JP2001175681A (ja) * | 1999-12-21 | 2001-06-29 | Hitachi Ltd | データベースシステム、データベースのレプリカ生成方法およびデータベースのレプリカ生成プログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP2004192133A (ja) * | 2002-12-09 | 2004-07-08 | Nec Corp | 複製ボリューム生成方法およびディスク装置 |
JP2005050165A (ja) * | 2003-07-29 | 2005-02-24 | Hitachi Ltd | 分散ストレージ装置のファイル管理方法及び分散ストレージシステム |
JP2005165694A (ja) * | 2003-12-03 | 2005-06-23 | Hitachi Ltd | 記憶装置システムおよびそのレプリケーション作成方法 |
JP2005234836A (ja) * | 2004-02-19 | 2005-09-02 | Fuji Xerox Co Ltd | 文書管理用コンピュータプログラムならびに文書管理装置および方法 |
JP2006079568A (ja) * | 2004-08-09 | 2006-03-23 | Hitachi Ltd | ストレージリモートコピー方式 |
JP2006251937A (ja) * | 2005-03-09 | 2006-09-21 | Nec Corp | ストレージ装置及び複製管理方法並びにプログラム |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150254142A1 (en) * | 2014-03-06 | 2015-09-10 | Software Ag | Systems and/or methods for data recovery in distributed, scalable multi-tenant environments |
US9465698B2 (en) * | 2014-03-06 | 2016-10-11 | Software Ag | Systems and/or methods for data recovery in distributed, scalable multi-tenant environments |
Also Published As
Publication number | Publication date |
---|---|
JP5293213B2 (ja) | 2013-09-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4796854B2 (ja) | 差分リモートコピーにおける中間ボリュームのデータ溢れ対策 | |
US7082506B2 (en) | Remote copy control method, storage sub-system with the method, and large area data storage system using them | |
JP4401895B2 (ja) | 計算機システム、計算機及びそのプログラム。 | |
US7293194B2 (en) | Method and device for switching database access part from for-standby to currently in use | |
JP2007286860A (ja) | データ転送方法及び情報処理装置 | |
JP4672931B2 (ja) | 遠隔ファイル共用方法、その装置及びシステム | |
US7143253B2 (en) | Remote copy system | |
JP2005018506A (ja) | 記憶システム | |
JP2003248605A (ja) | ストレージシステム、主記憶システム、副記憶システム、及びそのデータ複写方法 | |
TW200540680A (en) | Method, system, and program for handling a failover to a remote storage location | |
JP2008250695A (ja) | ディスクアレイコントローラ及びこれを備えたディスクアレイシステム | |
JP2005084953A (ja) | データ処理システム | |
JP2007293652A (ja) | 計算機システム及び計算機システムの制御方法 | |
JP6279770B2 (ja) | ファイルサーバ装置 | |
JP2000137638A (ja) | 情報記憶システム | |
EP2759937B1 (en) | Method and apparatus for efficient remote copy | |
JP2005309793A (ja) | データ処理システム | |
JP2001209565A (ja) | サブシステム及びこれらの統合システム | |
JP6262879B2 (ja) | ストレージシステム | |
JP4549709B2 (ja) | ストレージ装置 | |
JP4124374B2 (ja) | 記憶システム | |
JP2003131917A (ja) | 記憶装置システム | |
JP5293213B2 (ja) | 複製ボリュームの動的生成システム、および動的ペア設定方法 | |
EP3125123A1 (en) | Database system, information processing device, method, and program | |
JP6728836B2 (ja) | ディザスタリカバリシステム、リモートストレージ装置、通常時転送装置、被災時転送装置、方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100716 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111209 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130410 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130514 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130527 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5293213 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |