JP2011248668A - 計算機システム及びリストア方法 - Google Patents

計算機システム及びリストア方法 Download PDF

Info

Publication number
JP2011248668A
JP2011248668A JP2010121726A JP2010121726A JP2011248668A JP 2011248668 A JP2011248668 A JP 2011248668A JP 2010121726 A JP2010121726 A JP 2010121726A JP 2010121726 A JP2010121726 A JP 2010121726A JP 2011248668 A JP2011248668 A JP 2011248668A
Authority
JP
Japan
Prior art keywords
volume
restore
file
data
restoration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010121726A
Other languages
English (en)
Other versions
JP5188538B2 (ja
JP2011248668A5 (ja
Inventor
Ayako Tatebe
綾子 建部
Shogo Mitsui
小吾 三井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2010121726A priority Critical patent/JP5188538B2/ja
Priority to US12/844,518 priority patent/US8260754B2/en
Publication of JP2011248668A publication Critical patent/JP2011248668A/ja
Publication of JP2011248668A5 publication Critical patent/JP2011248668A5/ja
Application granted granted Critical
Publication of JP5188538B2 publication Critical patent/JP5188538B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1456Hardware arrangements for backup
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1458Management of the backup or restore process
    • G06F11/1469Backup restoration techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2082Data synchronisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】
リストア作業を容易化し得る計算機システム及びリストア方法を提案する。
【解決手段】
管理サーバが、少なくとも業務サーバ、主ボリュームが形成されたストレージ装置及び副ボリュームが形成されたストレージ装置から必要な情報を収集し、管理サーバが、外部からリストア要求が与えられたときに、情報収集部が収集した情報に基づいて、予め定められた複数種類の各リストア方式により要求されたリストア処理をそれぞれ実行したときに要するリストア時間をそれぞれ計算し、リストア時間が最短のリストア方式を当該リストア要求に対するリストア処理時のリストア方式として決定すると共に、決定したリストア方式を業務サーバに通知し、業務サーバが、管理サーバから通知されたリストア方式によりリストア処理を実行するように、主ボリュームが設けられたストレージ装置及び副ボリュームが設けられたストレージ装置を制御するようにした。
【選択図】 図12

Description

本発明は計算機システム及びリストア方法に関し、例えばバックアップ機能及びリストア機能が実装されたストレージ装置を備える計算機システムに適用して好適なものである。
現在、地震又はハリケーンなどによる大規模な自然災害や、システム管理者の誤操作又はテロリズム攻撃などによる人的災害、並びに機器及びプログラムの不具合によるデータ破壊からデータを保護するために、特に大企業や政府系の計算機システムにおいて、リモートコピー技術を用いたデータバックアップが広く使用されている。
この種の計算機システムでは、主側のストレージ装置(以下、これを主ストレージ装置と呼ぶ)内の論理ボリューム(以下、これを主ボリュームと呼ぶ)と、副側のストレージ装置(以下、これを副ストレージ装置と呼ぶ)内のコピー先の論理ボリューム(以下、これを副ボリュームと呼ぶ)とをコピーペアに設定しておくことによって、主ボリュームに書き込まれたデータが主ボリュームへのデータの書き込みと同期して又は非同期に副ストレージ装置に転送される。そして副ストレージ装置側では、主ストレージ装置から転送されるそのデータを副ボリューム内の主ボリュームと同じ位置に書き込む。
また、かかる計算機システムでは、自然災害や人的災害などにより主ボリューム内のデータが消失又は破壊されたときに、副ボリュームに保存されているスナップショット内の必要なファイルのデータを主ボリュームにコピーことによって、主ボリュームをデータが消失し又は破壊される前の状態に戻す(リストア)ことができる。
このような計算機システムによれば、データを二重化して保持することができ、災害等に起因するデータの消失を防止することができる。
特開2005−301497号公報
ところで、かかる計算機システムにおけるリストア方式としては、従来、リストア対象のファイルのデータを副ボリュームから主ボリュームにボリューム単位でコピーするボリューム単位コピー方式と、スナップショットデータを副ボリュームから主ボリュームにファイル単位でコピーするファイル単位コピー方式とがある。
ボリューム単位コピー方式は、副ボリューム内の全ファイルのデータを副ボリュームから主ボリュームにボリューム単位で差分コピーする方式である。このリストア方式によると、主ボリュームの内容をすべて上書きすることになるため、リストア対象外のファイルがある場合には適用できないが、データを副ストレージ装置から主ストレージ装置に直接転送する方式であるためデータ転送速度が速い。
またファイル単位コピー方式は、データを副ボリュームから主ボリュームにファイル単位で差分コピーする方式である。このリストア方式は、リストア対象外のファイルのファイルが存在する場合に有効であるが、個々のファイルを外部サーバ経由で副ストレージ装置から主ストレージ装置に転送する方式であるためデータ転送速度が遅い。
このようにボリューム単位コピー方式及びファイル単位コピー方式にはそれぞれ利点及び欠点があり、リストアを行う際に、どちらのリストア方式を適用すべきかを、リストア対象に応じてユーザが判断する必要があった。このため、かかる判断のための時間及び労力を要し、また判断を誤るとリストア作業に余分な時間を要する問題があった。
なお、上記特許文献1には、リストアを高速に行い得るリストア方法の技術が開示されてはいるものの、既存の計算機システムの機能をより多く利用でき、僅かなプログラム変更で実施可能なリストア技術が望まれる。
本発明は以上の点を考慮してなされたもので、リストア作業を容易化し得る計算機システム及びリストア方法を提案しようとするものである。
かかる課題を解決するため本発明においては、業務サーバがデータを読み書きするための主ボリュームと、前記主ボリュームに書き込まれたデータをバックアップするための副ボリュームとが同一又は異なるストレージ装置内に設けられた計算機システムにおいて、
前記主ボリューム及び前記副ボリューム間のデータのバックアップ及びリストアを管理する管理サーバを有し、前記管理サーバは、少なくとも前記業務サーバ、前記主ボリュームが形成された前記ストレージ装置及び前記副ボリュームが形成された前記ストレージ装置から必要な情報を収集する情報収集部と、外部からリストア要求が与えられたときに、前記情報収集部が収集した前記情報に基づいて、予め定められた複数種類の各リストア方式により要求されたリストア処理をそれぞれ実行したときに要するリストア時間をそれぞれ計算し、リストア時間が最短のリストア方式を当該リストア要求に対するリストア処理時のリストア方式として決定するリストア方式決定部と、前記リストア方式決定部により決定された前記リストア方式を前記業務サーバに通知するストレージ管理部とを備え、前記業務サーバは、前記ストレージ管理部から通知されたリストア方式によりリストア処理を実行するように、前記主ボリュームが設けられたストレージ装置及び前記副ボリュームが設けられたストレージ装置を制御することを特徴とする。
また本発明においては、業務サーバがデータを読み書きするための主ボリュームと、前記主ボリュームに書き込まれたデータをバックアップするための副ボリュームとが同一又は異なるストレージ装置内に設けられた計算機システムにおけるリストア方法であって、前記計算機システムは、前記主ボリューム及び前記副ボリューム間のデータのバックアップ及びリストアを管理する管理サーバを有し、前記管理サーバが、少なくとも前記業務サーバ、前記主ボリュームが形成された前記ストレージ装置及び前記副ボリュームが形成された前記ストレージ装置から必要な情報を収集する第1のステップと、前記管理サーバが、外部からリストア要求が与えられたときに、前記情報収集部が収集した前記情報に基づいて、予め定められた複数種類の各リストア方式により要求されたリストア処理をそれぞれ実行したときに要するリストア時間をそれぞれ計算し、リストア時間が最短のリストア方式を当該リストア要求に対するリストア処理時のリストア方式として決定する第2のステップと、前記管理サーバが、決定した前記リストア方式を前記業務サーバに通知する第3のステップと、前記業務サーバが、前記管理サーバから通知されたリストア方式によりリストア処理を実行するように、前記主ボリュームが設けられたストレージ装置及び前記副ボリュームが設けられたストレージ装置を制御する第4のステップとを備えることを特徴とする。
本発明によれば、リストア実行時にユーザがどのリストア方式によりリストアを実行すべきかを判断する必要がなく、その分の時間及び労力を省略することができる。かくするにつき、リストア作業を容易化することができる。
本実施の形態による計算機システムの全体構成を示すブロック図である。 ボリューム単位コピー方式の説明に供する概念図である。 ファイル単位コピー方式の説明に供する概念図である。 組合せコピー方式の説明に供する概念図である。 リストア方式決定情報の説明に供する図表である。 データ転送速度の計算方法の説明に供するグラフである。 データ転送速度の計算方法の説明に供するグラフである ファイル情報テーブルの構成を示す概念図である。 差分量−転送速度テーブルの構成を示す概念図である。 退避ボリュームテーブルの構成を示す概念図である。 本実施の形態の計算機システムにおけるバックアップ及びリストアの流れの説明に供するフローチャートである。 リストア方式決定処理の処理手順を示すフローチャートである。 第1のデータ転送時間算出処理の処理手順を示すフローチャートである。 第2のデータ転送時間算出処理の処理手順を示すフローチャートである。 第3のデータ転送時間算出処理の処理手順を示すフローチャートである。 本実施の形態によるリストア制御機能に基づくリストア方式決定処理の具体例の説明に供する概念図である。 本実施の形態によるリストア制御機能に基づくリストア方式決定処理の具体例の説明に供する概念図である。
以下図面について、本発明の一実施の形態を詳述する。
(1)本実施の形態による計算機システムの構成
図1において、1は全体として本実施の形態による計算機システムを示す。この計算機システム1は、クライアント端末2、管理サーバ3、業務サーバ4A,4B、ペア管理サーバ5を備え、これらがLAN(Local Area Network)6を介して相互に接続されている。また管理サーバ3、業務サーバ4及びペア管理サーバ5は、FC−SAN(Fibre Chanel-Storage Area Network)7を介して主ストレージ装置8A及び副ストレージ装置8Bと接続され、主ストレージ装置8A及び副ストレージ装置8Bはネットワーク9を介して相互に接続されている。なお、以下においては、主ストレージ装置8Aと副ストレージ装置8Bとを特に区別する必要がない場合には、これら主ストレージ装置8A及び副ストレージ装置8Bをまとめてストレージ装置8と呼ぶ。
クライアント端末2は、後述のように主ストレージ装置8A及び副ストレージ装置8B間で行われるリモートコピーにより副ストレージ装置8B内に作成されるバックアップ対象のレプリケーション(ここではスナップショット)の管理を行うために用いられる端末装置であり、例えばパーソナルコンピュータなどから構成される。クライアント端末2は、CPU(Central Processing Unit)10及びメモリ11などの情報処理資源のほか、例えばキーボード、スイッチ、ポインティングデバイス及び又はマイクロフォン等の情報入力装置(図示せず)と、例えばモニタディスプレイ及び又はスピーカ等の情報出力装置(図示せず)とを備える。CPU10がメモリ11に格納されたプログラムを実行することにより、クライアント端末2全体としての各種処理が実行される。
管理サーバ3は、FC−SAN7に接続されたストレージ装置8を管理するために用いられるコンピュータ装置であり、CPU20、メモリ21及びハードディスク装置22、情報入力装置(図示せず)及び情報出力装置(図示せず)などを備える。管理サーバ3は、また主ストレージ装置8A及び副ストレージ装置8B間のデータのバックアップ及びリストアをも管理する。
管理サーバ3のメモリ21には、ストレージ管理プログラム23が格納される。ストレージ管理プログラム23は、FC−SAN7に接続された各ストレージ装置8の構成などを管理するプログラムであり、ストレージ装置8から取得した各種情報を情報出力装置に表示させると共に、情報入力装置を介して入力されたユーザからの指示に基づいてストレージ装置8を操作する。
ハードディスク装置22は、主として各種プログラムや各種データを保存するために用いられる。ハードディスク装置22に格納された各種プログラム(ストレージ管理プログラム23を含む)がメモリ21にロードされてCPU21により実行される。
業務サーバ4は、ユーザ業務を実行するサーバ装置であり、CPU30A,30B及びメモリ31A,31B等の情報処理資源を備えて構成される。業務サーバ4上では、ユーザ業務で使用される業務アプリケーション33A,33Bが稼働しており、かかる業務アプリケーション33A,33Bが使用するデータ(例えばデータベースのデータ)がFC−SAN7を介して主ストレージ装置8A内の対応する主ボリュームPVOLにファイル化されて読み書きされる。図1は、各業務サーバ4上でそれぞれ1つの業務アプリケーション33A,33Bが稼働している構成例を示しているが、業務サーバ4上で複数の業務アプリケーション33A,33Bを稼働させるようにしても良い。
また業務サーバ4上では、バックアップ管理プログラム32A,32Bも稼働する。バックアップ管理プログラム32A,32Bは、クライアント端末2からの要求に従って業務アプリケーション33A,33Bやペア管理サーバ5と通信し、必要時には、業務アプリケーション33A,33Bが主ストレージ装置8A内の主ボリュームPVOLに格納したデータを副ストレージ装置8B内の対応する副ボリュームSVOLにリモートコピー(バックアップ)するよう主ストレージ装置8A及び副ストレージ装置8Bを制御する。またバックアップ管理プログラム32A,32Bは、後述する管理サーバ3の情報収集プログラム25からの要求に応じて、業務サーバ4及び業務アプリケーション33A,33Bに関する各種情報を情報収集プログラム25に提供する。
なお本実施の形態の場合、業務サーバ4として、データベースサーバ4A及びバックアップサーバ4Bが設けられている。データベースサーバ4Aは、主としてユーザ業務を遂行するサーバであり、主ストレージ装置8Aと接続されている。このデータベースサーバ4A上では、ユーザ業務を行う業務アプリケーション33A及びデータベースが稼働する。
またバックアップサーバ4Bは、主として上述のような主ボリュームPVOLから副ボリュームSVOLへのデータのバックアップを管理するためのサーバである。なお、副ストレージ装置8Bにバックアップしたデータをさらに磁気テープ等に格納する場合や、副ストレージ装置8Bにバックアップしたデータの内容を参照する場合には、バックアップサーバ4Bが必要となるが、そのような操作を要しない場合にはバックアップサーバ4Bを省略することができる。
ペア管理サーバ5は、業務サーバ4がデータを読み書きする主ストレージ装置8A内の主ボリュームPVOLと、副ストレージ装置8B内に作成された副ボリュームSVOLとのコピーペアを管理するためのサーバ装置であり、CPU40及びメモリ41等の情報処理資源を備えて構成される。ここで、コピーペアとは、主ボリュームPVOLに書き込まれたデータを副ボリュームSVOLにコピーするよう設定された主ボリュームPVOL及び副ボリュームSVOLの組を意味する。
ペア管理サーバ5のメモリ41には、コピーペア管理プログラム42及びペア管理プログラム43が格納されている。コピーペア管理プログラム42は、ユーザ操作に従ってコピーペアを作成、削除及び状態変更するよう主ストレージ装置8A及び副ストレージ装置8Bを制御する。またコピーペア管理プログラム42は、後述する管理サーバ3の情報収集プログラム25からの要求に応じて、作成されたコピーペアに関する各種情報を情報収集プログラム25に提供する。
ストレージ装置8は、それぞれ複数の物理ディスク50A,50Bと、これら物理ディスク50A,50Bに対するデータの読み書きを制御するコントローラ51A,51Bとから構成されている。
物理ディスク50A,50Bは、例えばSCSI(Small Computer System Interface)ディスク等の高価なディスクや、SATA(Serial AT Attachment)ディスクや光ディスク等の安価なディスクなどから構成される。
各物理ディスク50A,50Bは、コントローラ51A,51BによりRAID(Redundant Arrays of Independent Disks)方式で運用される。1又は複数の物理ディスク50A,50BによりRAIDグループ52A,52Bが構成され、1つのRAIDグループ52A,52Bを構成する物理ディスク50A,50Bが提供する記憶領域上に、1又は複数の論理ボリュームVOLが設定される。そしてデータは、この論理ボリュームVOL内に所定大きさのブロック(以下、これを論理ブロックと呼ぶ)又はファイルを単位として記憶される。
各論理ボリュームVOLには、それぞれ固有の識別子(以下、これをLUN(Logical Unit number)と呼ぶ)が付与される。本実施の形態の場合、論理ボリュームVOLに対するデータの入出力は、このLUNと、各論理ブロックにそれぞれ付与されるその論理ブロックに固有の番号(LBA:Logical Block Address)とを組み合わせたものをアドレスとして、当該アドレスを指定して行われる。
なお、本実施の形態の場合、主ストレージ装置8A及び副ストレージ装置8B内に作成される論理ボリュームVOLの属性としては、上述の主ボリュームPVOL及び副ボリュームSVOLと、退避ボリュームSAVOLとの3つの種類がある。
主ボリュームPVOLは、上述のように業務サーバ4の業務アプリケーション33A,33Bがデータを読み書きするために使用する論理ボリュームであり、主ストレージ装置8A内に作成される。
また副ボリュームSVOLは、主ボリュームPVOLに格納されたファイルのバックアップデータ(ここでは主ボリュームPVOLからリモートコピーされたデータ)が格納される論理ボリュームであり、副ストレージ装置8B内に作成される。ただし、副ボリュームSVOLが主ボリュームPVOLと同一のストレージ装置8内に作成されていても良い。業務サーバ4のバックアップ管理プログラム32A,32Bからの要求に応じて主ボリュームPVOL及び副ボリュームSVOLにより構成されるコピーペアをスプリット(リモートコピーの中断)したときに、スプリットした時点の主ボリュームPVOLのデータイメージが副ボリュームSVOLに保存される。
退避ボリュームSAVOLは、後述する組合せコピー方式がリストア処理時のリストア方式として採用された場合に、主ボリュームPVOLに格納されているリストア対象外のファイルのデータを一時的に退避させるための論理ボリュームである。図1においては、かかる退避ボリュームSAVOLを主ストレージ装置8A内に設けるようにしているが、退避ボリュームSAVOLを副ストレージ装置8Bやこれ以外のストレージ装置又は何らかのサーバ装置内の記憶領域などに設けるようしても良く、退避ボリュームSAVOLの所在は主ストレージ装置8A内には限定されない。
コントローラ51は、CPU53A,53B及びメモリ54A,54Bを備えて構成される。CPU53A,53Bは、ストレージ装置8全体の動作制御を司るプロセッサである。またメモリ54A,54Bには、各種の制御プログラム55A,55Bが格納される。制御プログラム55A,55Bは、管理サーバ3、業務サーバ4又はペア管理サーバ5からの要求に応じて、コピーペアに対する各種操作を行ったり、ストレージ装置8の記憶領域に記録されている各種情報を提供する。
例えば、主ストレージ装置8Aの制御プログラム55Aは、業務サーバ4A,4Bの業務アプリケーション33A,33Bにより主ボリュームPVOLにデータが書き込まれた場合、その書き込みと同期して又は非同期に、そのデータを副ストレージ装置8Bに転送する。また副ストレージ装置8Bの制御プログラム55Bは、そのデータを当該副ストレージ装置8B内の対応する副ボリュームの対応する位置に書き込む。また主ストレージ装置8Aの制御プログラム55Aは、この後、ユーザ操作に応じて業務サーバ4からコピーペアを指定したスプリット要求が与えられると、主ボリュームPVOLに書き込まれたデータの副ストレージ装置8Bへの転送を停止する。これにより業務サーバ4から主ストレージ装置8Aにスプリット要求が与えられた時点における主ボリュームPVOLの静的なデータイメージであるスナップショットが副ボリュームSVOLに作成される。
(2)リストア制御機能
次に、管理サーバ3に搭載された本実施の形態によるリストア制御機能について説明する。これに際して、まず、本計算機システム1において実行可能なリストア方式について説明する。
(2−1)本計算機システムにおけるリストア方式
本計算機システム1の場合、主ストレージ装置8A内の主ボリュームPVOLに格納されたデータを副ストレージ装置8B内の副ボリュームSVOLに格納されたデータによってリストアするリストア方式として、ボリューム単位コピー方式及びファイル単位コピー方式と、これら2つのリストア方式を組み合わせた組合せコピー方式の3つのリストア方式がある。
ボリューム単位コピー方式は、図2に示すように、副ストレージ装置8Bが副ボリュームSVOL内のデータをネットワーク9を介して主ストレージ装置8Aの主ボリュームPVOLにボリューム単位で差分コピーする方式である。このボリューム単位コピー方式による全データ転送量は、副ボリュームSVOLに格納されている全ファイルの合計ファイルサイズとなる。このボリューム単位コピー方式によると、主ボリュームPVOLの内容をすべて上書きすることになるため、リストア対象外のファイルがある場合には適用できないが、一般的にファイル単位コピー方式よりもデータ転送速度が格段に高いため、リストア対象外のファイルがない場合や、リストア対象外のファイルがあっても更新されていない(差分率が「0」である)場合には、最も効率が良いリストア方式であると言える。
なお、差分コピーとは、副ボリュームSVOLの論理ブロックにそれぞれ対応させたビットを有するビットマップテーブルを用意し、そのビットマップテーブルのすべてのビットを「1」に設定した後、副ボリュームSVOLから論理ブロック単位でデータをネットワーク9を経由して主ボリュームPVOL内の副ボリュームSVOLにおけるアドレス位置と同じアドレス位置にコピー(上書き)するコピー手法である。この場合、ビットマップテーブル上のデータコピーが行われた論理ブロックに対応するビットは「0」に更新されるため、すべてのビットが「0」に更新されるまでかかるデータコピーが行われる。
またファイル単位コピー方式は、図3に示すように、副ボリュームSVOL内のユーザが選択したリストア対象のファイルをバックアップサーバ4B及びデータベースサーバ4A経由で主ボリュームPVOLにコピー(上書き)する方式である。このファイル単位コピー方式による全データ転送量は、リストア対象の各ファイルの合計ファイルサイズとなる。このファイル単位コピー方式は、リストア対象外のファイルが存在し、かつ、その合計データ量が多い場合に有効なリストア方式である。これは、少ないリストア対象のファイルのみをコピーすれば良いためリストア時間を低減できるからである。
さらに組合せコピー方式は、図4に示すように、主ボリュームPVOLに格納されているリストア対象外のファイルを退避ボリュームSAVOLに一時的に退避させた後に、副ボリュームSVOLから主ボリュームPVOLにボリューム単位でデータを差分コピーし、その後、退避ボリュームSAVOLに退避させていたファイルを主ボリュームPVOLに戻す方式である。この組合せコピー方式による全データ転送量は、副ボリュームSVOLに格納されている全ファイルの合計ファイルサイズと、退避ボリュームSAVOLに退避させたリストア対象外のファイルの合計ファイルサイズの2倍とを加算した値となる。この組合せコピー方式は、リストア対象外のファイルが存在し、かつその合計データ量が少ない場合に有効である。
そして本実施の形態による計算機システム1の場合、管理サーバ3には、これら3つのリストア方式の中からそのとき実行しようとするリストア処理に最適なリストア方式を選択及び決定し、決定したリストア方式を業務サーバ4に通知することにより、その業務サーバ4に、そのリストア方式によるリストア処理を実行するよう主ストレージ装置8A及び副ストレージ装置8Bを制御させるリストア制御機能が搭載されている点を特徴の1つとしている。
実際上、管理サーバ3は、主ストレージ装置8A及び副ストレージ装置8B間におけるファイルコピー実行時及び差分コピー実行時のデータ転送速度等の必要な情報(以下、これをリストア方式決定用情報と呼ぶ)を予め収集し、リストアの実行時には、収集したリストア方式決定用情報に基づいて、そのとき実行すべきリストア方式として、上述のボリューム単位コピー方式、ファイル単位コピー方式及び組合せコピー方式の中からいずれか1つを選択し、選択したリストア方式によるリストア処理を実行するように業務サーバ4を制御する。
この場合、管理サーバ3は、かかるリストア方式決定用情報として、後述するリストア方式の決定処理時に必要となる図5に示す各種情報のうち、主ボリュームPVOL及び副ボリュームSVOL間の差分コピー時のデータ転送速度と(「♯2」)と、主ボリュームPVOL及び副ボリュームSVOL間のファイルコピー時のデータ転送速度(「♯3」)と、主ボリュームPVOL及び退避ボリュームSAVOL間のファイルコピー時のデータ転送速度(「♯4」)と、バックアップ対象のデータの総量(合計ファイルサイズ)(「♯5」)と、ファイルごとのデータ量及び更新データ量とを定期的に取得する。
なお、これら「♯2」〜「♯4」の情報のうち、「♯2」の情報は、主ボリュームPVOL及び副ボリュームSVOL間における差分コピーの実行時などにストレージ装置8の制御プログラム55A,55B(図1)により取得されて管理されている情報であり、「♯3」及び「♯4」の情報は、主ボリュームPVOL及び副ボリュームSVOL間や、主ボリュームPVOL及び退避ボリュームSAVOL間におけるファイル単位でのコピーの実行時などに業務サーバ4のバックアップ管理プログラム32A,32B(図1)により取得されて管理されている情報である。
そして管理サーバ3は、この後、ユーザ操作に応じてクライアント端末2からリストアの実行命令が与えられると、定期的に収集している上述のファイルごとのデータ量及び更新データ量に基づいてリストア対象のファイルごとの差分率(各ファイルのデータ更新の割合であり図の「♯7」の情報)を算出すると共に、主ボリュームPVOL及び副ボリュームSVOL間の差分量(「♯6」)をストレージ装置8から取得する。
また管理サーバ3は、上述のようにして取得したリストア方式決定用情報に基づいて、リストア対象のファイルをボリューム単位コピー方式、ファイル単位コピー方式及び組合せコピー方式でそれぞれ副ボリュームSVOLから主ボリュームPVOLにコピーした場合のデータ転送時間(リストア時間)をそれぞれ算出し、データ転送時間が最も短いリストア方式を、そのとき実行するリストア方式として決定する。これらボリューム単位コピー方式、ファイル単位コピー方式及び組合せコピー方式によるデータ転送時間の具体的な算出方法については後述する。そして管理サーバ3は、上述のようにして決定したリストア方式を業務サーバ4に通知する。
また、この通知(以下、これをリストア方式指定通知と呼ぶ)が与えられた業務サーバ4のバックアップ管理プログラム32A,32Bは、このリストア方式指定通知により指定されたリストア方式によりリストアを実行するよう主ストレージ装置8A及び副ストレージ装置8Bを制御する。
(2−2)データ転送時間の計算方法
ここで、ボリューム単位コピー方式、ファイル単位コピー方式及び組合せコピー方式によりリストア処理を実行するときに要するデータ転送時間を計算するための計算手法について説明する。
まず、リストア対象のファイルのファイル数をn、リストア対象外のファイルのファイル数をn、副ボリュームSVOLに格納されている全ファイルの合計ファイルサイズに対するリストア対象外のファイルの合計ファイルサイズの割合をP、リストア方式決定のためのPの閾値をPmとする。また主ボリュームPVOL及び副ボリュームSVOL間の差分データのデータ転送速度をS、主ボリュームPVOL及び副ボリュームSVOL間のファイルデータのデータ転送速度をS、主ボリュームPVOL及び退避ボリュームSAVOL間のデータ転送速度をS、主ボリュームPVOL及び副ボリュームSVOL間のファイルデータのデータ転送速度に対する主ボリュームPVOL及び副ボリュームSVOL間の差分データのデータ転送速度の比率をα、主ボリュームPVOL及び副ボリュームSVOL間のファイルデータのデータ転送速度に対する主ボリュームPVOL及び退避ボリュームSAVOL間のデータ転送速度の比率をβ、バックアップ対象の全ファイルの合計ファイルサイズをT、主ボリュームPVOLに格納された各ファイルのデータ更新の割合(差分率)をk(0<k<1)とする。
この場合、割合Pは、「0」よりも大きく「1」よりも小さい値(0<P<1)であり、次式のように表すことができる。
Figure 2011248668
また説明を簡単にするため、各ファイルのファイルサイズがいずれもfであると仮定すると、合計ファイルサイズTは、次式のように表すことができる。
Figure 2011248668
ここで、主ボリュームPVOL及び副ボリュームSVOL間のファイルデータのデータ転送速度Sは、通常、主ボリュームPVOL及び副ボリュームSVOL間の差分データのデータ転送速度Sや、主ボリュームPVOL及び退避ボリュームSAVOL間のデータ転送速度Sと比べて遅いため、以下においてもそのように仮定すると、比率α及び比率βはともに「1」よりも大きい値(α>1、β>1)であり、Sは次式
Figure 2011248668

のように表すことができ、S3は次式
Figure 2011248668

により表すことができる。
よって、リストア対象のファイルをボリューム単位コピー方式で副ボリュームSVOLから主ボリュームPVOLにコピーした場合のデータ転送時間Tは、次式
Figure 2011248668

のように表すことができ、リストア対象のファイルをファイル単位コピー方式で副ボリュームSVOLから主ボリュームPVOLにコピーした場合のデータ転送時間Tは、次式
Figure 2011248668

のように表すことができる。またリストア対象のファイルを組合せコピー方式で副ボリュームSVOLから主ボリュームPVOLにコピーした場合のデータ転送時間Tは、次式
Figure 2011248668

のように表すことができる。
従って、リストア対象のファイルを組合せコピー方式で副ボリュームSVOLから主ボリュームPVOLにコピーした場合のデータ転送時間Tと、リストア対象のファイルをファイル単位コピー方式で副ボリュームSVOLから主ボリュームPVOLにコピーした場合のデータ転送時間Tとの差に対応する値は、次式
Figure 2011248668

のようになる。
よって、(8)式よりリストア方式決定のためのPの閾値Pm(0<Pm<1)は次式
Figure 2011248668

のように表される。
(8)式からも明らかなように、P<Pmの場合、リストア方式として組合せコピー方式を採用した方が全体としてデータ転送時間(リストア時間)が短くなる。またkが小さい(データ更新が少ない)、又は、主ボリュームPVOL及び退避ボリュームSAVOL間のデータ転送速度が速いほどPmが大きくなり、リストア方式として組合せコピー方式を採用した方がデータ転送時間が短くなるPの範囲が大きくなる。なお、P−Pm<0又はP−Pm>0となるPとkの関係を図6に示す。因みに、上述の基準値は、データ転送速度やデータ量の大きさそのものではなく、相対的な比率のみで決まる。
なお上述においては、各ファイルのファイルサイズは同一のfであると仮定したが、各ファイルのファイルサイズf及び差分率kが異なる場合、リストア対象のファイルのファイルサイズをf、リストア対象外のファイルのファイルサイズをf’とすると、リストア対象のファイルの合計ファイルサイズは次式
Figure 2011248668

となり、リストア対象外のファイルの合計ファイルサイズは次式
Figure 2011248668

となる。なお、この場合のn、nは、実際のファイルの数でなくても良く(整数でなくてもよい)、ファイルサイズfも適当な値で良い。上述のように選択基準値の算出ではファイルサイズの相対比率のみが重要であるからである。
さらに(10)式及び(11)式より、バックアップ対象のファイルの合計ファイルサイズは次式
Figure 2011248668

のように表すことができる。
また更新されたファイルの合計データ量は次式
Figure 2011248668

のように表すことができ、差分率の平均値は次式
Figure 2011248668

のように表すことができる。
さらに副ボリュームSVOLに格納された全ファイルの合計ファイルサイズに対するリストア対象外のファイルの合計ファイルサイズの割合は、次式
Figure 2011248668

のように表すことができる。
従って、各ファイルのファイルサイズf及び差分率kが異なる場合でも、これらを平均的な値(ファイルサイズの平均値及び差分率の平均値)に置き換えることにより、(5)式〜(7)式をそのまま適用できる。その場合の差分率(リスト対象及び対象外を含む)の標準偏差σは、各ファイルのファイルサイズfを重みと考えて、次式
Figure 2011248668

のように表すことができる。
以上の定義からT>Tは常に成り立つことが分かる。ただし、以上の計算は、リストア対象外のファイルがないとき又はリストア対象外のファイルがあっても差分が零のときにしか適用することができない。そこで、リストア対象のファイルをボリューム単位コピー方式で副ボリュームSVOLから主ボリュームPVOLにコピーした場合のデータ転送時間Tと、リストア対象のファイルをファイル単位コピー方式で副ボリュームSVOLから主ボリュームPVOLにコピーした場合のデータ転送時間Tとを比較する。
かかる2つのデータ転送時間T及びTの差分は、次式
Figure 2011248668

のように表すことができる。なお、Pmは、リストア方式の選択のためのPの閾値を表す。
ここでPmは次式
Figure 2011248668

で与えられるため、次式
Figure 2011248668

が成り立つとき、つまりリストア対象外のファイルが多く、データ更新率が高いほどTの方がTよりも大きく(T>T)なり、ボリューム単位コピー方式よりもファイル単位コピー方式の方がデータ転送時間が少なくなる。なお、この場合における次式
Figure 2011248668

又は次式
Figure 2011248668

となるPとkの関係を図7に示す。
なお、他のリストア方式の決定方法として、リストア対象のファイルと、リストア対象外のファイルとでそれぞれのデータの差分率の平均値が異なる場合に、組合せコピー方式によるデータ転送時間Tと、ファイル単位コピー方式によるデータ転送時間Tとを比較する方法について、以下に説明する。
リストア対象のファイルの差分率の平均値をk、リストア対象外のファイルの差分値の平均値をkとすると、次式
Figure 2011248668

及び次式
Figure 2011248668

より、ファイル全体の差分率kは、次式
Figure 2011248668

のように表すことができる。
従って、次式
Figure 2011248668

が成り立つことから、ファイル全体の差分率kは、副ボリュームSVOLに格納された全ファイルの合計ファイルサイズに対するリストア対象外のファイルの合計ファイルサイズの割合Pに依存する。
ここで、上述のPmは、次式
Figure 2011248668

となるため、P−Pmは、次式
Figure 2011248668

のように表すことができる。
この(27)式において、Pm1は、リストア方式の選択のためのPの閾値であり、次式
Figure 2011248668

のように表すことができる。
そして0<k<1、0<k<1、かつα>1であるから、次式
Figure 2011248668

が成り立つ。そして、この(29)式において、Pmの分母は分子よりも大きいことから、0<Pm<1が成り立つ。
さらに他のリストア方式の決定方法として、リストア対象のファイルとリストア対象外のファイルとでそれぞれのデータの差分率の平均値が異なる場合に、ボリューム単位コピー方式によるデータ転送時間Tと、ファイル単位コピー方式によるデータ転送時間Tとを比較する方法について、以下に説明する。
上述の(17)式及び(25)式より、次式
Figure 2011248668

が成り立つ。
この(30)式において、Pmは、リストア方式の選択のためのPの閾値であり、次式
Figure 2011248668

のように表すことができる。
この(31)式からも明らかなように、k=0(リストア対象外のファイルの差分率が零)の場合、Pm=1となり、常に、ボリューム単位コピー方式によるデータ転送時間Tの方がファイル単位コピー方式によるデータ転送時間Tよりも短くなる。またP=0(リストア対象外のファイルがない)場合にも、常に、ボリューム単位コピー方式によるデータ転送時間Tの方がファイル単位コピー方式によるデータ転送時間よりも短くなる。
(2−3)各種プログラム及びテーブルの構成
上述のような本実施の形態によるリストア制御機能を実現するための手段として、管理サーバ3のストレージ管理プログラム23は、図1に示すように、リストア方式決定プログラム24及び情報収集プログラム25を備えており、また管理サーバ3のハードディスク装置22には、図8に示すファイル情報テーブル60と、図9に示す差分量−転送速度テーブル61と、図10に示す退避ボリュームテーブル62とが格納されている。
リストア方式決定プログラム24は、主ストレージ装置8A内の主ボリュームPVOLに格納されたデータをリストアする際のリストア方式を決定するプログラムであり、情報収集プログラム25は、ストレージ装置8及び業務サーバ4から後述するリストア方式の判定に必要な情報を収集するプログラムである。情報収集プログラム25により収集された情報や、この情報に基づき得られる他の情報が、ファイル情報テーブル60、差分量−転送速度テーブル61及び退避ボリュームテーブル62に格納されて管理される。
ファイル情報テーブル60は、上述のように管理サーバ3の情報収集プログラム25が主ストレージ装置8Aの制御プログラム55Aから収集した、主ボリュームPVOLに格納された各ファイルのデータ量(ファイルサイズ)や更新データ量などを管理するためのテーブルであり、図8に示すように、ファイル名欄60A、ペア名欄60B、バックアップID欄60C、データ量欄60D、更新データ量欄60E及びリストア対象情報欄60Fから構成される。
そしてファイル名欄60Aには、主ボリュームPVOLに格納されているすべてのファイルのファイル名がそれぞれ格納され、ペア名欄60Bには、そのファイルのコピー元の主ボリュームPVOLと、そのファイルのコピー先の副ボリュームSVOLとが構成するコピーペアに対して付与されたペア名が格納される。
またバックアップID欄60Cには、後述のようにそのファイルのバックアップ処理(主ボリュームPVOLから副ボリュームSVOLへのリモートコピー処理)に対して付与された固有の識別子(バックアップID)が格納される。さらにデータ量欄60Dには、そのファイルのファイルサイズが格納され、更新データ量欄60Eには、そのファイルが最後にバックアップされた後に更新されたデータ量(更新データ量)が格納される。
さらにリストア対象情報欄60Fには、そのファイルがリストア対象として指定されているか否かを表す情報が格納される。具体的に、リストア対象情報欄60Fには、そのファイルがリストア対象として指定された場合には「Y」が格納され、リストア対象として指定されていない場合には「N」が格納される。
差分量−転送速度テーブル61は、管理サーバ3の情報収集プログラム25がストレージ装置8や業務サーバ4から収集した各コピーペアのデータ転送に関連する所定情報を管理するためのテーブルであり、ペア名欄61A、ボリューム差分量欄61B、ビットマップテーブル差分転送速度(主−副間)欄61C、ファイル転送速度(正−副間)欄61D及びファイル転送速度(正−退避間)欄61Eから構成される。
そしてペア名欄61には、主ストレージ装置8A及び副ストレージ装置8B間に定義されたすべてのコピーペアのペア名がそれぞれ格納され、ボリューム差分量欄61Bには、対応するコピーペアにおける主ボリュームPVOL及び副ボリューム間SVOLのデータ差分量が格納される。
またビットマップテーブル差分転送速度(主−副間)欄61Bには、対応するコピーペアにおける主ボリュームPVOLから副ボリュームSVOLへの差分コピー時におけるデータ転送速度が格納され、ファイル転送速度(主−副間)欄61Cには、対応するコピーペアにおける主ボリュームPVOLから副ボリュームSVOLへのファイルコピー時におけるデータ転送速度が格納される。さらにファイル転送速度(主−退避間)欄61Eには、対応するコピーペアにおける主ボリュームPVOLから退避ボリュームSAVOLへのファイルコピー時におけるデータ転送速度が格納される。
さらに退避ボリュームテーブル62は、ユーザが設定した退避ボリュームSAVOLの情報を管理するためのテーブルであり、図10に示すように、退避ボリューム欄62A及び業務サーバ欄62Bから構成される。
そして退避ボリューム欄62Aには、ユーザにより設定された退避ボリュームSAVOLへのパス名が格納され、業務サーバ欄62Bには、その退避ボリュームSAVOLに退避するデータを使用する業務アプリケーション33A,33Bが実装された業務サーバ4の識別子(サーバ名)が格納される。
(2−4)本実施の形態によるリストア制御機能に関する各種処理の流れ
次に、上述のような本実施の形態によるリストア制御機能に関する各種処理の流れについて説明する。
(2−4−1)バックアップ及びリストアの流れ
図11は、本計算機システム1におけるバックアップ及びリストアの流れを示す。
本計算機システム1では、業務サーバ4が主ストレージ装置8Aの主ボリュームPVOLに格納したファイルのデータを副ストレージ装置8B内の対応する副ボリュームSVOLにバックアップするに際して、まず、その業務サーバ4のバックアップ管理プログラム32A,32Bのセットアップを行う(SP1)。
具体的に、ユーザは、管理サーバ3を操作することにより所定の設定画面を表示させ、その設定画面上で業務サーバ4と、リストア方式として組合せコピー方式を採用した場合にその業務サーバ4のファイルを退避すべき退避ボリュームSAVOLへのパス名とを設定する。そして、このとき設定された業務サーバ4のサーバ名と、退避ボリュームSAVOLへのパス名とが、管理サーバ3のストレージ管理プログラム23により退避ボリュームテーブル60(図8)に格納される。
またユーザは、業務サーバ4に対して、その業務サーバ4が主ボリュームPVOLに格納しているファイルのうちのバックアップ対象とすべきファイルを選択する。そして、このようにユーザにより選択されたバックアップ対象のファイルのファイル名は、この後、管理サーバ3の情報収集プログラム25(図1)により収集されて、ファイル情報テーブル60のファイル名欄60Aに格納される。また管理サーバ3の情報収集プログラム25は、ストレージ装置8の制御プログラム55A,55Bからバックアップ対象のファイルをコピーするコピーペアのペア名を収集する。かくして、このとき収集されたペア名がファイル情報テーブル60の対応するペア名欄60Bに格納される。
続いてユーザは、管理サーバ3を操作して業務サーバ4にバックアップ処理を実行させる(SP2)。実際上、業務サーバ4の業務アプリケーション33A,33Bは、定期的又は不定期に管理サーバ3から与えられるバックアップ実行命令に従って、主ストレージ装置8Aに格納されているファイルの中からステップSP1においてユーザにより選択されたバックアップ対象の各ファイルを主ストレージ装置8Aの主ボリュームPVOLから順次読み出し、これを副ストレージ装置8Bに転送することにより、そのファイルを副ボリュームSVOLに格納させる(ファイル単位コピー)。
また管理サーバ3の情報収集プログラム25は、この後、定期的に業務サーバ4のバックアップ管理プログラム32A,32B又はペア管理サーバ5のコピーペア管理プログラム42を経由してストレージ装置8の制御プログラム55A,55Bから以下の情報を収集し、収集した情報を差分量−転送速度テーブル61に格納する。
A)バックアップを行ったコピーペアのペア名
B)主ボリュームPVOL及び副ボリュームSVOL間の差分コピー時のデータ転送速度
C)主ボリュームPVOL及び副ボリュームSVOL間のデータ差分量
D)主ボリュームPVOL及び副ボリュームSVOL間のファイルコピー時のデータ転送速度
E)主ボリュームPVOL及び退避ボリュームSAVOL間のファイルコピー時のデータ転送速度
なお上述の「C)」については、差分コピー時に使用する主ストレージ装置又は副ストレージ装置内のビットマップテーブルの差分率と、ビットマップテーブルの1ビットのデータ量とから算出した主ボリュームPVOL及び副ボリュームSVOL間の蓄積データ量の差分である。
また管理サーバ3の情報収集プログラム25は、バックアップの完了後、定期的にバックアップ管理プログラム32A,32B又はコピーペア管理プログラム42経由で主ストレージ装置8Aの制御プログラム55Aから主ボリュームPVOL内に格納されている個々のファイルのデータ量(ファイルサイズ)と、前回バックアップを行ってからの更新データ量とを収集し、これら収集した各ファイルのデータ量及び更新データ量をファイル情報テーブル60に格納する。
この後、リストアを実行すべき事態が発生した場合、ユーザは、クライアント端末2を操作してリストア対象のファイル及びリストア対象外のファイルを指定してリストアの実行を指示する(SP3)。この結果、これに応じたリストア実行命令がクライアント端末2から管理サーバ3に与えられる。
そして管理サーバ3のストレージ管理プログラム23(図1)は、かかるリストア実行命令を受信すると、このリストア実行命令に含まれるリストア対象及びリストア対象に関する情報に基づいて、ファイル情報テーブル60の対応するリストア対象情報欄60Fに、対応するファイルがリストア対象である場合には「Y」、当該ファイルがリストア対象外である場合には「N」を格納する。
またストレージ管理プログラム23は、かかるファイル情報テーブル60の更新と併せてリストア方式決定プログラム24(図1)を起動する。そしてリストア方式決定プログラム24は、起動すると、ファイル情報テーブル60のリストア対象情報欄60Fに「Y」が格納された各ファイルについて、ファイル情報テーブル60、差分量−転送速度テーブル61(図9)及び退避ボリュームテーブル62(図10)を参照しながら、ボリューム単位コピー方式、ファイル単位コピー方式及び組合せコピー方式によりバックアップを行ったときのデータ転送時間(リストア時間)をそれぞれ計算する。またストレージ管理プログラム23は、この計算結果に基づいて、データ転送時間が最短のリストア方式をそのとき実行するリストア方式として決定する。
この後、ストレージ管理プログラム23は、上述のようにして決定したリストア方式によるリストア処理の実行を、対応する業務サーバ4に指示する。かくして、この指示(以下、これをリストア実行指示と呼ぶ)を受けた業務サーバ4のバックアップ管理プログラム32A,32Bは、リストア対象のファイルをリストア実行指示において指定されたリストア方式でリストアを実行するよう主ストレージ装置8A及び副ストレージ装置8Bを制御する。
(2−4−2)リストア方式決定処理
図12は、上述の図11について上述したバックアップ及びリストアの流れのステップSP3においてリストア方式決定プログラム24により実行されるリストア方式決定処理の具体的な処理手順を示す。
リストア方式決定プログラム24は、ストレージ管理プログラム23により起動されると、まず、ボリューム単位コピー方式、ファイル単位コピー方式及び組合せコピー方式によりバックアップを行うときのデータ転送時間をそれぞれ計算するのに必要な情報を、クライアント端末2からのリストア実行命令、ファイル情報テーブル60、差分量−転送速度テーブル61及び退避ボリュームテーブル62などから収集する(SP10)。
続いて、リストア方式決定プログラム24は、ボリューム単位コピー方式、ファイル単位コピー方式及び組合せコピー方式によりバックアップを行うときのデータ転送時間T〜Tをそれぞれ順番に計算する(SP11〜SP13)。
続いてリストア方式決定プログラム224は、リストア処理を実行する場合に、ボリューム単位コピー方式によるリストア処理を実行可能であるか否かを判断する(SP14)。具体的には、リストア対象のファイルが格納されている副ボリュームSVOLにリストア対象外のファイルが存在しない又はリストア対象外のファイルが存在していてもそのファイルの差分が零(つまりリストア対象外の全ファイルが更新されていない)であるか否かを判断する。
リストア方式決定プログラム24は、この判断においてステップSP17に進み、これに対して肯定結果を得ると、ステップSP11において算出したボリューム単位コピー方式によるデータ転送時間Tが、ステップSP12において算出したファイル単位コピー方式によるデータ転送時間Tよりも小さいか否かを判断する(SP15)。
そしてリストア方式決定プログラム24は、この判断において肯定結果を得ると、そのとき実行しようとしているリストア処理のリストア方式をボリューム単位コピー方式に決定し(SP16)、決定結果をストレージ管理プログラム23に通知した後、このリストア方式決定処理を終了する。
これに対してリストア方式決定プログラム24は、ステップSP25の判断において否定結果を得ると、ステップSP11において算出したファイル単位コピー方式によるデータ転送時間Tが、ステップSP13において算出した組合せコピー方式によるデータ転送時間Tよりも小さいか否かを判断する(SP17)。
リストア方式決定プログラム24は、この判断において肯定結果を得ると、そのとき実行しようとしているリストア処理のリストア方式をファイル単位コピー方式に決定し(SP18)、決定結果をストレージ管理プログラム23に通知した後、このリストア方式決定処理を終了する。
これに対してリストア方式決定プログラム24は、ステップSP17の判断において否定結果を得ると、そのとき実行しようとしているリストア処理のリストア方式を組合せコピー方式に決定し(SP19)、決定結果をストレージ管理プログラム23に通知した後、このリストア方式決定処理を終了する。
(2−4−3)第1のデータ転送時間算出処理
図13は、図12について上述したリストア方式決定処理のステップSP11においてリストア方式決定プログラム24により実行される第1のデータ転送時間算出処理の処理手順を示す。
リストア方式決定プログラム24は、リストア方式決定処理のステップSP22に進むと、この第1のデータ転送時間算出処理を開始し、まず、ファイル情報テーブル60を参照して、ユーザによりバックアップ対象として指定されたバックアップIDが付与されたファイルの一覧(以下、これをファイル一覧と呼ぶ)を取得する(SP20)。
続いてリストア方式決定プログラム24は、ステップSP20において取得したファイル一覧に含まれる全ファイル数をカウントすると共に(SP21)、ファイル一覧に含まれる各ファイルについて、それぞれ更新データ量及びデータ量と、そのファイルをバックアップしているコピーペアのペア名とをファイル情報テーブル60から取得する(SP22)。
次いでリストア方式決定プログラム24は、ステップSP22において取得したペア名のコピーペアにおけるボリューム単位コピー方式によるデータ転送速度を、差分量−転送速度テーブル61から取得する(SP23)。
さらにリストア方式決定プログラム24は、ステップSP20〜ステップSP21において取得した各情報を利用して上述の(5)式により、そのとき実行しようとしているリストア処理のリストア方式としてボリューム単位コピー方式を適用した場合のデータ転送時間(リストア時間)を算出する(SP24)。そしてリストア方式決定プログラム24は、この後、この第1のデータ転送時間算出処理を終了してリストア方式決定処理に戻る。
(2−4−4)第2のデータ転送時間算出処理
一方、図14は、図12について上述したリストア方式決定処理のステップSP12においてリストア方式決定プログラム24により実行される第2のデータ転送時間算出処理の処理手順を示す。
リストア方式決定プログラム24は、リストア方式決定処理のステップSP23に進むと、この第2のデータ転送時間算出処理を開始し、まず、ステップSP30〜ステップSP32を第1のデータ転送時間算出処理(図13)のステップSP20〜ステップSP22と同様に処理する。
続いてリストア方式決定プログラム24は、ステップSP32において取得したペア名のコピーペアにおけるファイル単位コピー方式によるデータ転送速度を、差分量−転送速度テーブル61から取得する(SP33)。
次いでリストア方式決定プログラム24は、ステップSP30〜ステップSP32において取得した各情報を利用して上述の(6)式により、そのとき実行しようとしているリストア処理のリストア方式としてファイル単位コピー方式を適用した場合のデータ転送時間(リストア時間)を算出する(SP34)。そしてリストア方式決定プログラム24は、この後、この第2のデータ転送時間算出処理を終了してリストア方式決定処理に戻る。
(2−4−5)第3のデータ転送時間算出処理
他方、図15は、図12について上述したリストア方式決定処理のステップSP13においてリストア方式決定プログラム24により実行される第3のデータ転送時間算出処理の処理手順を示す。
リストア方式決定プログラム24は、リストア方式決定処理のステップSP13に進むと、この第3のデータ転送時間算出処理を開始し、まず、ステップSP40〜ステップSP42を第1のデータ転送時間算出処理(図13)のステップSP20〜ステップSP22と同様に処理する。
続いてリストア方式決定プログラム24は、ステップSP42において取得したペア名のコピーペアにおけるボリューム単位コピー方式によるデータ転送速度と、当該コピーペアの主ボリュームPVOL及び退避ボリュームSAVOL間のファイル単位コピー方式によるデータ転送速度とを、差分量−転送速度テーブル61からそれぞれ取得する(SP43)。
次いでリストア方式決定プログラム24は、ステップSP40〜ステップSP43において取得した各情報を利用して上述の(6)式により、そのとき実行しようとしているリストア処理のリストア方式として組合せコピー方式を適用した場合のデータ転送時間(リストア時間)を算出する(SP44)。そしてリストア方式決定プログラム24は、この後、この第3のデータ転送時間算出処理を終了してリストア方式決定処理に戻る。
(2−5)具体例
次に、以上のようなリストア方式決定処理の具体例を、図17を参照して説明する。この図17の例では、バックアップ対象の全データ量が500〔MB〕であり、バックアップ対象のファイルが格納された主ボリュームPVOLから副ボリュームSVOLへの差分コピーによるデータ転送速度が100〔MB/S〕、主ボリュームPVOLから副ボリュームSVOLへのファイルコピーのデータ転送速度が10〔MB/S〕、主ボリュームPVOLから退避ボリュームSAVOLへのファイルコピーのデータ転送速度が10〔MB/S〕、バックアップ対象の各ファイルのデータ更新の割合(差分率)は100〔%〕であるものとする。
図17は、リストア対象のファイルの合計データ量が「400MB」、「100MB」、「500MB」及び「0MB」であるときの各リストア方式によるデータ転送時間T〜Tをまとめたものである。
この図17からも明らかなように、リストア対象のファイルの合計データ量が「400MB」のときには、主ボリュームPVOL及び副ボリュームSVOL内にリストア対象外のファイルが存在するため、リストア方式としてボリューム単位コピー方式を適用することはできない。また、この条件下におけるファイル単位コピー方式によるデータ転送時間は「40」秒であり、組合せコピー方式によるデータ転送時間は「24」秒である。よって、この場合にはリストア方式として組合せコピー方式が選択されることになる。
またリストア対象のファイルの合計データ量が「100MB」のときにも、リストア方式としてボリューム単位コピー方式を適用することはできない。また、この条件下におけるファイル単位コピー方式によるデータ転送時間は「40」秒であり、組合せコピー方式によるデータ転送時間は「24」秒である。よって、この場合にはリストア方式としてファイル単位コピー方式が選択されることになる。
一方、リストア対象のファイルの合計データ量が「500MB」のときには、リストア対象外のファイルが存在せず、すべてのファイルがリストア対象として指定されていることを意味する。そして、この条件下におけるボリューム単位コピー方式によるデータ転送時間は「5」秒であり、ファイル単位コピー方式によるデータ転送時間は「50」秒であり、組合せコピー方式によるデータ転送時間はリストア対象外のファイルが存在しないためボリューム単位コピー方式と同じ「5」秒である。よって、この場合にはリストア方式としてボリューム単位コピー方式が選択されることになる。
他方、リストア対象のファイルの合計データ量が「0MB」のときには、リストア対象のファイルが存在せず、すべてのファイルがリストア対象外であることを意味する。よって、この場合にはリストア処理が行われない。
(3)本実施の形態の効果
以上のように本実施の形態による計算機システム1では、予め主ボリューム及び副ボリューム間の差分コピー時のデータ転送速度、主ボリューム及び副ボリューム間のファイルコピー時のデータ転送速度、主ボリューム及び退避ボリューム間のファイルコピー時のデータ転送速度等のリストア方式決定情報を収集し、リストア処理時に、収集したリストア方式決定情報に基づいて、データ転送速度(リストア時間)が最短のリストア方式を選択及び決定するため、リストア実行時にユーザがどのリストア方式によりリストアを実行すべきかを判断する必要がなく、その分の時間及び労力を省略することができる。かくするにつき、リストア作業を容易化することができる。
(4)他の実施の形態
なお上述の実施の形態においては、本発明を図1のように構成された計算機システムに適用するようにした場合について述べたが、本発明はこれに限らず、この他種々の構成を有する計算機システムに広く適用することができる。
また上述の実施の形態においては、計算機システム1がリストア方式としてボリューム単位コピー方式、ファイル単位コピー方式及び組合せコピー方式の3つのリストア方式を実行可能な場合について述べたが、本発明はこれに限らず、計算機システム1がこれら3つのリストア方式に加え又は代えて他のリストア方式によりリストア処理を実行し得るような場合においても、本発明を適用することができる。
さらに上述の実施の形態においては、ボリューム単位コピー方式、ファイル単位コピー方式及び組合せコピー方式によるデータ転送時間T〜Tを(5)〜(7)式により算出するようにした場合について述べたが、本発明はこれに限らず、他の演算式によりかかるデータ転送時間T〜Tを算出するようにしても良い。
さらに上述の実施の形態においては、主ボリュームPVOL及び副ボリュームSVOLが異なるストレージ装置(主ストレージ装置8A及び副ストレージ装置8B)内に設けられ、主ボリュームPVOL及び副ボリュームSVOL間においていわゆるリモートコピーを行う場合について述べたが、本発明はこれに限らず、例えば主ボリュームPVOL及び副ボリュームSVOLが同じストレージ装置内にあり、主ボリュームPVOL及び副ボリュームSVOL間においていわゆるローカルコピーを行う場合にも本発明を適用することができる。
本発明は、複数種類のリストア方式によりリストアを実行し得る計算機システムに広く適用することができる。
1……計算機システム、2……クライアント端末、3……管理サーバ、4……業務サーバ、5……ペア管理サーバ、8……ストレージ装置、8A……主ストレージ装置、8B……副ストレージ装置、20……CPU、23……ストレージ管理プログラム、24……リストア方式決定プログラム、25……情報収集プログラム、50A,50B……記憶デバイス、PVOL……主ボリューム、SVOL……副ボリューム、SAVOL……退避ボリューム、60……ファイル情報テーブル、61……差分量−転送速度テーブル、62……退避ボリュームテーブル。

Claims (6)

  1. 業務サーバがデータを読み書きするための主ボリュームと、前記主ボリュームに書き込まれたデータをバックアップするための副ボリュームとが同一又は異なるストレージ装置内に設けられた計算機システムにおいて、
    前記主ボリューム及び前記副ボリューム間のデータのバックアップ及びリストアを管理する管理サーバを有し、
    前記管理サーバは、
    少なくとも前記業務サーバ、前記主ボリュームが形成された前記ストレージ装置及び前記副ボリュームが形成された前記ストレージ装置から必要な情報を収集する情報収集部と、
    外部からリストア要求が与えられたときに、前記情報収集部が収集した前記情報に基づいて、予め定められた複数種類の各リストア方式により要求されたリストア処理をそれぞれ実行したときに要するリストア時間をそれぞれ計算し、リストア時間が最短のリストア方式を当該リストア要求に対するリストア処理時のリストア方式として決定するリストア方式決定部と、
    前記リストア方式決定部により決定された前記リストア方式を前記業務サーバに通知するストレージ管理部と
    を備え、
    前記業務サーバは、
    前記ストレージ管理部から通知されたリストア方式によりリストア処理を実行するように、前記主ボリュームが設けられたストレージ装置及び前記副ボリュームが設けられたストレージ装置を制御する
    ことを特徴とする計算機システム。
  2. 前記予め定められた複数種類のリストア方式は、
    前記副ボリュームに格納されたデータをボリューム単位で前記主ボリュームに差分コピーする第1のリストア方式と、
    前記副ボリューム内のリストア対象のファイルのデータをファイル単位で前記主ボリュームにコピーする第2のリストア方式と、
    前記主ボリュームに格納されたリストア対象外のファイルのデータを前記主ボリュームと同一のストレージ装置内又は当該ストレージ装置外に設けられた退避ボリュームに一時的に退避させ、前記副ボリュームに格納されたデータをボリューム単位で前記主ボリュームにコピーした後に、前記退避ボリュームに退避させたリストア対象外の前記ファイルのデータを前記主ボリュームに戻す第3のリストア方式とを含む
    ことを特徴とする請求項1に記載の計算機システム。
  3. 前記情報収集部は、
    前記必要な情報として、前記主ボリューム及び前記副ボリューム間における差分コピー時のデータ転送時間と、前記主ボリューム及び前記副ボリューム間におけるファイルコピー時のデータ転送速度でなる第2のデータ転送速度と、前記主ボリューム及び前記退避ボリューム間におけるファイルコピー時のデータ転送速度でなる第3のデータ転送速度と、前記副ボリュームにバックアップされた個々のファイルのファイルサイズと、当該個々のファイルの更新データ量とを収集する
    ことを特徴とする請求項1に記載の計算機システム。
  4. 業務サーバがデータを読み書きするための主ボリュームと、前記主ボリュームに書き込まれたデータをバックアップするための副ボリュームとが同一又は異なるストレージ装置内に設けられた計算機システムにおけるリストア方法であって、
    前記計算機システムは、前記主ボリューム及び前記副ボリューム間のデータのバックアップ及びリストアを管理する管理サーバを有し、
    前記管理サーバが、少なくとも前記業務サーバ、前記主ボリュームが形成された前記ストレージ装置及び前記副ボリュームが形成された前記ストレージ装置から必要な情報を収集する第1のステップと、
    前記管理サーバが、外部からリストア要求が与えられたときに、前記情報収集部が収集した前記情報に基づいて、予め定められた複数種類の各リストア方式により要求されたリストア処理をそれぞれ実行したときに要するリストア時間をそれぞれ計算し、リストア時間が最短のリストア方式を当該リストア要求に対するリストア処理時のリストア方式として決定する第2のステップと、
    前記管理サーバが、決定した前記リストア方式を前記業務サーバに通知する第3のステップと、
    前記業務サーバが、前記管理サーバから通知されたリストア方式によりリストア処理を実行するように、前記主ボリュームが設けられたストレージ装置及び前記副ボリュームが設けられたストレージ装置を制御する第4のステップと
    を備えることを特徴とするリストア方法。
  5. 前記予め定められた複数種類のリストア方式は、
    前記副ボリュームに格納されたデータをボリューム単位で前記主ボリュームに差分コピーする第1のリストア方式と、
    前記副ボリューム内のリストア対象のファイルのデータをファイル単位で前記主ボリュームにコピーする第2のリストア方式と、
    前記主ボリュームに格納されたリストア対象外のファイルのデータを前記主ボリュームと同一のストレージ装置内又は当該ストレージ装置外に設けられた退避ボリュームに一時的に退避させ、前記副ボリュームに格納されたデータをボリューム単位で前記主ボリュームにコピーした後に、前記退避ボリュームに退避させたリストア対象外の前記ファイルのデータを前記主ボリュームに戻す第3のリストア方式とを含む
    ことを特徴とする請求項4に記載のリストア方法。
  6. 前記第1のステップでは、
    前記必要な情報として、前記主ボリューム及び前記副ボリューム間における差分コピー時のデータ転送時間と、前記主ボリューム及び前記副ボリューム間におけるファイルコピー時のデータ転送速度でなる第2のデータ転送速度と、前記主ボリューム及び前記退避ボリューム間におけるファイルコピー時のデータ転送速度でなる第3のデータ転送速度と、前記副ボリュームにバックアップされた個々のファイルのファイルサイズと、当該個々のファイルの更新データ量とを収集する
    ことを特徴とする請求項4に記載のリストア方法。
JP2010121726A 2010-05-27 2010-05-27 計算機システム及びリストア方法 Expired - Fee Related JP5188538B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2010121726A JP5188538B2 (ja) 2010-05-27 2010-05-27 計算機システム及びリストア方法
US12/844,518 US8260754B2 (en) 2010-05-27 2010-07-27 Computer system and restoration method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010121726A JP5188538B2 (ja) 2010-05-27 2010-05-27 計算機システム及びリストア方法

Publications (3)

Publication Number Publication Date
JP2011248668A true JP2011248668A (ja) 2011-12-08
JP2011248668A5 JP2011248668A5 (ja) 2012-04-19
JP5188538B2 JP5188538B2 (ja) 2013-04-24

Family

ID=45022922

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010121726A Expired - Fee Related JP5188538B2 (ja) 2010-05-27 2010-05-27 計算機システム及びリストア方法

Country Status (2)

Country Link
US (1) US8260754B2 (ja)
JP (1) JP5188538B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014068615A1 (en) 2012-10-30 2014-05-08 Hitachi, Ltd. Storage system and data processing method
JP2015200946A (ja) * 2014-04-04 2015-11-12 日本電気株式会社 ストレージシステム
JP2021015377A (ja) * 2019-07-10 2021-02-12 富士通株式会社 ストレージ制御装置、ストレージ制御プログラムおよびストレージシステム

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7917299B2 (en) 2005-03-03 2011-03-29 Washington University Method and apparatus for performing similarity searching on a data stream with respect to a query string
US7660793B2 (en) 2006-11-13 2010-02-09 Exegy Incorporated Method and system for high performance integration, processing and searching of structured and unstructured data using coprocessors
US8326819B2 (en) 2006-11-13 2012-12-04 Exegy Incorporated Method and system for high performance data metatagging and data indexing using coprocessors
JP5970984B2 (ja) * 2012-07-03 2016-08-17 富士通株式会社 復元プログラムおよび復元装置
WO2014080492A1 (ja) * 2012-11-22 2014-05-30 株式会社日立製作所 計算機システム、クラスタ管理方法、及び管理計算機
WO2015008377A1 (ja) * 2013-07-19 2015-01-22 富士通株式会社 状態復元プログラム、装置、及び支援方法
WO2015029198A1 (ja) * 2013-08-30 2015-03-05 株式会社日立製作所 ストレージシステム
EP3163447B1 (en) * 2014-07-15 2019-11-06 Huawei Technologies Co. Ltd. Data replication method, device and system
US10691552B2 (en) * 2015-10-12 2020-06-23 International Business Machines Corporation Data protection and recovery system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005301497A (ja) * 2004-04-08 2005-10-27 Hitachi Ltd ストレージ管理装置、リストア方法及びそのプログラム
JP2006065845A (ja) * 2004-08-24 2006-03-09 Microsoft Corp 最適化された復元プランの生成
JP2006268740A (ja) * 2005-03-25 2006-10-05 Nec Corp レプリケーションシステムと方法
JP2008299441A (ja) * 2007-05-29 2008-12-11 Hitachi Ltd ストレージシステム及びこれを用いたデータの管理方法
JP2010086050A (ja) * 2008-09-29 2010-04-15 Hitachi Ltd アプリケーションデータのバックアップ構成構築に用いる管理計算機

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7657583B2 (en) * 2004-12-29 2010-02-02 International Business Machines Corporation Calculating recovery time of an application system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005301497A (ja) * 2004-04-08 2005-10-27 Hitachi Ltd ストレージ管理装置、リストア方法及びそのプログラム
JP2006065845A (ja) * 2004-08-24 2006-03-09 Microsoft Corp 最適化された復元プランの生成
JP2006268740A (ja) * 2005-03-25 2006-10-05 Nec Corp レプリケーションシステムと方法
JP2008299441A (ja) * 2007-05-29 2008-12-11 Hitachi Ltd ストレージシステム及びこれを用いたデータの管理方法
JP2010086050A (ja) * 2008-09-29 2010-04-15 Hitachi Ltd アプリケーションデータのバックアップ構成構築に用いる管理計算機

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014068615A1 (en) 2012-10-30 2014-05-08 Hitachi, Ltd. Storage system and data processing method
US9047247B2 (en) 2012-10-30 2015-06-02 Hitachi, Ltd. Storage system and data processing method
JP2015200946A (ja) * 2014-04-04 2015-11-12 日本電気株式会社 ストレージシステム
JP2021015377A (ja) * 2019-07-10 2021-02-12 富士通株式会社 ストレージ制御装置、ストレージ制御プログラムおよびストレージシステム
JP7358809B2 (ja) 2019-07-10 2023-10-11 富士通株式会社 ストレージ制御装置、ストレージ制御プログラムおよびストレージシステム

Also Published As

Publication number Publication date
US20110295809A1 (en) 2011-12-01
US8260754B2 (en) 2012-09-04
JP5188538B2 (ja) 2013-04-24

Similar Documents

Publication Publication Date Title
JP5188538B2 (ja) 計算機システム及びリストア方法
JP5037811B2 (ja) 遠隔コピー方法及び遠隔コピーシステム
JP4800031B2 (ja) ストレージシステム及びスナップショット管理方法
JP5224240B2 (ja) 計算機システム及び管理計算機
JP5031341B2 (ja) 記憶システム及びデータ管理方法
JP5222469B2 (ja) 記憶システム及びデータ管理方法
JP4903461B2 (ja) 記憶システム及びデータ移行方法並びにサーバ装置
JP4267420B2 (ja) ストレージ装置及びバックアップ取得方法
JP2007206931A (ja) 記憶システム、データ処理方法並びにストレージ装置
US7194487B1 (en) System and method for recording the order of a change caused by restoring a primary volume during ongoing replication of the primary volume
US8255647B2 (en) Journal volume backup to a storage device
JP5137476B2 (ja) 連携して動作する複数のアプリケーションが使用するデータのバックアップ環境の設定を行う計算機及び方法
JP4938328B2 (ja) 記憶システム及びその電源制御方法並びにストレージ装置
JP2007219609A (ja) スナップショット管理装置及び方法
US20090043979A1 (en) Managing write requests to data sets in a primary volume subject to being copied to a secondary volume
JP4988370B2 (ja) 結合セッション環境におけるセッションのクラスタのためのセッション情報の統合方法、システム、およびプログラム
JP2009205333A (ja) 計算機システム、ストレージ装置及びデータ管理方法
JP2005250676A (ja) ストレージシステム及びストレージシステムの制御方法
JP2010049488A (ja) ストレージシステム及びデータ管理方法
KR20150081810A (ko) 데이터 저장장치에 대한 다중 스냅샷 관리 방법 및 장치
US20140317366A1 (en) Method and apparatus for remote storage performance data copy
JP2008186142A (ja) リモートバックアップ方法及びストレージシステム
JP2008293317A (ja) 情報処理装置及び方法
US9063892B1 (en) Managing restore operations using data less writes
JP2008234060A (ja) 情報処理システム及びデータ格納装置決定方法並びに管理装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120301

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120301

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120717

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120718

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120907

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121225

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130122

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160201

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5188538

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees