JP6201580B2 - ストレージ制御装置、ストレージ制御方法及びストレージ制御プログラム - Google Patents
ストレージ制御装置、ストレージ制御方法及びストレージ制御プログラム Download PDFInfo
- Publication number
- JP6201580B2 JP6201580B2 JP2013202071A JP2013202071A JP6201580B2 JP 6201580 B2 JP6201580 B2 JP 6201580B2 JP 2013202071 A JP2013202071 A JP 2013202071A JP 2013202071 A JP2013202071 A JP 2013202071A JP 6201580 B2 JP6201580 B2 JP 6201580B2
- Authority
- JP
- Japan
- Prior art keywords
- identifier
- volume
- unit
- storage device
- vdisk
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
- G06F3/065—Replication mechanisms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0604—Improving or facilitating administration, e.g. storage management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0604—Improving or facilitating administration, e.g. storage management
- G06F3/0605—Improving or facilitating administration, e.g. storage management by facilitating the interaction with a user or administrator
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0614—Improving the reliability of storage systems
- G06F3/0617—Improving the reliability of storage systems in relation to availability
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0662—Virtualisation aspects
- G06F3/0664—Virtualisation aspects at device level, e.g. emulation of a storage device or system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0662—Virtualisation aspects
- G06F3/0665—Virtualisation aspects at area level, e.g. provisioning of virtual or logical volumes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0683—Plurality of storage devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0683—Plurality of storage devices
- G06F3/0689—Disk arrays, e.g. RAID, JBOD
Description
この構成では、業務サーバによって使用される仮想化ストレージ装置が設置されているサイトをローカルサイト、プライマリサイト、又は主系サイトと呼び、予備の仮想化ストレージ装置が設置されているサイトをリモートサイト、セカンダリサイト、又は従系サイトと呼ぶ。そして、プライマリサイトとリモートサイトとの2つの仮想化ストレージ装置のPU同士が、スイッチ(SW)等を介してデータ転送用の回線で接続されている。そして、例えばローカルサイトの被災にそなえて、ローカルサイトのデータが、リモートコピー(RemoteCopy;RC)セッションなどを実行することにより、リモートサイトにコピー(バックアップ)される。
図20は、従来の仮想化ストレージシステムにおけるローカルサイト被災時のサイト切替処理を示す図である
ステップS101において、ローカルサイトが被災する。
ステップS103において、リモートサイトの仮想化ストレージ装置のリモートコピーのスケジュールが停止される。
ところで、業務サーバが、例えばVMWare ESXi(登録商標)のような仮想化ソフトウェアを実行している場合、リモートコピーを使用してセカンダリサイトに転送されたデータを使用し、業務を再開するには、VDISK毎に再署名(再登録)処理が必要となる。
前述のスケールアウト型仮想化ストレージ装置では、数千、数万のVDISKが存在することもあり、再署名処理に極めて膨大な時間が必要となり、仮想化ストレージ装置のサイト切り替えが実質的に不可能となる。
なお、前記目的に限らず、後述する発明を実施するための形態に示す各構成により導かれる作用効果であって、従来の技術によっては得られない作用効果を奏することも本発明の他の目的の1つとして位置付けることができる。
ただし、以下に示す実施形態はあくまでも例示に過ぎず、実施形態で明示しない種々の変形例や技術の適用を排除する意図はない。すなわち、本実施形態を、その趣旨を逸脱しない範囲で種々変形(実施形態及び各変形例を組み合わせる等)して実行することができる。
(A)構成
最初に、実施形態の一例としての仮想化ストレージ装置100,200の構成を説明する。
ここで、仮想化ストレージ装置100は、後述する業務サーバ302(図3参照)に対して記憶領域を提供するものであり、例えばStorage Area Network(SAN)によって業務サーバ302と相互に通信可能に接続されている。業務サーバ302の業務には、仮想化ストレージ装置100が使用されるため、以下の説明では、仮想化ストレージ装置100が設置されているサイトを、主系サイト、ローカルサイト、又はプライマリサイト10と呼ぶ。
VDISK400−1〜400−nを提供するために、仮想化ストレージ装置100,200は、PU11−1,11−2、SW12−1,12−2、及びSU13をそなえる。
SU13は、実ストレージ装置であり、RAID401−1〜401−4を有し、RAID401−1〜401−4に対するアクセスを制御する。本例においては、冗長化のためにSU13に2台のPU11−1,11−2が接続されている。つまり、PU11−1,11−2は二重化されており、通常は、PU11−1がプライマリPUとして、セカンダリPUのPU11−2を制御し、仮想化ストレージ装置100,200全体の動作を管理している。しかしPU11−1の故障時には、PU11−2がプライマリPUとなり、PU11−1の動作を引き継ぐ。
又、以下、SWを示す符号としては、複数のSWのうち1つを特定する必要があるときには符号12−1,12−2を用いるが、任意のSWを指すときには符号12を用いる。又、SW12−1,12−2をSW#1,#2と記載することもある。
又、以下、RAIDを示す符号としては、複数のRAIDのうち1つを特定する必要があるときには符号401−1〜401−4を用いるが、任意のRAIDを指すときには符号401を用いる。又、RAID401−1〜401−4をRAID#1〜#4と記載することもある。
又、以下、VDISKを示す符号としては、複数のVDISKのうち1つを特定する必要があるときには符号400−1〜400−nを用いるが、任意のVDISKを指すときには符号400を用いる。又、VDISK400−1〜400−nをVDISK400#1〜#nと記載することもある。
又、以下、PU11、及び後述するPU11′,11″内のメモリを示す符号としては、複数のメモリのうち1つを特定する必要があるときには符号502−1,502−2…を用いるが、任意のメモリを指すときには符号502を用いる。
図2は、実施形態の一例としての仮想化ストレージ装置100,200の拡張を例示する図である。
仮想化ストレージ装置100,200は、仮想化ストレージ装置100,200に追加の記憶容量が必要となったときに、仮想化ストレージ装置100,200全体の記憶領域を拡張(スケールアウト)することができる。
図3を参照すると、情報処理システム1は、プライマリサイト10及びセカンダリサイト20を備える。
管理サーバ301は、運用管理者が、仮想化ストレージ装置100,200の管理などの、情報処理システム1の管理に使用するコンピュータ(情報処理装置)であり、図示しないCPU、メモリ、ディスクドライブ、ディスプレイ、インタフェース(Inteface;I/F)、キーボード、マウス等をそなえる。
仮想化ストレージ装置100は、SW304を介して、例えばSANによって業務サーバ302と相互に通信可能に接続されている。
管理サーバ301′は、前述の管理サーバ301のバックアップ用の管理サーバであり、例えば、サーバ機能をそなえたコンピュータ(情報処理装置)である。管理サーバ301′は、例えば、プライマリサイト10の被災時等に管理サーバ301に代えて使用される。管理サーバ301′は、管理サーバ301とほぼ同様の機能及び構成をそなえる。
仮想化ストレージ装置200は、仮想化ストレージ装置100の被災時やサイトの入れ替え時などに、仮想化ストレージ装置100に代えて用いられるストレージシステムであり、SW305−1,305−2を介して仮想化ストレージ装置100と接続されている。
SW305−1,305−2は、スイッチング機能を有するネットワークスイッチであり、プライマリサイト10とセカンダリサイト20とを相互に接続している。
又、以下、プライマリサイト10とセカンダリサイト20とを接続するSWを示す符号としては、複数のSWのうち1つを特定する必要があるときには符号305−1,305−2を用いるが、任意のSWを指すときには符号305を用いる。
前述の仮想化ストレージ装置100,200は、例えば、ワイドストライピングによるデータアクセスを行なう。ワイドストライピングとは、1つのボリュームに対するデータアクセスを、複数のLUNに分散し、固定長のストリップと呼ばれる単位でアクセスする技術である。
図5の仮想化ストレージ装置100,200は、基本ノードN1に増設ノードN2が増設されており、スケールアウトが行なわれている。
基本ノードN1は、PU11−1、PU11−2、及びSU13をそなえる。増設ノードN2は、PU11′及びSU13′をそなえる。
管理サーバ301は、切替容易化部320と、不図示の装置管理Graphical User Interface(GUI)とをそなえる。
図5において、基本ノードN1内のPU11−1,11−2と、増設ノードN2内のPU11′と、業務サーバ302とは、例えば、I/O用LAN及び内部管理LAN309を介して接続されている。さらに、PU11−1,11−2,11′と、SU13,13′とは、I/O用LAN及び内部管理LAN309を介して接続されている。
第1及び第2の記憶部113,123は、それぞれ1以上の記憶装置を含む。この記憶装置は、例えば、Hard Disk Drive(HDD)、光ディスク、フラッシュメモリ、磁気テープなどの物理的な記憶装置であっても、論理的な記憶装置であるLUNであってもよい。
ここで、仮想化ストレージ装置100,200は、例えば、前述したワイドストライピングによるデータアクセスを行なう。ワイドストライピングによれば、アクセス集中による性能低下を抑止し、サーバ等からのアクセス量やボリュームの物理的位置を意識した複雑な性能設計を行なうことなく、安定した性能を確保することができる。
業務サーバ302は、ESXi等の仮想化ストレージソフトウェア310を実行しており、仮想化ストレージ装置100のVDISK400にアクセスして業務を行なう。
なお、簡潔を期するために、図5には、セカンダリサイト20の管理サーバ301′と業務サーバ302′とが省略されている。管理サーバ301′も前述の切替容易化部320をそなえる。又、業務サーバ302′も、ESXi等の仮想化ストレージソフトウェア310を実行している。
さらに、PU11′は、ストレージ制御部(ストレージ制御装置)124、I/O制御部701−3、PU制御部702−3、クラスタ制御部703−3、PU負荷監視部705−3、SU制御部706−3、及びボリューム管理エージェント709−3をそなえる。
ストレージ制御部124は、SU13′内の第2の記憶部123を制御する。ストレージ制御部124は、PU11′内のCPU501−3がストレージ制御プログラムを実行することにより実現される。
I/O制御部701−1〜3は、業務サーバ302からのI/O要求を受け付けて当該I/O要求を処理する。
PU制御部702−1〜3は、各PU11−1,11−2,11′を制御する。
クラスタ制御部703−2,703−3は、クラスタ制御部703−1によってクラスタリングされたPU11−1,11−2,11′を認識する。
装置管理GUI制御部704は、管理サーバ301からの指示に従って、仮想化ストレージ装置100,200の状態を判断したり、新規ボリュームを作成する。
SU制御部706−1〜3は、各SU13,13′を制御する。
ボリューム管理マネージャ707は、ボリューム管理エージェント709−1〜709−3を制御する。具体的には、例えば、ボリューム管理マネージャ707は、再配置制御スレッドを起動して、ボリューム管理エージェント709−1〜709−3に実行させる。
ボリューム管理テーブル710は、各VDISK400の構成情報を記録しているテーブルであり、構成管理DB721−1,721−2からPU11の不図示のメモリに読み出される。ボリューム管理テーブル710は、例えば、第1及び第2の記憶部113,123内のどの記憶装置(例えばHDD)が、各VDISK400に割り当てられているかを示す情報を記憶している。
図6は、実施形態の一例としてのストレージ制御部114,124の機能構成を示す図である。
ストレージ制御部114,124は、ボリューム追加/削除部(ボリューム追加部)311、識別子受信部312、識別子偽装部(設定部)313、識別子通知部314、及びリモートコピー実行部(複製部)315をそなえる。
識別子受信部312は、後述する切替簡易化部320の識別子取得部324から識別子を受信する。
識別子偽装部313は、後述する切替簡易化部320の識別子取得部324の指示を受けて、セカンダリサイト20のコピー先VDISK400のNAAを、プライマリサイト10のコピー元VDISK400のNAAと同じ値に設定する。詳細には、識別子偽装部313は、構成管理DB721−1,721−2内に記憶されている各VDISK400のNAAを実際に書き換えるのではなく、識別子偽装テーブル720の偽装識別子格納域722(図8参照)内のNAAの値を書き換える。
詳細には、識別子通知部314は、業務サーバ302,302′から、コピー先VDISK400のNAAの通知要求を受信すると、コピー先VDISK400に対して識別子偽装が行なわれているかどうかを判定する。ここで、識別子通知部314は、コピー先VDISK400に対して識別子偽装が行なわれているかどうかを、例えば後述する識別子偽装テーブル720(図8参照)の識別子偽装フラグ723の値に基づいて判定する。
リモートコピー実行部315は、プライマリサイト10のコピー元VDISK400のデータを、セカンダリサイト20のコピー先VDISK400にコピーする。
図7は、実施形態の一例としての切替簡易化部320の機能構成を示す図である。
受付部321は、情報処理システム1の運用管理者から、管理サーバ301,301′上でWebGUI又はCLIを介して、リモートコピーのスケジュールの追加、変更又は削除コマンドを受け取る。なお、WebGUIは、運用管理者が、ストレージ装置100,200の環境設定、操作及び状態確認等の作業をWebブラウザ上で行なうことができるGUIである
オプション判定部322は、運用管理者が行なったリモートコピーのスケジュールの追加、変更又は削除コマンド内に指定されている、サイト切替簡易化オプションを読み出す。サイト切替簡易化オプションの詳細については後述する。
識別子取得部324は、業務サーバ302に、仮想化ストレージ装置100,200に対してSCSIコマンドを発行させて、仮想化ストレージ装置100,200からVDISK400のNAAを取得する。SCSIコマンドによってNAAを取得する手法については公知であるため、ここではその説明を省略する。
図8は、実施形態の一例としての仮想化ストレージ装置100,200で用いられる識別子偽装テーブル720の構成を例示する図である。
識別子格納域721は、VDISK400の正規のNAAを格納する。VDISK400の正規のNAAは、例えば、業務サーバ302がVDISK400を追加する際に、識別子受信部312によって取得され、識別子格納域721に格納される。
識別子偽装フラグ723は、偽装識別子格納域722にVDISK400の偽装NAAが使用されているか否かを示す値が格納される。識別子偽装部313によってVDISK400のNAAが偽装されたときに、識別子偽装フラグ723に例えば値trueが設定される。又、識別子偽装フラグ723は、後述するスケジュール作成時に値falseに設定される。識別子偽装フラグ723の初期値はfalseである。
なお、上記実施形態の一例においては、PU11,11′,11″のCPU501が、ストレージ制御プログラムを実行することにより、上述したストレージ制御部114,124、ボリューム追加/削除部311、識別子受信部312、識別子偽装部313、識別子通知部314、及びリモートコピー実行部315として機能するようになっている。
なお、上述した切替容易化部320、受付部321、オプション判定部322、スケジュール追加/変更/削除部323、識別子取得部324、及びmeta情報設定部325としての機能を実現するためのプログラムは、例えばフレキシブルディスク,CD(CD−ROM,CD−R,CD−RW等),DVD(DVD−ROM,DVD−RAM,DVD−R,DVD+R,DVD−RW,DVD+RW,HD DVD等),ブルーレイディスク,磁気ディスク,光ディスク,光磁気ディスク等の、コンピュータ読取可能な記録媒体に記録された形態で提供される。そして、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置または外部記憶装置に転送し格納して用いる。又、そのプログラムを、例えば磁気ディスク,光ディスク,光磁気ディスク等の記憶装置(記録媒体)に記録しておき、その記憶装置から通信経路を介してコンピュータに提供するようにしてもよい。
(B)動作
次に、実施形態の一例としての仮想化ストレージ装置100,200をそなえる情報処理システム1におけるサイト切替処理について説明する。
ステップS1において、ローカルサイト10が被災する。
ステップS2において、情報処理システム1の運用管理者が、リモートサイト20の管理サーバ301′(図3参照)上で、WebGUI又はCLIを用いて仮想化ストレージ装置200のリモートコピーのスケジュール停止を指示する。
ステップS4において、運用管理者は、リモートサイト20において、仮想化ストレージ装置200のVDISK400をデータストアとして登録するように指示する。
ステップS5において、業務サーバ302′によって、仮想化ストレージ装置200のVDISK400が検出される。
ステップS8において、セカンダリサイト20が新たなプライマリサイトとなり、そのVDISK400を使用して業務サーバによる業務が再開される。
図10は、実施形態の一例としての仮想化ストレージ装置100,200間でのリモートコピー処理を示す図であり、図11は、実施形態の一例としての仮想化ストレージ装置20に対する、識別子を偽装したVDISK400の追加処理を示す図である。図10の処理は、図9に示したローカルサイト10の被災後に実行され、図11の処理は、図9に示すローカルサイト10の被災前に実行される。又、図12は、図10,図11の処理を表形式にまとめた図である。
ステップS11において、運用管理者がプライマリサイト10の管理サーバ301上で、WebGUI又はCLIを用いてP−VDISK400の追加を指示する。
次に、ステップS12において、切替簡易化部320の識別子取得部324が、プライマリサイト10の業務サーバ302に、仮想化ストレージ装置100に対してSCSIコマンドを発行して、P−VDISK400のNAAを取得させる。図10の例では、識別子受信部312により、P−VDISK400のNAAとして、値“e00dc001…”が取得される。
ステップS15において、ストレージ制御部124の識別子受信部312が、プライマリサイト10のP−VDISK400のNAAを受信する。そして、識別子偽装部313が、セカンダリサイト20のS−VDISK400のNAAに、プライマリサイト10のP−VDISK400のNAAを設定する。又、識別子偽装部313は、偽装テーブル720(図8参照)にある、S−VDISK400の対応する偽装識別子格納域722に、識別子受信部312が受信したP−VDISK400のNAAの値を書き込む。図10の例では、偽装テーブル720にある、S−VDISK400の対応する偽装識別子格納域722に、P−VDISK400のNAAの値“e00dc001…”が書き込まれる。
次に、図11,図12を用いて、図9に示すローカルサイト10の被災後の処理について説明する。
ステップS21において、運用管理者がセカンダリサイト20の管理サーバ301′上で、WebGUI又はCLIを用いて、P−VDISK400のデータが事前にコピーされているS−VDISK400の追加を指示する。
この図は、セカンダリサイト20のS−VDISK400の状態の遷移を示している。ここで、プライマリサイト10のP−VDISK400のNAAを“AAA”、セカンダリサイト20のS−VDISK400のNAAを“BBB”とする。
状態ST1のときにS−VDISK400が作成されると、状態ST2に遷移し(矢印A1参照)、識別子偽装テーブル720に、作成したVDISK400のエントリが作成される。
なお、本実施形態の一例としての仮想化ストレージ装置100,200においては、リモートコピーのスケジュールの作成、変更、又は削除の際に、簡易化オプションを指定することで、前述のサイト切替簡易化機能の有効/無効を切り替えることができる。サイト切替簡易化機能を有効にするには、簡易化オプションに値onを、サイト切替簡易化機能を無効にするには、簡易化オプションに値offを、それぞれ指定する。
状態ST3において、S−VDISK400にINQUIRYコマンドを発行してS−VDISK400のNAAを取得しても、S−VDISK400本来のNAAが取得される。このため、情報処理システム1内に、同じNAAを返すVDISK400が複数存在することはない。
この状態ST3では、プライマリサイト10のP−VDISK400から、セカンダリサイト20のS−VDISK400へのリモートコピーが実行される。
又、状態ST3のときにS−VDISK400を削除すると、S−VDISK400の状態がST3からST1に遷移する(矢印A7参照)。
又、状態ST4のときにS−VDISK400を削除すると、S−VDISK400の状態がST4からST1に遷移する(矢印A10参照)。
図14,図15は、実施形態の一例としての仮想化ストレージ装置100,200におけるリモートコピーのスケジュール作成又は変更処理をモジュール単位で示す図である。
図14,図15において、GUI602,611は、GUIを実現するためのモジュールである。
又、基盤CLI603,612は、それぞれ、後述するSVE−M604,613の構成管理や構成情報取得を行なうコマンドである。
ステップS32において、GUI602が、プライマリサイト10側のスケジュールの作成又は変更処理を実行する。
詳細には、ステップS33において、GUI602は、GUI602の不図示のデータベースに、ステップS31で作成又は変更されたスケジュールの情報を、サイト切替簡易化オプションと共に保存する。
ステップS35において、基盤CLI603は、naa取得コマンドを実行する。
ステップS36において、SVE−M604がnaaを取得し、取得したnaaが、基盤CLI603を介してGUI602に返される。
ステップS38において、GUI611が、セカンダリサイト20側のスケジュールの作成又は変更処理を実行する。
ステップS40において、スケジュールのサイト切替簡易化オプションがtrue(有効)で、naaが設定されている場合、GUI611は、スケジュール設定コマンドを実行すると共にNAA有効フラグをfalseに設定する。
ステップS42において、SVE−M613がnaaを設定すると共に、NAA有効フラグをfalseに設定する。
一方、スケジュールのサイト切替簡易化オプションがfalse(無効)の場合、ステップS43において、GUI611は、スケジュール削除コマンドを実行する。
ステップS42において、SVE−M613はnaaを削除すると共に、NAA有効フラグをfalseに設定する。
図16は、実施形態の一例としての仮想化ストレージ装置100,200におけるリモートコピーのスケジュール削除処理をモジュール単位で示す図である。
本来一意となるべき同一のNAAを持つボリュームが同時にプライマリサイト10、セカンダリサイト20に存在することを防ぐため、スケジュール削除のタイミングで、プライマリサイト10のボリュームの削除を行なう。
ステップS51において、運用管理者が、プライマリサイト10側でCLIを用いて、delete rc−scheduleコマンドを実行して、リモートコピーのスケジュールを削除する。
ステップS52において、GUI602が、プライマリサイト10側のスケジュールの削除処理を実行する。
詳細には、ステップS53において、GUI602は、セカンダリサイト20側のGUI611に、スケジュール削除依頼情報を送信する。
詳細には、ステップS55において、GUI611は、naaをtgtd615(図16,図17参照)の不図示のメモリ上に展開させる。
ステップS56において、基盤CLI612が、naaをtgtd615のメモリ上に展開する。
次にステップS58において、GUI611は、GUI611の不図示のデータベースから、スケジュールの情報を、サイト切替簡易化オプションと共に削除する。
ステップS59において、プライマリサイト側のGUI602は、GUI602の不図示のデータベースから、スケジュールの情報を、サイト切替簡易化オプションと共に削除する。
図17は、実施形態の一例としての仮想化ストレージ装置100,200におけるOS起動時のリカバリ処理をモジュール単位で示す図である。
この処理は、スケールアウトやパス切替えや、PU13の再起動時に、tgtd615のメモリ上のNAA情報を復元する。
仮想化ストレージ装置200が再起動され、PU13が再起動され、リカバリ処理が実行される。その際、ステップS61において、ターゲット作成処理が実行される。ターゲット作成処理とは、ボリュームの接続情報をPU11内のメモリ502上に展開することを指す。
ステップS62において、SVE−A614が、ivsmtgtctlを実行して、naaをtgtdのメモリ上に展開する。ここで、ivsmtgtctlとは、SVE−Aから渡されたパラメータを解析して、tgtd615へターゲット操作の依頼をするコマンドである。
次に、ストレージ制御部124の動作について説明する。
図18は、実施形態の一例としてのセカンダリサイト20のストレージ制御部124の処理を示すフローチャート(ステップS71〜S77)である。
ステップS71において、セカンダリサイト20のストレージ制御部124の識別子受信部312が、プライマリサイト10のコピー元VDISK400のNAAを受信する。
ステップS73において、識別子偽装部313は、リモートコピーのスケジュールの追加又は変更等のコマンドを使用して、ステップS71で受信したS−VDISK400のNAAを、P−VDISK400のNAAの値に書き換える。
ステップS75において、ストレージ制御部124は、ステップS74で受信したSCSIコマンドが、NAA通知要求であるかどうかを判定する。ここで、NAA通知要求とは、コピー先VDISK400のNAAを問い合わせるために、業務サーバ302,302が使用するSCSIコマンドである。
一方、ステップS74で受信したSCSIコマンドがNAA通知要求以外のSCSIコマンドである場合(ステップS75のNOルート参照)、ステップS77において、ストレージ制御部124は、SCSIコマンドの内容に応じて、該SCSIコマンドを適宜処理する。
ステップS81において、識別子通知部314は、識別子偽装テーブル720から、コピー先VDISK400の偽装フラグ723の値を取得する。
ステップS82において、識別子通知部314は、ステップS81で取得した偽装フラグ723の値に基づいて、コピー先VDISK400に対して識別子偽装が行なわれているかどうかを判定する。例えば、ステップS81で取得した偽装フラグ723の値がtrueの場合、識別子通知部314は、コピー先VDISK400に対して識別子偽装が行なわれていると判定する。
一方、コピー先VDISK400に対して識別子偽装が行なわれている場合(ステップS82のYESルート参照)、ステップS84において、識別子通知部315は、識別子偽装テーブル720の偽装識別子格納域722の値を、コピー先VDISK400のNAAとして業務サーバ302,302′に通知する。例えば、図13の状態ST4の場合には、識別子通知部315は、“BBB”を、コピー先VDISK400のNAAとして業務サーバ302,302′に通知する。つまり、識別子偽装が行なわれている場合には、識別子通知部314は、識別子偽装部313によって偽装されたNAAを、業務サーバ302,302′に通知する。
(C)効果
このように、本実施形態の一例の仮想化ストレージ装置100,200によれば、セカンダリサイト20のS−VDISK400のNAAを、プライマリサイト10のP−VDISK400のNAAと同じ値に設定する。これにより、時間のかかるスケールアウト型仮想化ストレージ装置200のS−VDISK400の再署名(再登録)処理を省略(スキップ)することができる。これにより、仮想化ストレージ装置100の被災時等に、仮想化ストレージ装置200へのサイト切替時間が短縮される。
(D)その他
なお、上述した実施形態に関わらず、本実施形態の趣旨を逸脱しない範囲で種々変形して実施することができる。
又、上記の実施形態の一例においては、プライマリサイト10、セカンダリサイト20の双方に、管理サーバ301,301′及び業務サーバ302,302′をそれぞれ設置している。しかし、ストレージ装置100のリプレースの場合など、プライマリサイト10のみに管理サーバ301及び業務サーバ302を設置してもよい。
又、上記の実施形態の一例では、図18のステップS73において、識別子偽装部313が、リモートコピーのスケジュールの追加又は変更等のコマンドを使用して、S−VDISK400のNAAをP−VDISK400のNAAの値に書き換えている。しかし、これに限定されるものではなく、NAAの書き換えに他の既存コマンドが使用されてもよい。或いは、識別子偽装部313が、新たに設けたNAAの設定用のコマンドを受けたときに、識別子の偽装を行なってもよい。
以上の実施形態に関し、さらに以下の付記を開示する。
(付記1)
第1の仮想化ストレージ装置の第1のボリュームのコピー先である第2の仮想化ストレージ装置の第2のボリュームの制御を行なうストレージ制御装置であって、
前記第1の仮想化ストレージ装置から受信した前記第1のボリュームの第1の識別子を格納する識別子格納部と、
前記識別子格納部に格納された前記第1の識別子を、前記第2のボリュームの第2の識別子として設定する設定部と、
前記第2の識別子の通知要求に応じて、前記設定部により設定された第1の識別子を通知する識別子通知部と、
をそなえることを特徴とするストレージ制御装置。
前記第2の仮想化ストレージ装置は、ボリュームを追加設定可能なストレージ装置であり、
前記ストレージ制御装置は、前記第2の仮想化ストレージ装置にボリュームを追加するボリューム追加部をさらにそなえ、
前記設定部は、追加された各ボリュームの識別子に対して、対応するコピー元のボリュームの識別子を設定する
ことを特徴とする付記1記載のストレージ制御装置。
前記設定部は、リモートコピースケジュールの作成又は変更指示を受信すると、前記第1の識別子を前記第2の仮想化ストレージ装置の第2のボリュームの識別子に設定することにより、前記第2の仮想化ストレージ装置への前記第2のボリュームの再登録をスキップさせる
ことを特徴とする付記1又は2記載のストレージ制御装置。
第1の仮想化ストレージ装置の第1のボリュームのコピー先である第2の仮想化ストレージ装置の第2のボリュームの制御を行なうストレージ制御方法であって、
前記第1の仮想化ストレージ装置から受信した前記第1のボリュームの第1の識別子を識別子格納部に格納し、
前記識別子格納部に格納された前記第1の識別子を、前記第2のボリュームの第2の識別子として設定し、
前記第2の識別子の通知要求に応じて、前記第2のボリュームの第2の識別子として設定された前記第1の識別子を通知する
ことを特徴とするストレージ制御方法。
前記第2の仮想化ストレージ装置は、ボリュームを追加設定可能なストレージ装置であり、
ストレージ制御方法は、さらに、前記第2の仮想化ストレージ装置にボリュームを追加し、
前記追加された各ボリュームの識別子に対して、対応するコピー元のボリュームの識別子を設定する
ことを特徴とする付記4記載のストレージ制御方法。
リモートコピースケジュールの作成又は変更指示を受信すると、前記第1の識別子を前記第2の仮想化ストレージ装置の第2のボリュームの識別子に設定することにより、前記第2の仮想化ストレージ装置への前記第2のボリュームの再登録をスキップさせる
ことを特徴とする付記4又は5記載のストレージ制御方法。
第1の仮想化ストレージ装置の第1のボリュームのコピー先である第2の仮想化ストレージ装置の第2のボリュームの制御を行なうストレージ制御プログラムであって、
前記第1の仮想化ストレージ装置から受信した前記第1のボリュームの第1の識別子を識別子格納部に格納し、
前記識別子格納部に格納された前記第1の識別子を、前記第2のボリュームの第2の識別子として設定し、
前記第2の識別子の通知要求に応じて、前記第2のボリュームの第2の識別子として設定された前記第1の識別子を通知する
処理をコンピュータに実行させることを特徴とするストレージ制御プログラム。
前記第2の仮想化ストレージ装置はボリュームを追加可能なストレージ装置であり、
前記ストレージ制御プログラムは、前記第2の仮想化ストレージ装置にボリュームを追加する
処理を前記コンピュータに実行させることを特徴とする付記7記載のストレージ制御プログラム。
リモートコピースケジュールの作成又は変更指示を受信すると、前記第1の識別子を前記第2の仮想化ストレージ装置の第2のボリュームの識別子に設定することにより、前記第2の仮想化ストレージ装置への前記第2のボリュームの再登録をスキップさせる
処理を前記コンピュータに実行させることを特徴とする付記7又は8記載のストレージ制御プログラム。
第1のボリュームを有する第1の仮想化ストレージ装置と、
第2のボリュームを有する第2の仮想化ストレージ装置と、をそなえ、
前記第1の仮想化ストレージ装置は、
前記第1の仮想化ストレージ装置から受信した前記第1のボリュームの第1の識別子を格納する識別子格納部と、
前記識別子格納部に格納された前記第1の識別子を、前記第2のボリュームの第2の識別子として設定する設定部と、
前記第2の識別子の通知要求に応じて、前記設定部により設定された第1の識別子を通知する識別子通知部と、
をそなえることを特徴とするストレージシステム。
前記第2の仮想化ストレージ装置は、ボリュームを追加設定可能なストレージ装置であり、
前記第1の仮想化ストレージ装置は、前記第2の仮想化ストレージ装置にボリュームを追加するボリューム追加部をさらにそなえ、
前記設定部は、追加された各ボリュームの識別子に対して、対応するコピー元のボリュームの識別子を設定する
ことを特徴とする付記10記載のストレージシステム。
前記設定部は、リモートコピースケジュールの作成又は変更指示を受信すると、前記第1の識別子を前記第2の仮想化ストレージ装置の第2のボリュームの識別子に設定することにより、前記第2の仮想化ストレージ装置への前記第2のボリュームの再登録をスキップさせる
ことを特徴とする付記10又は11記載のストレージシステム。
11,11′,11″ PU
12,12′,12″ スイッチ
13,13′,13″ SU
100 仮想化ストレージ装置(第1の仮想化ストレージ装置)
200 仮想化ストレージ装置(第2の仮想化ストレージ装置)
114,124 記憶部
301,301′ 管理サーバ
302,302′ 業務サーバ
311 ボリューム追加/削除部(ボリューム追加部)
312 識別子受信部(受信部)
313 識別子偽装部(設定部)
314 識別子通知部
315 リモートコピー実行部(複製部)
320 切替容易化部
321 受付部
322 オプション判定部
323 スケジュール追加/変更/削除部
324 識別子取得部
325 meta情報設定部
400 VDISK(第1及び第2のボリューム)
501 CPU
502 メモリ(識別子格納部)
Claims (4)
- 第1の仮想化ストレージ装置の第1のボリュームのコピー先である第2の仮想化ストレージ装置の第2のボリュームの制御を行なうストレージ制御装置であって、
前記第1の仮想化ストレージ装置から受信した前記第1のボリュームの第1の識別子を格納する識別子格納部と、
前記第1の仮想化ストレージ装置のデータを前記第2の仮想化ストレージ装置にコピーするリモートコピーのスケジュールの作成又は変更指示を受信すると、前記識別子格納部に格納された前記第1の識別子を、前記第2のボリュームの第2の識別子として設定することにより、前記第2のボリュームを前記第2の仮想化ストレージ装置のデータストアとして登録する再登録処理をスキップさせる設定部と、
前記第2の識別子の通知要求に応じて、前記設定部により設定された第1の識別子を通知する識別子通知部と、
をそなえることを特徴とするストレージ制御装置。 - 前記第2の仮想化ストレージ装置は、ボリュームを追加設定可能なストレージ装置であり、
前記ストレージ制御装置は、前記第2の仮想化ストレージ装置にボリュームを追加するボリューム追加部をさらにそなえ、
前記設定部は、追加された各ボリュームの識別子に対して、対応するコピー元のボリュームの識別子を設定する
ことを特徴とする請求項1記載のストレージ制御装置。 - 第1の仮想化ストレージ装置の第1のボリュームのコピー先である第2の仮想化ストレージ装置の第2のボリュームの制御を行なうストレージ制御方法であって、
前記第1の仮想化ストレージ装置から受信した前記第1のボリュームの第1の識別子を識別子格納部に格納し、
前記第1の仮想化ストレージ装置のデータを前記第2の仮想化ストレージ装置にコピーするリモートコピーのスケジュールの作成又は変更指示を受信すると、前記識別子格納部に格納された前記第1の識別子を、前記第2のボリュームの第2の識別子として設定することにより、前記第2のボリュームを前記第2の仮想化ストレージ装置のデータストアとして登録する再登録処理をスキップさせ、
前記第2の識別子の通知要求に応じて、前記第2のボリュームの第2の識別子として設定された前記第1の識別子を通知する
ことを特徴とするストレージ制御方法。 - 第1の仮想化ストレージ装置の第1のボリュームのコピー先である第2の仮想化ストレージ装置の第2のボリュームの制御を行なうストレージ制御プログラムであって、
前記第1の仮想化ストレージ装置から受信した前記第1のボリュームの第1の識別子を識別子格納部に格納し、
前記第1の仮想化ストレージ装置のデータを前記第2の仮想化ストレージ装置にコピーするリモートコピーのスケジュールの作成又は変更指示を受信すると、前記識別子格納部に格納された前記第1の識別子を、前記第2のボリュームの第2の識別子として設定することにより、前記第2のボリュームを前記第2の仮想化ストレージ装置のデータストアとして登録する再登録処理をスキップさせ、
前記第2の識別子の通知要求に応じて、前記第2のボリュームの第2の識別子として設定された前記第1の識別子を通知する
処理をコンピュータに実行させることを特徴とするストレージ制御プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013202071A JP6201580B2 (ja) | 2013-09-27 | 2013-09-27 | ストレージ制御装置、ストレージ制御方法及びストレージ制御プログラム |
US14/474,331 US9552172B2 (en) | 2013-09-27 | 2014-09-02 | Storage processing apparatus, computer-readable recording medium storing program for controlling storage, and storage system |
EP14183352.5A EP2854019A1 (en) | 2013-09-27 | 2014-09-03 | Storage processing apparatus, method of controlling storage, program for controlling storage, and storage system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013202071A JP6201580B2 (ja) | 2013-09-27 | 2013-09-27 | ストレージ制御装置、ストレージ制御方法及びストレージ制御プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015069342A JP2015069342A (ja) | 2015-04-13 |
JP6201580B2 true JP6201580B2 (ja) | 2017-09-27 |
Family
ID=51492837
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013202071A Expired - Fee Related JP6201580B2 (ja) | 2013-09-27 | 2013-09-27 | ストレージ制御装置、ストレージ制御方法及びストレージ制御プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US9552172B2 (ja) |
EP (1) | EP2854019A1 (ja) |
JP (1) | JP6201580B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10437497B1 (en) * | 2015-09-30 | 2019-10-08 | EMC IP Holding Company LLC | Active-active host environment |
US10303362B2 (en) * | 2017-02-15 | 2019-05-28 | Netapp, Inc. | Methods for reducing initialization duration and performance impact during configuration of storage drives |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6557089B1 (en) * | 2000-11-28 | 2003-04-29 | International Business Machines Corporation | Backup by ID-suppressed instant virtual copy then physical backup copy with ID reintroduced |
JP2005338893A (ja) | 2004-05-24 | 2005-12-08 | Hitachi Ltd | データ処理システムおよびディスクアクセス制御方法並びにその処理プログラム |
JP2006309638A (ja) * | 2005-05-02 | 2006-11-09 | Hitachi Ltd | 計算機システムおよびその計算機システムに用いられるホスト計算機およびストレージ装置、ならびに、計算機システムに用いられるボリューム切替方法 |
JP2008269469A (ja) * | 2007-04-24 | 2008-11-06 | Hitachi Ltd | ストレージシステム及びその管理方法 |
US8028110B1 (en) | 2007-06-28 | 2011-09-27 | Emc Corporation | Non-disruptive data migration among storage devices using integrated virtualization engine of a storage device |
JP2009093316A (ja) | 2007-10-05 | 2009-04-30 | Hitachi Ltd | ストレージシステム及び仮想化方法 |
US9619171B2 (en) | 2007-10-05 | 2017-04-11 | Hitachi, Ltd. | Storage system and virtualization method |
US8060710B1 (en) | 2007-12-12 | 2011-11-15 | Emc Corporation | Non-disruptive migration using device identity spoofing and passive/active ORS pull sessions |
JP5072692B2 (ja) | 2008-04-07 | 2012-11-14 | 株式会社日立製作所 | 複数のストレージシステムモジュールを備えたストレージシステム |
JP5199464B2 (ja) * | 2009-01-20 | 2013-05-15 | 株式会社日立製作所 | ストレージシステム及びストレージシステムの制御方法 |
US8166264B2 (en) * | 2009-02-05 | 2012-04-24 | Hitachi, Ltd. | Method and apparatus for logical volume management |
US20100235592A1 (en) * | 2009-03-10 | 2010-09-16 | Yasunori Kaneda | Date volume migration with migration log confirmation |
JP5156682B2 (ja) * | 2009-04-23 | 2013-03-06 | 株式会社日立製作所 | ストレージシステムにおけるバックアップ方法 |
US9244786B2 (en) * | 2010-12-10 | 2016-01-26 | International Business Machines Corporation | Substitution of a target volume of a secondary storage controller for a source volume of a primary storage controller for executing a write operation |
US8566635B2 (en) * | 2011-01-21 | 2013-10-22 | Lsi Corporation | Methods and systems for improved storage replication management and service continuance in a computing enterprise |
US8819374B1 (en) * | 2011-06-15 | 2014-08-26 | Emc Corporation | Techniques for performing data migration |
US8719497B1 (en) * | 2011-09-21 | 2014-05-06 | Emc Corporation | Using device spoofing to improve recovery time in a continuous data protection environment |
JP2013114624A (ja) * | 2011-11-30 | 2013-06-10 | Hitachi Ltd | ストレージシステム及びプール容量縮小の制御方法 |
US9098466B2 (en) * | 2012-10-29 | 2015-08-04 | International Business Machines Corporation | Switching between mirrored volumes |
-
2013
- 2013-09-27 JP JP2013202071A patent/JP6201580B2/ja not_active Expired - Fee Related
-
2014
- 2014-09-02 US US14/474,331 patent/US9552172B2/en not_active Expired - Fee Related
- 2014-09-03 EP EP14183352.5A patent/EP2854019A1/en not_active Ceased
Also Published As
Publication number | Publication date |
---|---|
EP2854019A1 (en) | 2015-04-01 |
US20150095599A1 (en) | 2015-04-02 |
US9552172B2 (en) | 2017-01-24 |
JP2015069342A (ja) | 2015-04-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114341792B (zh) | 存储集群之间的数据分区切换 | |
WO2018040591A1 (zh) | 一种远程数据复制方法及系统 | |
US8204858B2 (en) | Snapshot reset method and apparatus | |
US9116913B2 (en) | File storage system and file cloning method | |
JP7034806B2 (ja) | 分散ストレージネットワークにおけるデータ経路モニタリング | |
JP5172574B2 (ja) | アプリケーションデータのバックアップ構成構築に用いる管理計算機 | |
JP2018028715A (ja) | ストレージ制御装置、ストレージシステムおよびストレージ制御プログラム | |
US20190138405A1 (en) | Data Loading Method and Apparatus | |
US20060271754A1 (en) | Storage system | |
JP2007206931A (ja) | 記憶システム、データ処理方法並びにストレージ装置 | |
JP2013011919A (ja) | ストレージ装置及びそのスナップショット制御方法 | |
WO2015162684A1 (ja) | ストレージシステムのデータ移行方法 | |
JP5352490B2 (ja) | サーバイメージ容量の最適化 | |
US10031682B1 (en) | Methods for improved data store migrations and devices thereof | |
US11579983B2 (en) | Snapshot performance optimizations | |
US20190034092A1 (en) | Methods for managing distributed snapshot for low latency storage and devices thereof | |
JP2014044553A (ja) | プログラム、情報処理装置および情報処理システム | |
CN109407975B (zh) | 写数据方法与计算节点以及分布式存储系统 | |
US11816359B2 (en) | Scalable solid-state storage system and methods thereof | |
JP6201580B2 (ja) | ストレージ制御装置、ストレージ制御方法及びストレージ制御プログラム | |
US10956271B2 (en) | Point-in-time copy on a remote system | |
EP3647953B1 (en) | System and method for data backup in mixed disk environment | |
JP2013161383A (ja) | 情報処理装置、情報処理方法、プログラム及び情報処理システム | |
US20070124366A1 (en) | Storage control method for managing access environment enabling host to access data | |
JP2015207277A (ja) | ストレージシステムのデータ移行方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160606 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170228 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170228 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170501 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170801 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170814 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6201580 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |