JP2007179200A - コンピュータシステムおよびストレージ仮想化装置 - Google Patents

コンピュータシステムおよびストレージ仮想化装置 Download PDF

Info

Publication number
JP2007179200A
JP2007179200A JP2005375506A JP2005375506A JP2007179200A JP 2007179200 A JP2007179200 A JP 2007179200A JP 2005375506 A JP2005375506 A JP 2005375506A JP 2005375506 A JP2005375506 A JP 2005375506A JP 2007179200 A JP2007179200 A JP 2007179200A
Authority
JP
Japan
Prior art keywords
centralized
storage
storage device
access
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005375506A
Other languages
English (en)
Other versions
JP4474356B2 (ja
Inventor
Atsushi Shinohara
敦史 篠原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2005375506A priority Critical patent/JP4474356B2/ja
Priority to US11/277,648 priority patent/US7441009B2/en
Publication of JP2007179200A publication Critical patent/JP2007179200A/ja
Application granted granted Critical
Publication of JP4474356B2 publication Critical patent/JP4474356B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0662Virtualisation aspects
    • G06F3/0665Virtualisation aspects at area level, e.g. provisioning of virtual or logical volumes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604Improving or facilitating administration, e.g. storage management
    • G06F3/0607Improving or facilitating administration, e.g. storage management by facilitating the process of upgrading existing storage systems, e.g. for improving compatibility between host and storage device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061Improving I/O performance
    • G06F3/0611Improving I/O performance in relation to response time
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629Configuration or reconfiguration of storage systems
    • G06F3/0631Configuration or reconfiguration of storage systems by allocating resources to storage systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】 各仮想的なストレージ装置へのアクセスに対応するアクセス要求の多くが、そのアクセス要求を受けるセントラライズドモジュールの担当の物理ストレージ装置に対するものとなるよう、各仮想的なストレージ装置に対応するセントラライズドモジュールを設定可能なコンピュータシステムおよびストレージ仮想化装置を提供する。
【解決手段】 セントラライズドモジュールCM1,CM2のうち、仮想的なストレージ装置A,Bの記憶領域に対応する物理ストレージ装置X,Y,Zの記憶領域の最も多くの容量を担当するセントラライズドモジュールを選択する最大容量担当選択手段24と、最大容量担当選択手段24により選択されたセントラライズドモジュールを、ストレージ仮想化手段22がアクセス要求を送信するセントラライズドモジュールとして設定するアクセス要求先設定手段30aとを有する。
【選択図】 図2

Description

本発明は、複数の物理ストレージ装置の記憶領域の一部または全部を組み合わせて仮想的なストレージ装置として構成するとともに、その仮想的なストレージ装置をホストコンピュータにアクセス可能に提供するストレージ仮想化装置、およびそれを用いたコンピュータシステムに関する。
主に、大量の処理を行う大規模なコンピュータシステムにおいて、サーバコンピュータ等のホストコンピュータに複数の磁気ディスク装置等のストレージ装置を、ファイバーチャネル等の接続方式を用いて接続して、ホストコンピュータが臨機応変に複数のストレージ装置を使用できるよう構成することが、広く行われている。
複数のホストコンピュータ11a,11bと、複数の物理ストレージ装置X,Y,Zを有するストレージシステム13とを備える従来のコンピュータシステムの例を、図3の説明図に示す。
図3のコンピュータシステムにおいて、ストレージシステム13は、物理ストレージ装置X,Y,Zにアクセスする複数のセントラライズドモジュールCM1,CM2を有する。ストレージシステム13においては、各物理ストレージ装置X,Y,Z毎に、それぞれアクセスを担当するセントラライズドモジュールが予め定められている。図3の例においては、物理ストレージ装置XおよびYへのアクセスを担当するセントラライズドモジュールはCM1に設定され、物理ストレージ装置Zへのアクセスを担当するセントラライズドモジュールはCM2に設定されている(図3において、各セントラライズドモジュールの担当する物理ストレージ装置へのパスは実線で示され、各セントラライズドモジュールの担当でない物理ストレージ装置へのパスは破線で示されている)。
各セントラライズドモジュールCM1,CM2は、担当する物理ストレージ装置の記録内容に対応するキャッシュメモリを有し、担当する物理ストレージ装置に対するアクセスを、キャッシュメモリを活用して迅速に行うことができる。
セントラライズドモジュールCM1は、外部(ホストコンピュータ11a,11b)に接続されたパス17,19から、担当する物理ストレージ装置XまたはYへのアクセス要求を受けると、物理ストレージ装置Xまたはにアクセスを行う。
また、セントラライズドモジュールCM1は、外部(ホストコンピュータ11a,11b)に接続されたパス17,19から、担当でない物理ストレージ装置Zへのアクセス要求を受けた場合には、物理ストレージ装置Zの担当のセントラライズドモジュールCM2へ、そのアクセス要求を転送する。すなわち、ストレージシステム13は、セントラライズドモジュールCM1−CM2間で通信を行って、アクセス要求を担当のセントラライズドモジュールCM2に転送するよう、制御を行う。
このように、ストレージシステム13は、各物理ストレージ装置に対して、常に担当のセントラライズドモジュールがアクセスを行うよう構成されている。
なお、図3中、破線で示すように、ストレージシステム13の各セントラルモジュールCM1,CM2には、担当でない物理ストレージ装置に対してもパスが接続されている。これは、例えば、セントラライズドモジュールの一つCM1が故障した場合に、他の(担当でない)セントラライズドモジュールCM2を介しても物理ストレージ装置Xにアクセスが可能となるよう、冗長性を持たせたシステム構成とされているものである。
図3に示すコンピュータシステムにおいて、ホストコンピュータ11a,11bのデバイスドライバは、物理ストレージ装置X,Y,Zにアクセスする際、そのアクセスを行う物理ストレージ装置の担当のセントラライズドモジュールにアクセス要求を送信することで、セントラライズドモジュールCM1−CM2間での前記転送の時間を省いて、ストレージシステム13にそのアクセスを高速に行わせることができる。
ところで、特に複数のストレージ装置を使用するコンピュータシステムにおいて、複数の物理ストレージ装置の記憶領域を組み合わせた記憶領域を、仮想的なストレージ装置としてホストコンピュータに認識させるストレージの仮想化が提案されている。
例えば、特許文献1において、図4に示すように、複数のノード装置(ホストコンピュータ)1,1・・と複数のストレージ装置2,2・・を、ネットワークスイッチ3により接続するとともに、ネットワークスイッチ3のネットワークプロセッサ31により、複数のストレージ装置2,2・・の記憶領域の一部または全部を組み合わせて仮想的なストレージ装置(仮想共有ディスク)5として構成し、その仮想的なストレージ装置5をノード装置1,1・・にアクセス可能に提供するコンピュータシステムが開示されている。
このストレージの仮想化によれば、ユーザーは、ホストコンピュータの用途に適した仮想的なストレージ装置を自由に構築でき、ホストコンピュータは、その仮想的なストレージ装置にアクセスすることで、物理ストレージ装置のそれぞれの記憶容量や接続形態等を意識することなく、物理ストレージ装置を使用することができるという効果がある。
ここで、図3に示したストレージシステム13を用いてストレージの仮想化を行う従来のコンピュータシステムの例を、図5に示す。
図5において、複数のホストコンピュータ11a,11b、および、ストレージシステム13の複数のセントラライズドモジュールCM1,CM2のそれぞれは、ストレージ仮想化装置としてのファイバーチャネルスイッチ10に、その接続手段12a〜12jを介して、ファイバーチャネル(FC)により接続される。
そして、ファイバーチャネルスイッチ10は、複数の物理ストレージ装置X,Y,Zの記憶領域の一部または全部を組み合わせて仮想的なストレージ装置A,Bとして構成し、その仮想的なストレージ装置A,Bを、ホストコンピュータ11a,11bに認識させる。すなわち、ホストコンピュータ11a,11bは、ファイバーチャネルスイッチ10を介して、仮想的なストレージ装置A,Bに対して、通常の物理ストレージ装置にアクセスするのと同様にアクセスすることができる。
図5の例においては、ファイバーチャネルスイッチ10は、物理ストレージ装置Zの一部z1と、物理ストレージ装置Yの一部y1と、物理ストレージ装置Xの一部x1とを組み合わせて、仮想的なストレージ装置Aを構成し、また、物理ストレージ装置Zの一部z2と、物理ストレージ装置Yの一部y2と、物理ストレージ装置Xの一部x2とを組み合わせて、仮想的なストレージ装置Bを構成し、その仮想的なストレージ装置A,Bを、接続された各ホストコンピュータ11a,11bにアクセス可能に提供している。
なお、ストレージ仮想化装置としてのファイバーチャネルスイッチ10による仮想的なストレージ装置の構成は、この例に限定されるものではなく、接続された多数の物理ストレージ装置の記憶領域の全部または一部を、自由に組み合わせて、仮想的なストレージ装置を構成することができる。
図5に示したような、複数の物理ストレージ装置を有するストレージシステムを用いてストレージの仮想化を行う従来のコンピュータシステムにおいて、ホストコンピュータからの特定の仮想的なストレージ装置へのアクセスに対応して、ストレージ仮想化装置(ファイバーチャネルスイッチ)が物理ハードディスク装置にアクセス要求する場合、特定のセントラライズドモジュールに対してアクセス要求を送信する。
これは、一つの仮想的なストレージ装置へのアクセスが、複数の物理ストレージ装置の記憶領域にまたがる場合、対応するアクセス要求を複数のセントラライズドモジュールに分けて送信してしまうと、他のホストコンピュータからのアクセス要求との間でアクセスの順番の整合性が保てない等の問題が生じ、物理ストレージ装置に記憶されるデータを破壊してしまうことがあるためである。また、ストレージ仮想化装置が、仮想的なストレージ装置への各アクセスに対して、対応するアクセス要求を行う物理ストレージ装置の「担当の」セントラライズドモジュールを特定し、各担当のセントラライズドモジュールにアクセス要求を振り分ける処理を行うことは、ストレージ仮想化装置(ファイバーチャネルスイッチ)のファームウェア等の制御部に過大な負荷を課することとなり現実的でない。
このように、図5に示したようなコンピュータシステムおよびそれに用いられるストレージ仮想化装置においては、一つの仮想的なストレージ装置へのアクセスに対応して、各仮想的なストレージ装置に対して予め定められた一つのセントラルモジュールへアクセス要求を送信する。このため、仮想的なストレージ装置の記憶領域に対応する各物理ストレージ装置によって、アクセス要求が送信されるそのセントラルモジュールが、担当であったり担当でなかったりすることがある。
例えば、図5の例において、仮想的なストレージ装置Aに対するアクセスに対応するアクセス要求が、セントラライズドモジュールCM1を介して行われるよう設定されていた場合、仮想的なストレージ装置Aの領域y1,x1に対応するアクセス要求は、担当のセントラライズモジュールCM1に対して送信され、領域z1に対応するアクセス要求は、担当でないセントラライズモジュールCM1に送信されてセントラライズモジュールCM2に転送される。
特開2003−44421号公報
ここで、従来のコンピュータシステムにおいては、仮想的なストレージ装置に対するアクセスに対応するアクセス要求の多くが、対応するセントラライズドモジュールの担当でない物理ストレージ装置に対するものであった場合、セントラライズドモジュール間での前記転送が多く発生して物理ストレージ装置に対するアクセス速度が遅くなるから、ストレージシステムに対するアクセス速度が、本来の性能よりも悪化してしまうという課題がある。
図5の例でいえば、仮想的なストレージ装置Bの領域x2に対するアクセスよりも、領域y2,z2に対するアクセスの方が多い場合、アクセス要求の多くが、セントラライズモジュールCM1からセントラライズドモジュールCM2へと転送されることになり、転送が多い分だけ、アクセス性能が悪化してしまう。
本発明は上記課題を解決すべくなされ、その目的とするところは、各仮想的なストレージ装置へのアクセスに対応するアクセス要求の多くが、そのアクセス要求を受けるセントラライズドモジュールの担当の物理ストレージ装置に対するものとなるよう、各仮想的なストレージ装置に対応するセントラライズドモジュールを設定可能なコンピュータシステムおよびストレージ仮想化装置を提供することにある。
本発明に係るコンピュータシステムは、上記課題を解決するために、以下の構成を備える。すなわち、ホストコンピュータと、複数の物理ストレージ装置、および、該物理ストレージ装置にアクセスする複数のセントラライズドモジュールを有し、各物理ストレージ装置毎に、それぞれアクセスを担当するセントラライズドモジュールが予め定められて成るストレージシステムとを備えるコンピュータシステムにおいて、前記ホストコンピュータおよび各前記セントラライズドモジュールに接続する複数の接続手段と、前記複数の物理ストレージ装置の記憶領域の一部または全部を組み合わせて単数または複数の仮想的なストレージ装置として構成するとともに、該仮想的なストレージ装置を前記ホストコンピュータにアクセス可能に提供し、ホストコンピュータから仮想的なストレージ装置にアクセスが行われた際には、前記セントラライズドモジュールのうちの一つに、該仮想的なストレージ装置のアクセス領域に対応する各物理的なストレージ装置の記憶領域にアクセスすることを要求するアクセス要求を送信するストレージ仮想化手段と、各前記仮想的なストレージ装置毎に、前記セントラライズドモジュールのうち、係る仮想的なストレージ装置の記憶領域に対応する前記物理ストレージ装置の記憶領域の最も多くの容量を担当するセントラライズドモジュールを選択する最大容量担当選択手段と、各前記仮想的なストレージ装置毎に、前記最大容量担当選択手段により選択されたセントラライズドモジュールを、前記ストレージ仮想化手段が前記アクセス要求を送信するセントラライズドモジュールとして設定するアクセス要求先設定手段とを有するストレージ仮想化装置を備えることを特徴とする。
これによれば、各仮想的なストレージ装置毎に、複数のセントラライズドモジュールのうち、係る仮想的なストレージ装置の記憶領域に対応する物理ストレージ装置の記憶領域の最も多くの容量を担当するセントラライズドモジュールを、前記アクセス要求を送信するセントラライズドモジュールとして設定するから、アクセス要求の多くを、当該セントラライズドモジュールの担当の記憶領域に対応するものとすることができる。
また、ホストコンピュータと、複数の物理ストレージ装置、および、該物理ストレージ装置にアクセスする複数のセントラライズドモジュールを有し、各物理ストレージ装置毎に、それぞれアクセスを担当するセントラライズドモジュールが予め定められて成るストレージシステムとを備えるコンピュータシステムにおいて、前記ホストコンピュータおよび各前記セントラライズドモジュールに接続する複数の接続手段と、前記複数の物理ストレージ装置の記憶領域の一部または全部を組み合わせて単数または複数の仮想的なストレージ装置として構成するとともに、該仮想的なストレージ装置を前記ホストコンピュータにアクセス可能に提供し、ホストコンピュータから仮想的なストレージ装置にアクセスが行われた際には、前記セントラライズドモジュールのうちの一つに、該仮想的なストレージ装置のアクセス領域に対応する各物理的なストレージ装置の記憶領域にアクセスすることを要求するアクセス要求を送信するストレージ仮想化手段と、各前記仮想的なストレージ装置毎に、前記セントラライズドモジュールのうち、係る仮想的なストレージ装置の記憶領域に対応する最も多数の前記物理ストレージ装置を担当するセントラライズドモジュールを選択する最多担当選択手段と、各前記仮想的なストレージ装置毎に、前記最多担当選択手段により選択されたセントラライズドモジュールを、前記ストレージ仮想化手段が前記アクセス要求を送信するセントラライズドモジュールとして設定するアクセス要求先設定手段とを有するストレージ仮想化装置を備えることを特徴とする。
これによれば、各仮想的なストレージ装置毎に、複数のセントラライズドモジュールのうち、係る仮想的なストレージ装置の記憶領域に対応する最も多数の物理ストレージ装置を担当するセントラライズドモジュールを、前記アクセス要求を送信するセントラライズドモジュールとして設定するから、アクセス要求の多くを、当該セントラライズドモジュールの担当の物理ストレージ装置に対応するものとすることができる。
さらに、前記ストレージ仮想化装置は、各前記仮想的なストレージ装置毎に、前記アクセス要求の回数を、アクセス対象となる物理ストレージ装置を担当するセントラライズドモジュール毎に計数して記憶部に記憶するアクセス計数手段と、所定のタイミングで起動され、各前記仮想的なストレージ装置毎に、前記記憶部に記憶された前記担当する物理ストレージ装置に対するアクセス要求の回数が最も多い前記セントラライズドモジュールが、前記アクセス要求先設定手段により設定されたアクセス要求を送信するセントラライズドモジュールと異なる場合には、前記記憶部に記憶された前記アクセス要求の回数が最も多いセントラライズドモジュールを、前記ストレージ仮想化手段がアクセス要求を送信するセントラライズドモジュールとして切り替えて設定するアクセス要求先切り替え手段とを有することを特徴とする。
また、ホストコンピュータと、複数の物理ストレージ装置、および、該物理ストレージ装置にアクセスする複数のセントラライズドモジュールを有し、各物理ストレージ装置毎に、それぞれアクセスを担当するセントラライズドモジュールが予め定められて成るストレージシステムとを備えるコンピュータシステムにおいて、前記ホストコンピュータおよび各前記セントラライズドモジュールに接続する複数の接続手段と、前記複数の物理ストレージ装置の記憶領域の一部または全部を組み合わせて単数または複数の仮想的なストレージ装置として構成するとともに、該仮想的なストレージ装置を前記ホストコンピュータにアクセス可能に提供し、ホストコンピュータから仮想的なストレージ装置にアクセスが行われた際には、前記セントラライズドモジュールのうちの一つに、該仮想的なストレージ装置のアクセス領域に対応する各物理的なストレージ装置の記憶領域にアクセスすることを要求するアクセス要求を送信するストレージ仮想化手段と、各前記仮想的なストレージ装置毎に、特定の前記セントラライズドモジュールを、前記ストレージ仮想化手段が前記アクセス要求を送信するセントラライズドモジュールとして設定するアクセス要求先設定手段と、各前記仮想的なストレージ装置毎に、前記アクセス要求の回数を、アクセス対象となる物理ストレージ装置を担当するセントラライズドモジュール毎に計数して記憶部に記憶するアクセス計数手段と、所定のタイミングで起動され、各前記仮想的なストレージ装置毎に、前記記憶部に記憶された前記担当する物理ストレージ装置に対するアクセス要求の回数が最も多い前記セントラライズドモジュールが、前記アクセス要求先設定手段により設定されたアクセス要求を送信するセントラライズドモジュールと異なる場合には、前記記憶部に記憶された前記アクセス要求の回数が最も多いセントラライズドモジュールを、前記ストレージ仮想化手段がアクセス要求を送信するセントラライズドモジュールとして切り替えて設定するアクセス要求先切り替え手段とを有するストレージ仮想化装置を備えることを特徴とする。
これによれば、コンピュータシステムの実際の運用上で、各仮想的なストレージ装置毎に、担当する物理ストレージ装置に対するアクセス要求の回数が最も多いセントラライズドモジュールを、ストレージ仮想化手段がアクセス要求を送信するセントラライズドモジュールとして切り替えて設定するから、より実際の運用上での多くのアクセス要求を、当該セントラライズドモジュールの担当の物理ストレージ装置に対応するものとすることができる。
また、本発明に係るストレージ仮想化装置は、上記課題を解決するために、以下の構成を備える。すなわち、ホストコンピュータと、複数の物理ストレージ装置、および、該物理ストレージ装置にアクセスする複数のセントラライズドモジュールを有し、各物理ストレージ装置毎に、それぞれアクセスを担当するセントラライズドモジュールが予め定められて成るストレージシステムとを備えるコンピュータシステムで用いられるストレージ仮想化装置において、前記ホストコンピュータおよび各前記セントラライズドモジュールに接続する複数の接続手段と、前記複数の物理ストレージ装置の記憶領域の一部または全部を組み合わせて単数または複数の仮想的なストレージ装置として構成するとともに、該仮想的なストレージ装置を前記ホストコンピュータにアクセス可能に提供し、ホストコンピュータから仮想的なストレージ装置にアクセスが行われた際には、前記セントラライズドモジュールのうちの一つに、該仮想的なストレージ装置のアクセス領域に対応する各物理的なストレージ装置の記憶領域にアクセスすることを要求するアクセス要求を送信するストレージ仮想化手段と、各前記仮想的なストレージ装置毎に、前記セントラライズドモジュールのうち、係る仮想的なストレージ装置の記憶領域に対応する前記物理ストレージ装置の記憶領域の最も多くの容量を担当するセントラライズドモジュールを選択する最大容量担当選択手段と、各前記仮想的なストレージ装置毎に、前記最大容量担当選択手段により選択されたセントラライズドモジュールを、前記ストレージ仮想化手段が前記アクセス要求を送信するセントラライズドモジュールとして設定するアクセス要求先設定手段とを有することを特徴とする。
これによれば、各仮想的なストレージ装置毎に、複数のセントラライズドモジュールのうち、係る仮想的なストレージ装置の記憶領域に対応する物理ストレージ装置の記憶領域の最も多くの容量を担当するセントラライズドモジュールを、前記アクセス要求を送信するセントラライズドモジュールとして設定するから、アクセス要求の多くを、当該セントラライズドモジュールの担当の記憶領域に対応するものとすることができる。
また、ホストコンピュータと、複数の物理ストレージ装置、および、該物理ストレージ装置にアクセスする複数のセントラライズドモジュールを有し、各物理ストレージ装置毎に、それぞれアクセスを担当するセントラライズドモジュールが予め定められて成るストレージシステムとを備えるコンピュータシステムで用いられるストレージ仮想化装置において、前記ホストコンピュータおよび各前記セントラライズドモジュールに接続する複数の接続手段と、前記複数の物理ストレージ装置の記憶領域の一部または全部を組み合わせて単数または複数の仮想的なストレージ装置として構成するとともに、該仮想的なストレージ装置を前記ホストコンピュータにアクセス可能に提供し、ホストコンピュータから仮想的なストレージ装置にアクセスが行われた際には、前記セントラライズドモジュールのうちの一つに、該仮想的なストレージ装置のアクセス領域に対応する各物理的なストレージ装置の記憶領域にアクセスすることを要求するアクセス要求を送信するストレージ仮想化手段と、各前記仮想的なストレージ装置毎に、前記セントラライズドモジュールのうち、係る仮想的なストレージ装置の記憶領域に対応する最も多数の前記物理ストレージ装置を担当するセントラライズドモジュールを選択する最多担当選択手段と、各前記仮想的なストレージ装置毎に、前記最多担当選択手段により選択されたセントラライズドモジュールを、前記ストレージ仮想化手段が前記アクセス要求を送信するセントラライズドモジュールとして設定するアクセス要求先設定手段とを有することを特徴とする。
これによれば、各仮想的なストレージ装置毎に、複数のセントラライズドモジュールのうち、係る仮想的なストレージ装置の記憶領域に対応する最も多数の物理ストレージ装置を担当するセントラライズドモジュールを、前記アクセス要求を送信するセントラライズドモジュールとして設定するから、アクセス要求の多くを、当該セントラライズドモジュールの担当の物理ストレージ装置に対応するものとすることができる。
さらに、各前記仮想的なストレージ装置毎に、前記アクセス要求の回数を、アクセス対象となる物理ストレージ装置を担当するセントラライズドモジュール毎に計数して記憶部に記憶するアクセス計数手段と、所定のタイミングで起動され、各前記仮想的なストレージ装置毎に、前記記憶部に記憶された前記担当する物理ストレージ装置に対するアクセス要求の回数が最も多い前記セントラライズドモジュールが、前記アクセス要求先設定手段により設定されたアクセス要求を送信するセントラライズドモジュールと異なる場合には、前記記憶部に記憶された前記アクセス要求の回数が最も多いセントラライズドモジュールを、前記ストレージ仮想化手段がアクセス要求を送信するセントラライズドモジュールとして切り替えて設定するアクセス要求先切り替え手段とを有することを特徴とする。
また、ホストコンピュータと、複数の物理ストレージ装置、および、該物理ストレージ装置にアクセスする複数のセントラライズドモジュールを有し、各物理ストレージ装置毎に、それぞれアクセスを担当するセントラライズドモジュールが予め定められて成るストレージシステムとを備えるコンピュータシステムで用いられるストレージ仮想化装置において、前記ホストコンピュータおよび各前記セントラライズドモジュールに接続する複数の接続手段と、前記複数の物理ストレージ装置の記憶領域の一部または全部を組み合わせて単数または複数の仮想的なストレージ装置として構成するとともに、該仮想的なストレージ装置を前記ホストコンピュータにアクセス可能に提供し、ホストコンピュータから仮想的なストレージ装置にアクセスが行われた際には、前記セントラライズドモジュールのうちの一つに、該仮想的なストレージ装置のアクセス領域に対応する各物理的なストレージ装置の記憶領域にアクセスすることを要求するアクセス要求を送信するストレージ仮想化手段と、各前記仮想的なストレージ装置毎に、特定の前記セントラライズドモジュールを、前記ストレージ仮想化手段が前記アクセス要求を送信するセントラライズドモジュールとして設定するアクセス要求先設定手段と、各前記仮想的なストレージ装置毎に、前記アクセス要求の回数を、アクセス対象となる物理ストレージ装置を担当するセントラライズドモジュール毎に計数して記憶部に記憶するアクセス計数手段と、所定のタイミングで起動され、各前記仮想的なストレージ装置毎に、前記記憶部に記憶された前記担当する物理ストレージ装置に対するアクセス要求の回数が最も多い前記セントラライズドモジュールが、前記アクセス要求先設定手段により設定されたアクセス要求を送信するセントラライズドモジュールと異なる場合には、前記記憶部に記憶された前記アクセス要求の回数が最も多いセントラライズドモジュールを、前記ストレージ仮想化手段がアクセス要求を送信するセントラライズドモジュールとして切り替えて設定するアクセス要求先切り替え手段とを有することを特徴とする。
これによれば、コンピュータシステムの実際の運用上で、各仮想的なストレージ装置毎に、担当する物理ストレージ装置に対するアクセス要求の回数が最も多いセントラライズドモジュールを、ストレージ仮想化手段がアクセス要求を送信するセントラライズドモジュールとして切り替えて設定するから、より実際の運用上での多くのアクセス要求を、当該セントラライズドモジュールの担当の物理ストレージ装置に対応するものとすることができる。
本発明に係るコンピュータシステムおよびストレージ仮想化装置によれば、各仮想的なストレージ装置へのアクセスに対応するアクセス要求の多くを、そのアクセス要求を受ける物理ストレージ装置を担当するセントラライズドモジュールに送信することができるため、セントラライズドモジュール間の通信の発生を抑止し、ストレージシステムにアクセス要求を高速に処理させることができる。
本発明に係るコンピュータシステムおよびストレージ仮想化装置を実施するための最良の形態を説明する。
本実施の形態に係るストレージ仮想化装置を用いたコンピュータシステムの構成を、図1の説明図に示す。図1の、本実施の形態に係るコンピュータシステムは、複数のホストコンピュータ11a,11bと、複数の物理ストレージ装置X,Y,Zを有するストレージシステム13とを備える。
本実施の形態に係るコンピュータシステムの基本的な構成は、前述の図5のコンピュータシステムの構成とほぼ同様であり、本実施の形態の構成において、図5の構成と異なる点は、図5におけるファイバーチャネルスイッチ10が、本実施の形態に係るストレージ仮想化装置としてのファイバーチャネルスイッチSに置き換わった点である。
図1において、複数のホストコンピュータ11a,11b、および、ストレージシステム13の複数のセントラライズドモジュールCM1,CM2のそれぞれは、ストレージ仮想化装置としてのファイバーチャネルスイッチSに、その接続手段12a〜12jを介して、ファイバーチャネル(FC)により接続される。
(ストレージシステム13)
本コンピュータシステムにおいて、ストレージシステム13は、物理ストレージ装置X,Y,Zにアクセスする複数のセントラライズドモジュールCM1,CM2を有する。ストレージシステム13においては、各物理ストレージ装置X,Y,Z毎に、それぞれアクセスを担当するセントラライズドモジュールが予め定められている。図1の例においては、物理ストレージ装置XおよびYへのアクセスを担当するセントラライズドモジュールはCM1に設定され、物理ストレージ装置Zへのアクセスを担当するセントラライズドモジュールはCM2に設定されている(図1において、各セントラライズドモジュールの担当する物理ストレージ装置へのパスは実線で示され、各セントラライズドモジュールの担当でない物理ストレージ装置へのパスは破線で示されている)。
各セントラライズドモジュールCM1,CM2は、担当する物理ストレージ装置の記録内容に対応するキャッシュメモリを有し、担当する物理ストレージ装置に対するアクセスを、キャッシュメモリを活用して迅速に行うことができる。
セントラライズドモジュールCM1は、外部(ファイバーチャネルスイッチS)に接続されたパス15から、担当する物理ストレージ装置XまたはYへのアクセス要求を受けると、物理ストレージ装置XまたはYにアクセスを行う。
また、セントラライズドモジュールCM1は、外部(ファイバーチャネルスイッチS)に接続されたパス15から、担当でない物理ストレージ装置Zへのアクセス要求を受けた場合には、物理ストレージ装置Zの担当のセントラライズドモジュールCM2へ、そのアクセス要求を転送する。すなわち、ストレージシステム13は、セントラライズドモジュールCM1−CM2間で通信を行って、アクセス要求を担当のセントラライズドモジュールCM2に転送するよう制御を行う。
このように、ストレージシステム13は、各物理ストレージ装置に対して、常に担当のセントラライズドモジュールがアクセスを行うよう構成されている。
なお、図1中、破線で示すように、ストレージシステム13の各セントラルモジュールCM1,CM2には、担当でない物理ストレージ装置に対してもパスが接続されている。これは、例えば、セントラライズドモジュールの一つCM1が故障した場合に、他の(担当でない)セントラライズドモジュールCM2を介しても物理ストレージ装置Xにアクセスが可能となるよう、冗長性を持たせたシステム構成とされているものである。
(ストレージ仮想化装置としてのファイバーチャネルスイッチS)
本実施の形態に係るストレージ仮想化装置としてのファイバーチャネルスイッチSについて説明する。
ファイバーチャネルスイッチSは、各ホストコンピュータ11a,11bおよび各セントラライズドモジュールCM1,CM2に接続する複数の接続手段12a〜12jを備える。接続手段12a〜12jは、ファイバーチャネルインターフェイスであり、各ホストコンピュータ11a,11bおよび各セントラライズドモジュールCM1,CM2と、それぞれ、ファイバーチャネルに対応した同軸ケーブルまたは光ファイバーケーブルから成るケーブルを介して接続される。
図2は、本実施の形態に係るストレージ仮想化装置としてのファイバーチャネルスイッチSの構成を示すブロック図である。
ファイバーチャネルスイッチSは、CPUやその他のLSIやメモリ等から成る制御部21を備える。制御部21は、CPUによりROMに記録されたファームウェアプログラムを実行したり、LSIの機能を実行したりすることにより、ストレージ仮想化手段22、最大容量担当選択手段24、最多担当選択手段26、アクセス計数手段28、アクセス要求先設定手段30a、および、アクセス要求先切り替え手段30bを実現する。
(ストレージ仮想化手段22)
ストレージ仮想化手段22は、図1および図2の例で示すように、複数の物理ストレージ装置X,Y,Zの記憶領域の一部または全部を組み合わせて仮想的なストレージ装置A,Bとして構成し、その仮想的なストレージ装置A,Bを、ホストコンピュータ11a,11bに認識させる。すなわち、ホストコンピュータ11a,11bは、ファイバーチャネルスイッチSを介して、仮想的なストレージ装置A,Bに対して、通常の物理ストレージ装置にアクセスするのと同様にアクセスすることができる。
図1の例においては、ファイバーチャネルスイッチSは、物理ストレージ装置Zの一部z1と、物理ストレージ装置Yの一部y1と、物理ストレージ装置Xの一部x1とを組み合わせて、仮想的なストレージ装置Aを構成し、また、物理ストレージ装置Zの一部z2と、物理ストレージ装置Yの一部y2と、物理ストレージ装置Xの一部x2とを組み合わせて、仮想的なストレージ装置Bを構成し、その仮想的なストレージ装置A,Bを、接続された各ホストコンピュータ11a,11bにアクセス可能に提供している。
なお、ストレージ仮想化装置としてのファイバーチャネルスイッチSによる仮想的なストレージ装置の構成は、この例に限定されるものではなく、接続された多数の物理ストレージ装置の記憶領域の全部または一部を、自由に組み合わせて、仮想的なストレージ装置を構成することができる。
ストレージ仮想化手段22は、ホストコンピュータ11a,11bから入力された仮想的なストレージ装置A,Bに対するアクセス信号に基づいて、パス15,16およびセントラライズドモジュールCM1,CM2を通じて物理ストレージ装置X,Y,Zの対応する実際の記憶領域にアクセスする。
(最大容量担当選択手段24)
最大容量担当選択手段24は、各仮想的なストレージ装置毎に、セントラライズドモジュールCM1,CM2のうち、係る仮想的なストレージ装置の記憶領域に対応する物理ストレージ装置の記憶領域の最も多くの容量を担当するセントラライズドモジュールを選択する。
図1の例を用いて具体的に説明する。
最大容量担当選択手段24は、まず、仮想的なストレージ装置Aの各物理ストレージ装置X,Y,Zに対応する記憶領域x1,y1,z1の各記憶容量を示す情報を、ストレージ仮想化手段22から取得する。図1の例では、記憶領域x1の容量が40G(ギガ)バイト、記憶領域y1の容量が30Gバイト、記憶領域z1の容量が90Gバイトである。
次に、最大容量担当選択手段24は、前記各記憶領域x1,y1,z1に対する、各セントラライズドモジュールCM1,CM2の担当分の容量を算出する。すなわち、セントラライズドモジュールCM1は、物理ストレージ装置X,Yの記憶領域x1,y1を担当しているから、その担当する容量は、x1の40Gバイトとy1の30Gバイトとを足し合わせた70Gバイトとなる。他方のセントラライズドモジュールCM2は、物理ストレージ装置Zの記憶領域z1を担当しているから、その担当する容量は、z1の90Gバイトとなる。
最大容量担当選択手段24は、セントラライズドモジュールCM1の担当する容量70Gバイトと、セントラライズドモジュールCM2の担当する容量90Gバイトとを比較して、係る仮想的なストレージ装置Aの記憶領域の最も多くの容量を担当するセントラライズドモジュールCM2を選択する。
同様に、最大容量担当選択手段24は、仮想的なストレージ装置Bについても同様の処理を行い、セントラライズドモジュールCM1が担当する記憶領域x2およびy2の容量30Gバイト+50Gバイト=80Gバイトと、セントラライズドモジュールCM2が担当する記憶領域z2の容量40Gバイトとを比較して、係る仮想的なストレージ装置Bの記憶領域の最も多くの容量を担当するセントラライズドモジュールCM1を選択する。
(アクセス要求先設定手段30a)
アクセス要求先設定手段30aは、各仮想的なストレージ装置毎に、最大容量担当選択手段24により選択されたセントラライズドモジュールを、ストレージ仮想化手段22が前記アクセス要求を送信するセントラライズドモジュールとして設定する。
すなわち、図1の例においては、アクセス要求先設定手段30aは、ストレージ仮想化手段22が仮想的なストレージ装置Aに対応するアクセス要求を送信するセントラライズドモジュールとして、セントラライズドモジュールCM2を設定する。また、仮想的なストレージ装置Bについては、ストレージ仮想化手段22が仮想的なストレージ装置Bに対応するアクセス要求を送信するセントラライズドモジュールとして、セントラライズドモジュールCM1を設定する。
本実施の形態に係るストレージ仮想化装置としてのファイバーチャネルスイッチSで、最大容量担当選択手段24およびアクセス要求先設定手段30aを用いることによれば、各仮想的なストレージ装置の最も大きな容量を占める記憶領域を担当するセントラライズドモジュールに対してアクセス要求を行うことになるから、アクセス要求の多くが、対応する記憶領域の属する物理ストレージ装置の担当のセントラライズドモジュールに対して送信されることが期待できる。したがって、セントラライズドモジュール間の前記転送のための通信を少なく抑えて、ストレージシステム13のアクセス性能を活かした運用が可能となる。
なお、最大容量担当選択手段24およびアクセス要求先設定手段30aを実行するタイミングは、ユーザーがファイバーチャネルスイッチSに対して仮想的なストレージ装置の構成を定義する操作を完了したときが望ましい。このとき、ファイバーチャネルスイッチSの制御部21が最大容量担当選択手段24およびアクセス要求先設定手段30aを自動的に実行する構成としてもよいし、ユーザーの操作により当該手段24および30aを実行するよう構成してもよい。
さて、ファイバーチャネルスイッチSに、最大容量担当選択手段24に替えて、またはさらに加えて、最多担当選択手段26や、アクセス計数手段28およびアクセス要求先切り替え手段30b(図2参照)を設けてもよい。
最多担当選択手段26、アクセス計数手段28およびアクセス要求先切り替え手段30bについて次に説明する。
(最多担当選択手段26)
最多担当選択手段26は、各仮想的なストレージ装置毎に、セントラライズドモジュールCM1,CM2のうち、係る仮想的なストレージ装置の記憶領域に対応する最も多数の物理ストレージ装置を担当するセントラライズドモジュールを選択する。
図1の例を用いて具体的に説明する。
最多担当選択手段26は、まず、仮想的なストレージ装置Aの記憶領域x1,y1,z1に対応する物理ストレージ装置を表す情報を、ストレージ仮想化手段22から取得する。この例では、物理ストレージ装置X,Y,Zである。
そして、最多担当選択手段26は、この3つの物理ストレージ装置X,Y,Zのうちの最も多数の物理ストレージ装置を担当するセントラライズドモジュールを選択する。この例では、セントラライズドモジュールCM1は2つの物理ストレージ装置X,Yのを担当し、セントラライズドモジュールCM2は1つの物理ストレージ装置Zを担当しているから、最多担当選択手段26は、係る仮想的なストレージ装置Aの記憶領域に対応する最も多数の物理ストレージ装置を担当するセントラライズドモジュールCM1を選択する。
同様に、最多担当選択手段26は、仮想的なストレージ装置Bについても同様の処理を行い、係る仮想的なストレージ装置Bの記憶領域に対応する最も多数の物理ストレージ装置を担当するセントラライズドモジュールとして、同様に3つの物理ストレージ装置X,Y,Zのうちの2つの物理ストレージ装置X,Yを担当するセントラライズドモジュールCM1を選択する。
なお、本例においては、両仮想的なストレージ装置A,Bが、全ての物理ストレージ装置X,Y,Zの記憶領域を用いているために、最多担当選択手段26は両者とも同様にセントラライズドモジュールCM1を選択する結果となるが、本発明において、各仮想的なストレージ装置が、必ずしも同じ物理ストレージ装置の組み合わせに対応するとは限らないため、各仮想的なストレージ装置毎に、最多担当選択手段26に選択されるセントラライズドモジュールが異なる場合もある。
(アクセス要求先設定手段30a)
さて、最多担当選択手段26を用いる場合、アクセス要求先設定手段30aは、各仮想的なストレージ装置毎に、最多担当選択手段26により選択されたセントラライズドモジュールを、ストレージ仮想化手段22が前記アクセス要求を送信するセントラライズドモジュールとして設定する。
すなわち、図1の例においては、アクセス要求先設定手段30aは、ストレージ仮想化手段22が仮想的なストレージ装置AおよびBに対応するアクセス要求を送信するセントラライズドモジュールとして、セントラライズドモジュールCM1を設定する。
本実施の形態に係るストレージ仮想化装置としてのファイバーチャネルスイッチSで、最多担当選択手段26およびアクセス要求先設定手段30aを用いることによれば、各仮想的なストレージ装置の記憶領域を構成する最も多くの物理ストレージ装置を担当するセントラライズドモジュールに対してアクセス要求を行うことになるから、アクセス要求の多くが、対応する記憶領域の属する物理ストレージ装置の担当のセントラライズドモジュールに対して送信されることが期待できる。したがって、セントラライズドモジュール間の前記転送のための通信を少なく抑えて、ストレージシステム13のアクセス性能を活かした運用が可能となる。
次に、アクセス計数手段28およびアクセス要求先切り替え手段30bについて説明する。
(アクセス計数手段28)
アクセス計数手段28は、各仮想的なストレージ装置毎に、前記アクセス要求の回数を、アクセス対象となる物理ストレージ装置を担当するセントラライズドモジュール毎に計数して記憶部32に記憶する。
図1の例を用いて具体的に説明する。
アクセス計数手段28は、例えば、ストレージ仮想化手段22が、仮想的なストレージ装置Aの領域z1に対応するアクセス要求を行う場合には、記憶部32に記憶された、そのアクセス対象となる物理ストレージ装置Zを担当するセントラライズドモジュールCM2のアクセス回数の情報32dを、カウントアップする。また、例えば、仮想的なストレージ装置Bの領域y2に対応するアクセス要求があった場合には、記憶部32に記憶された、そのアクセス対象となる物理ストレージ装置Yを担当するセントラライズドモジュールCM1のアクセス回数の情報32aを、カウントアップする。
なお、このとき、アクセス要求先設定手段30aによるアクセス要求先の設定は考慮しない。
この処理により、アクセス計数手段28は、各仮想的なストレージ装置毎に、前記アクセス要求の回数を、アクセス対象となる物理ストレージ装置を担当するセントラライズドモジュール毎に計数して記憶部32に記憶することとなる。
(アクセス要求先切り替え手段30b)
アクセス要求先切り替え手段30bは、所定のタイミングで起動され、各仮想的なストレージ装置毎に、記憶部32に記憶された前記アクセス要求の回数が最も多い前記セントラライズドモジュールが、アクセス要求先設定手段30aにより設定されたアクセス要求を送信するセントラライズドモジュールと異なる場合には、記憶部32に記憶された前記アクセス要求の回数が最も多いセントラライズドモジュールを、ストレージ仮想化手段22がアクセス要求を送信するセントラライズドモジュールとして切り替えて設定する。
例えば、図1の例において、コンピュータシステムの構築時に、最大容量担当選択手段24が実行されて、仮想的なストレージ装置Aに関して、アクセス要求を送信するセントラライズドモジュールが、CM2に設定されていたものとする。
その後、コンピュータシステムを運用すると、アクセス計数手段28により、各セントラライズドモジュールの担当の物理ストレージ装置に対するアクセス要求の回数が計数(カウント)されて記憶部32に記憶される。
アクセス要求先切り替え手段30bは、所定のタイミング、例えば、1日毎もしくは1週間毎等の定期的なタイミング、または、ユーザーが所定の操作を行ったタイミング等で起動され、記憶部32(32a,32b)を参照して、仮想的なストレージ装置Aに関して、前記アクセス要求の回数が最も多いセントラライズドモジュールを特定する。
ここで、最大容量担当選択手段24によりシステム構築時に選択されたセントラライズドモジュールCM2は、仮想的なストレージ装置Aの記憶容量に占める担当分の容量に基づいて選択されたものである。すなわち、セントラライズドモジュールCM1の担当分の記憶領域x1,y1の容量の合計よりも、セントラライズドモジュールCM2の担当分の記憶領域z1の容量の方が大きかったために選択されたものである。
しかしながら、コンピュータシステムの実際の運用上、領域z1に対するアクセス要求の回数が、記憶領域x1およびy1に対するアクセス要求の回数よりも多いとは限らないため、記憶部32(32a,32b)に記憶された値が、セントラライズドモジュールCM1の方が大きいことがあり得る。すなわち、コンピュータシステムの運用上、セントラライズドモジュールCM1の担当する物理ストレージ装置X,Yに対するアクセス要求の回数の方が、セントラライズドモジュールCM2の担当する物理ストレージ装置Zに対するアクセス要求の回数より大きい場合がある。
アクセス要求先切り替え手段30bは、この場合に、アクセス要求先設定手段30aにより設定されたアクセス要求を送信するセントラライズドモジュールCM2に替えて、記憶部32に記憶された前記アクセス要求の回数が最も多いセントラライズドモジュールCM1を、ストレージ仮想化手段22がアクセス要求を送信するセントラライズドモジュールとして切り替えて設定する。
アクセス要求先切り替え手段30bは、仮想的なストレージ装置Bについても、同様の処理を行う。
本実施の形態に係るストレージ仮想化装置としてのファイバーチャネルスイッチSで、アクセス計数手段28およびアクセス要求先切り替え手段30bを用いることによれば、コンピュータシステムの実際の運用上でアクセス要求の多い物理ストレージ装置の担当のセントラライズドモジュールを、前記アクセス要求を送信するセントラライズドモジュールとして切り替えて設定することができる。
なお、本実施の形態において、最大容量担当選択手段24を用いる場合と、最多担当選択手段26を用いる場合と、アクセス計数手段28を用いる場合とでは、前述の通り、仮想的なストレージ装置に対応するセントラライズドモジュールとして、異なったセントラライズドモジュールが選択されることがある。
本発明においては、あくまで担当のセントラライズドモジュールにアクセス要求の多くが送信されることが期待できるよう、アクセス要求を送信するセントラライズドモジュールを選択するものであり、前記の違いは、その選択の条件として、対応する記憶領域の容量を採用するか、対応する物理ストレージ装置の個数を採用するか、実際の運用上のアクセス回数を採用するかの違いから生じるものである。これは、必ずしもいずれかの方法が優れているといったものでなく、より担当のセントラライズドモジュールへのアクセス頻度が上がるよう、コンピュータシステムの特質等に合わせて、いずれの方法を用いるか適宜選択することが望ましい。
なお、本発明は、最大容量担当選択手段と、最多担当選択手段と、アクセス計数手段との全てを備えるストレージ仮想化装置およびそれを用いたコンピュータシステムに限定されるものではなく、いずれか一つのみを備えるものも含むものである。
本発明の実施の形態に係るコンピュータシステムの構成の説明図である。 本発明の実施の形態に係るストレージ仮想化装置の構成を示すブロック図である。 従来のコンピュータシステムのシステム構成を示すブロック図である。 従来のコンピュータシステムのシステム構成を示すブロック図である。 従来のコンピュータシステムのシステム構成を示すブロック図である。
符号の説明
S ファイバーチャネルスイッチ(ストレージ仮想化装置)
A,B 仮想的なストレージ装置
X,Y,Z 物理ストレージ装置
CM1,CM2 セントラライズドモジュール
11a,11b ホストコンピュータ
12a〜12j 接続手段
13 ストレージシステム
21 制御部
22 ストレージ仮想化手段
24 最大容量担当選択手段
26 最多担当選択手段
28 アクセス計数手段
30a アクセス要求先設定手段
30b アクセス要求先切り替え手段
32 記憶部

Claims (8)

  1. ホストコンピュータと、
    複数の物理ストレージ装置、および、該物理ストレージ装置にアクセスする複数のセントラライズドモジュールを有し、各物理ストレージ装置毎に、それぞれアクセスを担当するセントラライズドモジュールが予め定められて成るストレージシステムとを備えるコンピュータシステムにおいて、
    前記ホストコンピュータおよび各前記セントラライズドモジュールに接続する複数の接続手段と、
    前記複数の物理ストレージ装置の記憶領域の一部または全部を組み合わせて単数または複数の仮想的なストレージ装置として構成するとともに、該仮想的なストレージ装置を前記ホストコンピュータにアクセス可能に提供し、ホストコンピュータから仮想的なストレージ装置にアクセスが行われた際には、前記セントラライズドモジュールのうちの一つに、該仮想的なストレージ装置のアクセス領域に対応する各物理的なストレージ装置の記憶領域にアクセスすることを要求するアクセス要求を送信するストレージ仮想化手段と、
    各前記仮想的なストレージ装置毎に、前記セントラライズドモジュールのうち、係る仮想的なストレージ装置の記憶領域に対応する前記物理ストレージ装置の記憶領域の最も多くの容量を担当するセントラライズドモジュールを選択する最大容量担当選択手段と、
    各前記仮想的なストレージ装置毎に、前記最大容量担当選択手段により選択されたセントラライズドモジュールを、前記ストレージ仮想化手段が前記アクセス要求を送信するセントラライズドモジュールとして設定するアクセス要求先設定手段とを有するストレージ仮想化装置を備えることを特徴とするコンピュータシステム。
  2. ホストコンピュータと、
    複数の物理ストレージ装置、および、該物理ストレージ装置にアクセスする複数のセントラライズドモジュールを有し、各物理ストレージ装置毎に、それぞれアクセスを担当するセントラライズドモジュールが予め定められて成るストレージシステムとを備えるコンピュータシステムにおいて、
    前記ホストコンピュータおよび各前記セントラライズドモジュールに接続する複数の接続手段と、
    前記複数の物理ストレージ装置の記憶領域の一部または全部を組み合わせて単数または複数の仮想的なストレージ装置として構成するとともに、該仮想的なストレージ装置を前記ホストコンピュータにアクセス可能に提供し、ホストコンピュータから仮想的なストレージ装置にアクセスが行われた際には、前記セントラライズドモジュールのうちの一つに、該仮想的なストレージ装置のアクセス領域に対応する各物理的なストレージ装置の記憶領域にアクセスすることを要求するアクセス要求を送信するストレージ仮想化手段と、
    各前記仮想的なストレージ装置毎に、前記セントラライズドモジュールのうち、係る仮想的なストレージ装置の記憶領域に対応する最も多数の前記物理ストレージ装置を担当するセントラライズドモジュールを選択する最多担当選択手段と、
    各前記仮想的なストレージ装置毎に、前記最多担当選択手段により選択されたセントラライズドモジュールを、前記ストレージ仮想化手段が前記アクセス要求を送信するセントラライズドモジュールとして設定するアクセス要求先設定手段とを有するストレージ仮想化装置を備えることを特徴とするコンピュータシステム。
  3. 前記ストレージ仮想化装置は、
    各前記仮想的なストレージ装置毎に、前記アクセス要求の回数を、アクセス対象となる物理ストレージ装置を担当するセントラライズドモジュール毎に計数して記憶部に記憶するアクセス計数手段と、
    所定のタイミングで起動され、各前記仮想的なストレージ装置毎に、前記記憶部に記憶された前記担当する物理ストレージ装置に対するアクセス要求の回数が最も多い前記セントラライズドモジュールが、前記アクセス要求先設定手段により設定されたアクセス要求を送信するセントラライズドモジュールと異なる場合には、前記記憶部に記憶された前記アクセス要求の回数が最も多いセントラライズドモジュールを、前記ストレージ仮想化手段がアクセス要求を送信するセントラライズドモジュールとして切り替えて設定するアクセス要求先切り替え手段とを有することを特徴とする請求項1または2記載のコンピュータシステム。
  4. ホストコンピュータと、
    複数の物理ストレージ装置、および、該物理ストレージ装置にアクセスする複数のセントラライズドモジュールを有し、各物理ストレージ装置毎に、それぞれアクセスを担当するセントラライズドモジュールが予め定められて成るストレージシステムとを備えるコンピュータシステムにおいて、
    前記ホストコンピュータおよび各前記セントラライズドモジュールに接続する複数の接続手段と、
    前記複数の物理ストレージ装置の記憶領域の一部または全部を組み合わせて単数または複数の仮想的なストレージ装置として構成するとともに、該仮想的なストレージ装置を前記ホストコンピュータにアクセス可能に提供し、ホストコンピュータから仮想的なストレージ装置にアクセスが行われた際には、前記セントラライズドモジュールのうちの一つに、該仮想的なストレージ装置のアクセス領域に対応する各物理的なストレージ装置の記憶領域にアクセスすることを要求するアクセス要求を送信するストレージ仮想化手段と、
    各前記仮想的なストレージ装置毎に、特定の前記セントラライズドモジュールを、前記ストレージ仮想化手段が前記アクセス要求を送信するセントラライズドモジュールとして設定するアクセス要求先設定手段と、
    各前記仮想的なストレージ装置毎に、前記アクセス要求の回数を、アクセス対象となる物理ストレージ装置を担当するセントラライズドモジュール毎に計数して記憶部に記憶するアクセス計数手段と、
    所定のタイミングで起動され、各前記仮想的なストレージ装置毎に、前記記憶部に記憶された前記担当する物理ストレージ装置に対するアクセス要求の回数が最も多い前記セントラライズドモジュールが、前記アクセス要求先設定手段により設定されたアクセス要求を送信するセントラライズドモジュールと異なる場合には、前記記憶部に記憶された前記アクセス要求の回数が最も多いセントラライズドモジュールを、前記ストレージ仮想化手段がアクセス要求を送信するセントラライズドモジュールとして切り替えて設定するアクセス要求先切り替え手段とを有するストレージ仮想化装置を備えることを特徴とするコンピュータシステム。
  5. ホストコンピュータと、
    複数の物理ストレージ装置、および、該物理ストレージ装置にアクセスする複数のセントラライズドモジュールを有し、各物理ストレージ装置毎に、それぞれアクセスを担当するセントラライズドモジュールが予め定められて成るストレージシステムとを備えるコンピュータシステムで用いられるストレージ仮想化装置において、
    前記ホストコンピュータおよび各前記セントラライズドモジュールに接続する複数の接続手段と、
    前記複数の物理ストレージ装置の記憶領域の一部または全部を組み合わせて単数または複数の仮想的なストレージ装置として構成するとともに、該仮想的なストレージ装置を前記ホストコンピュータにアクセス可能に提供し、ホストコンピュータから仮想的なストレージ装置にアクセスが行われた際には、前記セントラライズドモジュールのうちの一つに、該仮想的なストレージ装置のアクセス領域に対応する各物理的なストレージ装置の記憶領域にアクセスすることを要求するアクセス要求を送信するストレージ仮想化手段と、
    各前記仮想的なストレージ装置毎に、前記セントラライズドモジュールのうち、係る仮想的なストレージ装置の記憶領域に対応する前記物理ストレージ装置の記憶領域の最も多くの容量を担当するセントラライズドモジュールを選択する最大容量担当選択手段と、
    各前記仮想的なストレージ装置毎に、前記最大容量担当選択手段により選択されたセントラライズドモジュールを、前記ストレージ仮想化手段が前記アクセス要求を送信するセントラライズドモジュールとして設定するアクセス要求先設定手段とを有することを特徴とするストレージ仮想化装置。
  6. ホストコンピュータと、
    複数の物理ストレージ装置、および、該物理ストレージ装置にアクセスする複数のセントラライズドモジュールを有し、各物理ストレージ装置毎に、それぞれアクセスを担当するセントラライズドモジュールが予め定められて成るストレージシステムとを備えるコンピュータシステムで用いられるストレージ仮想化装置において、
    前記ホストコンピュータおよび各前記セントラライズドモジュールに接続する複数の接続手段と、
    前記複数の物理ストレージ装置の記憶領域の一部または全部を組み合わせて単数または複数の仮想的なストレージ装置として構成するとともに、該仮想的なストレージ装置を前記ホストコンピュータにアクセス可能に提供し、ホストコンピュータから仮想的なストレージ装置にアクセスが行われた際には、前記セントラライズドモジュールのうちの一つに、該仮想的なストレージ装置のアクセス領域に対応する各物理的なストレージ装置の記憶領域にアクセスすることを要求するアクセス要求を送信するストレージ仮想化手段と、
    各前記仮想的なストレージ装置毎に、前記セントラライズドモジュールのうち、係る仮想的なストレージ装置の記憶領域に対応する最も多数の前記物理ストレージ装置を担当するセントラライズドモジュールを選択する最多担当選択手段と、
    各前記仮想的なストレージ装置毎に、前記最多担当選択手段により選択されたセントラライズドモジュールを、前記ストレージ仮想化手段が前記アクセス要求を送信するセントラライズドモジュールとして設定するアクセス要求先設定手段とを有することを特徴とするストレージ仮想化装置。
  7. 各前記仮想的なストレージ装置毎に、前記アクセス要求の回数を、アクセス対象となる物理ストレージ装置を担当するセントラライズドモジュール毎に計数して記憶部に記憶するアクセス計数手段と、
    所定のタイミングで起動され、各前記仮想的なストレージ装置毎に、前記記憶部に記憶された前記担当する物理ストレージ装置に対するアクセス要求の回数が最も多い前記セントラライズドモジュールが、前記アクセス要求先設定手段により設定されたアクセス要求を送信するセントラライズドモジュールと異なる場合には、前記記憶部に記憶された前記アクセス要求の回数が最も多いセントラライズドモジュールを、前記ストレージ仮想化手段がアクセス要求を送信するセントラライズドモジュールとして切り替えて設定するアクセス要求先切り替え手段とを有することを特徴とする請求項5または6記載のストレージ仮想化装置。
  8. ホストコンピュータと、
    複数の物理ストレージ装置、および、該物理ストレージ装置にアクセスする複数のセントラライズドモジュールを有し、各物理ストレージ装置毎に、それぞれアクセスを担当するセントラライズドモジュールが予め定められて成るストレージシステムとを備えるコンピュータシステムで用いられるストレージ仮想化装置において、
    前記ホストコンピュータおよび各前記セントラライズドモジュールに接続する複数の接続手段と、
    前記複数の物理ストレージ装置の記憶領域の一部または全部を組み合わせて単数または複数の仮想的なストレージ装置として構成するとともに、該仮想的なストレージ装置を前記ホストコンピュータにアクセス可能に提供し、ホストコンピュータから仮想的なストレージ装置にアクセスが行われた際には、前記セントラライズドモジュールのうちの一つに、該仮想的なストレージ装置のアクセス領域に対応する各物理的なストレージ装置の記憶領域にアクセスすることを要求するアクセス要求を送信するストレージ仮想化手段と、
    各前記仮想的なストレージ装置毎に、特定の前記セントラライズドモジュールを、前記ストレージ仮想化手段が前記アクセス要求を送信するセントラライズドモジュールとして設定するアクセス要求先設定手段と、
    各前記仮想的なストレージ装置毎に、前記アクセス要求の回数を、アクセス対象となる物理ストレージ装置を担当するセントラライズドモジュール毎に計数して記憶部に記憶するアクセス計数手段と、
    所定のタイミングで起動され、各前記仮想的なストレージ装置毎に、前記記憶部に記憶された前記担当する物理ストレージ装置に対するアクセス要求の回数が最も多い前記セントラライズドモジュールが、前記アクセス要求先設定手段により設定されたアクセス要求を送信するセントラライズドモジュールと異なる場合には、前記記憶部に記憶された前記アクセス要求の回数が最も多いセントラライズドモジュールを、前記ストレージ仮想化手段がアクセス要求を送信するセントラライズドモジュールとして切り替えて設定するアクセス要求先切り替え手段とを有することを特徴とするストレージ仮想化装置。
JP2005375506A 2005-12-27 2005-12-27 コンピュータシステムおよびストレージ仮想化装置 Expired - Fee Related JP4474356B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005375506A JP4474356B2 (ja) 2005-12-27 2005-12-27 コンピュータシステムおよびストレージ仮想化装置
US11/277,648 US7441009B2 (en) 2005-12-27 2006-03-28 Computer system and storage virtualizer

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005375506A JP4474356B2 (ja) 2005-12-27 2005-12-27 コンピュータシステムおよびストレージ仮想化装置

Publications (2)

Publication Number Publication Date
JP2007179200A true JP2007179200A (ja) 2007-07-12
JP4474356B2 JP4474356B2 (ja) 2010-06-02

Family

ID=38195232

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005375506A Expired - Fee Related JP4474356B2 (ja) 2005-12-27 2005-12-27 コンピュータシステムおよびストレージ仮想化装置

Country Status (2)

Country Link
US (1) US7441009B2 (ja)
JP (1) JP4474356B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008299359A (ja) * 2007-05-29 2008-12-11 Fujitsu Ltd Raid装置及びraid装置のストライプ変換制御方法
JP2012524934A (ja) * 2009-04-23 2012-10-18 ネットアップ,インコーポレーテッド ストレージ・エリア・ネットワーク(「san」)内の仮想ストレージ管理のアクティブ−アクティブ・サポート

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8996647B2 (en) 2010-06-09 2015-03-31 International Business Machines Corporation Optimizing storage between mobile devices and cloud storage providers
US8489809B2 (en) 2010-07-07 2013-07-16 International Business Machines Corporation Intelligent storage provisioning within a clustered computing environment
US8756310B2 (en) 2011-03-09 2014-06-17 International Business Machines Corporation Comprehensive bottleneck detection in a multi-tier enterprise storage system
WO2013118194A1 (en) 2012-02-10 2013-08-15 Hitachi, Ltd. Storage system with virtual volume having data arranged astride storage devices, and volume management method
US9229645B2 (en) * 2012-02-10 2016-01-05 Hitachi, Ltd. Storage management method and storage system in virtual volume having data arranged astride storage devices

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07152491A (ja) * 1993-11-29 1995-06-16 Hitachi Ltd 仮想ディスクシステム
JPH11296313A (ja) * 1998-04-10 1999-10-29 Hitachi Ltd 記憶サブシステム
JPH11312058A (ja) * 1998-04-28 1999-11-09 Hitachi Ltd 記憶サブシステム
JP2001022530A (ja) * 1999-07-08 2001-01-26 Hitachi Ltd ディスク制御装置
JP2002123479A (ja) * 2000-10-17 2002-04-26 Hitachi Ltd ディスク制御装置およびそのキャッシュ制御方法
JP2003162377A (ja) * 2001-11-28 2003-06-06 Hitachi Ltd ディスクアレイシステム及びコントローラ間での論理ユニットの引き継ぎ方法
WO2003075161A1 (fr) * 2002-03-07 2003-09-12 Fujitsu Limited Dispositif et procede de gestion de conversion de systeme de virtualisation de memoire
JP2003345524A (ja) * 2002-05-22 2003-12-05 Hitachi Ltd 記憶制御装置の制御方法及び記憶制御装置
JP2004264948A (ja) * 2003-02-28 2004-09-24 Fujitsu Ltd ストレージ制御装置及びその制御方法
JP2005078507A (ja) * 2003-09-02 2005-03-24 Hitachi Ltd 仮想化制御装置、アクセス経路制御方法及び計算機システム
US6889294B1 (en) * 2001-10-29 2005-05-03 Lsi Logic Corporation Virtual shared volume via proxy data transfer
JP2005266933A (ja) * 2004-03-16 2005-09-29 Fujitsu Ltd ストレージ管理システム及びストレージ管理方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003044421A (ja) 2001-07-26 2003-02-14 Fujitsu Ltd 仮想ストレージシステム及び同システムに使用されるスイッチングノード
US7433948B2 (en) * 2002-01-23 2008-10-07 Cisco Technology, Inc. Methods and apparatus for implementing virtualization of storage within a storage area network
US7409583B2 (en) * 2002-10-07 2008-08-05 Hitachi, Ltd. Volume and failure management method on a network having a storage device
JP4438457B2 (ja) * 2003-05-28 2010-03-24 株式会社日立製作所 記憶領域割当方法、システム及び仮想化装置
JP4253224B2 (ja) * 2003-07-02 2009-04-08 株式会社日立製作所 アドレス管理方法および装置
JP4080970B2 (ja) * 2003-07-30 2008-04-23 株式会社日立製作所 パス切替えを提供するスイッチ
JP2005115506A (ja) * 2003-10-06 2005-04-28 Hitachi Ltd ストレージシステム
US7669032B2 (en) * 2003-11-26 2010-02-23 Symantec Operating Corporation Host-based virtualization optimizations in storage environments employing off-host storage virtualization
US20050114595A1 (en) * 2003-11-26 2005-05-26 Veritas Operating Corporation System and method for emulating operating system metadata to provide cross-platform access to storage volumes
US20050198186A1 (en) * 2004-01-20 2005-09-08 Mor Griv Method for automatic discovering of logical units and storage devices connected to a virtualization switch

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07152491A (ja) * 1993-11-29 1995-06-16 Hitachi Ltd 仮想ディスクシステム
JPH11296313A (ja) * 1998-04-10 1999-10-29 Hitachi Ltd 記憶サブシステム
JPH11312058A (ja) * 1998-04-28 1999-11-09 Hitachi Ltd 記憶サブシステム
JP2001022530A (ja) * 1999-07-08 2001-01-26 Hitachi Ltd ディスク制御装置
JP2002123479A (ja) * 2000-10-17 2002-04-26 Hitachi Ltd ディスク制御装置およびそのキャッシュ制御方法
US6889294B1 (en) * 2001-10-29 2005-05-03 Lsi Logic Corporation Virtual shared volume via proxy data transfer
JP2003162377A (ja) * 2001-11-28 2003-06-06 Hitachi Ltd ディスクアレイシステム及びコントローラ間での論理ユニットの引き継ぎ方法
WO2003075161A1 (fr) * 2002-03-07 2003-09-12 Fujitsu Limited Dispositif et procede de gestion de conversion de systeme de virtualisation de memoire
JP2003345524A (ja) * 2002-05-22 2003-12-05 Hitachi Ltd 記憶制御装置の制御方法及び記憶制御装置
JP2004264948A (ja) * 2003-02-28 2004-09-24 Fujitsu Ltd ストレージ制御装置及びその制御方法
JP2005078507A (ja) * 2003-09-02 2005-03-24 Hitachi Ltd 仮想化制御装置、アクセス経路制御方法及び計算機システム
JP2005266933A (ja) * 2004-03-16 2005-09-29 Fujitsu Ltd ストレージ管理システム及びストレージ管理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008299359A (ja) * 2007-05-29 2008-12-11 Fujitsu Ltd Raid装置及びraid装置のストライプ変換制御方法
JP2012524934A (ja) * 2009-04-23 2012-10-18 ネットアップ,インコーポレーテッド ストレージ・エリア・ネットワーク(「san」)内の仮想ストレージ管理のアクティブ−アクティブ・サポート

Also Published As

Publication number Publication date
US20070150590A1 (en) 2007-06-28
JP4474356B2 (ja) 2010-06-02
US7441009B2 (en) 2008-10-21

Similar Documents

Publication Publication Date Title
JP4383132B2 (ja) 仮想化制御装置及び計算機システム
JP6958440B2 (ja) 情報処理装置、情報処理システム及びプログラム
JP4474356B2 (ja) コンピュータシステムおよびストレージ仮想化装置
JP2008546049A (ja) 宛先ディスクへのアクセス方法とディスク容量拡張システム及びディスクアレイ
JPWO2008117470A1 (ja) 仮想計算機制御プログラム、仮想計算機制御システムおよび仮想計算機移動方法
JP6484965B2 (ja) ストレージ装置、ファームウェアの更新方法、およびファームウェアの更新プログラム
JP2007065751A (ja) ストレージシステム及び記憶制御方法
JP2006018689A (ja) ストレージ制御装置、そのクラスタ間データ通信方法、及びそのクラスタ間通信制御プログラム
US9003077B2 (en) Sharing IOMMU mappings across devices in a DMA group
JP2019095971A (ja) ストレージシステム、ストレージ制御装置およびプログラム
JP4332126B2 (ja) キャッシング制御プログラム、キャッシング制御装置およびキャッシング制御方法
JP2014026529A (ja) ストレージシステムおよびその制御方法
US10397096B2 (en) Path resolution in InfiniBand and ROCE networks
WO2016082078A1 (zh) 路径管理的系统、装置和方法
JP2004318741A (ja) ネットワーク管理プログラム、管理計算機及び管理方法
US20050044221A1 (en) Method, system, and program for processing a packet to transmit on a network in a host system including a plurality of network adaptors having multiple ports
JP2003345512A (ja) ディスク制御装置
JP2005267545A (ja) ストレージシステム
WO2015092973A1 (ja) 情報処理装置及びトラフィック制御方法
JP6331944B2 (ja) 情報処理装置、メモリ制御装置及び情報処理装置の制御方法
JP5754504B2 (ja) 管理装置、情報処理装置、情報処理システム及びデータ転送方法
CN110471627B (zh) 一种共享存储的方法、系统及装置
US20110103397A1 (en) Two-phase arbitration mechanism for a shared optical links
CN108696427A (zh) 一种数据传输方法及装置
JP2007004710A (ja) ストレージアクセス方式、データ転送装置、ストレージアクセス方法、及びプログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091124

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100302

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100308

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130312

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140312

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees