JP2008112303A - ストレージ仮想化スイッチ - Google Patents

ストレージ仮想化スイッチ Download PDF

Info

Publication number
JP2008112303A
JP2008112303A JP2006294549A JP2006294549A JP2008112303A JP 2008112303 A JP2008112303 A JP 2008112303A JP 2006294549 A JP2006294549 A JP 2006294549A JP 2006294549 A JP2006294549 A JP 2006294549A JP 2008112303 A JP2008112303 A JP 2008112303A
Authority
JP
Japan
Prior art keywords
virtual target
virtual
state
valid
invalid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006294549A
Other languages
English (en)
Other versions
JP4724640B2 (ja
Inventor
Tetsuya Kinoshita
徹哉 木下
Toshitaka Yanagisawa
敏孝 柳沢
Takaaki Yamato
貴明 大和
Toshiaki Takeuchi
利明 竹内
Jun Takeuchi
順 竹内
Atsushi Shinohara
敦史 篠原
Yusuke Kurasawa
祐輔 倉澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2006294549A priority Critical patent/JP4724640B2/ja
Priority to US11/848,952 priority patent/US7774570B2/en
Publication of JP2008112303A publication Critical patent/JP2008112303A/ja
Application granted granted Critical
Publication of JP4724640B2 publication Critical patent/JP4724640B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0662Virtualisation aspects
    • G06F3/0665Virtualisation aspects at area level, e.g. provisioning of virtual or logical volumes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614Improving the reliability of storage systems
    • G06F3/0617Improving the reliability of storage systems in relation to availability
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/062Securing storage systems
    • G06F3/0622Securing storage systems in relation to access
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629Configuration or reconfiguration of storage systems
    • G06F3/0631Configuration or reconfiguration of storage systems by allocating resources to storage systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629Configuration or reconfiguration of storage systems
    • G06F3/0635Configuration or reconfiguration of storage systems by changing the path, e.g. traffic rerouting, path reconfiguration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0658Controller construction arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】仮想ターゲットの前記有効状態と無効状態との切り替えに伴って、各仮想ターゲットのポートIDが変わってしまうことがなく、これにより、ホストコンピュータが仮想ストレージ装置にアクセスする際に、仮想ターゲットを特定するのに支障が生じることのないストレージ仮想化スイッチを提供する。
【解決手段】仮想ターゲット12a,12b,12cの各々に対応するダミー仮想ターゲット13a,13b,13cを生成させ、仮想ターゲット12aを無効状態に切り替えさせる際には、当該仮想ターゲット12aを無効状態に切り替えさせた後に、当該仮想ターゲット12aに対応するダミー仮想ターゲット13aを有効状態に切り替えさせ、仮想ターゲット12aを有効状態に切り替えさせる際には、当該仮想ターゲット12aに対応するダミー仮想ターゲット13aを無効状態に切り替えさせた後に、当該仮想ターゲット12aを有効状態に切り替えさせる。
【選択図】図3

Description

本発明は、単数または複数のホストコンピュータおよび物理ストレージ装置を、それぞれ接続可能な複数の物理ポートと、前記単数または複数の物理ストレージ装置の記憶領域の一部または全部を組み合わせて、単数または複数の仮想ストレージ装置として構成するストレージ仮想化手段と、前記ホストコンピュータに対して、前記仮想ストレージ装置のターゲットとして振る舞う単数または複数の仮想ターゲットを構成する仮想ターゲット構成手段とを備えるストレージ仮想化スイッチに関する。
複数の磁気ディスク装置等の物理ストレージ装置を使用するコンピュータシステムにおいて、複数の物理ストレージ装置の記憶領域を組み合わせた記憶領域を、仮想的なストレージ装置としてホストコンピュータに認識させるストレージの仮想化技術が用いられている。
特許文献1には、既存のコンピュータシステム(計算機システム)に対してストレージを仮想化するスイッチ(ストレージ仮想化スイッチ)を導入する際に、既存の物理ストレージ装置のポートIDと同じになるように、仮想化スイッチが生成した仮想ストレージ装置にポートIDを割り当てる技術が記載されている。この技術によれば、既存のコンピュータシステムに対してストレージを仮想化するスイッチを導入する際、運用の停止や設定変更を行うことなく、ホストコンピュータ(計算機)が既存の物理ストレージ装置をアクセスする際に用いていたポートIDをそのまま用いて、仮想ストレージ装置に対するアクセスが可能になるものとしている。
さて、図4は、ストレージの仮想化を行う機能を有するストレージ仮想化スイッチを用いたコンピュータシステムAの基本的な構成と概念を示す説明図である。
図4のコンピュータシステムAは、ホストコンピュータ2と、複数の物理ストレージ装置としての磁気ディスク装置4,4を有するディスクエンクロージャ6と、ストレージ仮想化スイッチVa,Vaとを備える。ストレージ仮想化スイッチVa,Vaは、ホストコンピュータ2およびディスクエンクロージャ6とファイバーチャネルインタフェースにより接続可能な複数の物理ポート8,8・・を備える。ストレージ仮想化スイッチVa,Vaは、それぞれ全く同構成に設けられており、これにより、このコンピュータシステムAはいわゆる冗長さを持った構成となっている。
図5に、ストレージ仮想化スイッチVaの内部構成を示す。
ストレージ仮想化スイッチVaは、CPUやメモリ等から成る制御部20を備える。制御部20は、CPUによりROMに記録されたファームウェアプログラムを実行することにより、ストレージ仮想化手段22、および仮想ターゲット有効/無効制御手段24として機能する。
また、ストレージ仮想化スイッチVaは、CPUやその他のLSIやメモリ等から成り、CPUによりROMに記録されたファームウェアプログラムを実行したり、LSIの機能を実行したりすることにより機能する仮想ターゲット構成手段30を備える。
ストレージ仮想化手段22は、ディスクエンクロージャ6の磁気ディスク装置4,4の記憶領域の一部または全部を組み合わせて、単数または複数の仮想ストレージ装置10,10・・として構成する(図4参照)。
仮想ターゲット構成手段30は、ホストコンピュータ2に対して、仮想ストレージ装置10,10・・のターゲットとして振る舞う、仮想ターゲット12a,12b,12cを構成する(図4参照)。
また、仮想ターゲット有効/無効制御手段24は、磁気ディスク装置4,4の状態、および磁気ディスク装置4,4に接続するパスの状態を監視し、障害の発生状態の変化に応じて、仮想ターゲット構成手段30に、当該変化の生じた磁気ディスク装置4,4またはパスに対応する仮想ターゲットの状態を、ホストコンピュータ2に対して接続を許可する有効状態、および接続を許可しない無効状態のいずれかに切り替えさせる制御を行う。
仮想ターゲット構成手段30は、仮想ターゲット有効/無効制御手段24の指示に従って仮想ターゲットを前記有効状態に切り替えた際には、当該仮想ターゲットにポートIDを割り振る。また、仮想ターゲット構成手段30は、仮想ターゲットを前記無効状態に切り替えた際には、当該仮想ターゲットに割り振られているポートIDを、他の仮想ターゲットに割り振り可能な状態に解放する制御を行う。
この、仮想ターゲット有効/無効制御手段24および仮想ターゲット構成手段30の制御について、具体的に説明する。
まず、仮想ターゲット有効/無効制御手段24は、コンピュータシステムAが立ち上げられた際に、磁気ディスク装置4,4の状態、および磁気ディスク装置4,4に接続するパスの状態を調べ、特に障害が発生していない場合には、仮想ターゲット構成手段30に、仮想ターゲット12a,12b,12cの状態を、ホストコンピュータ2に対して接続を許可する有効状態に切り替えさせるよう指示を行う。
仮想ターゲット構成手段30は、この指示に従って、仮想ターゲット12a,12b,12cを、前記有効状態に切り替え、ホストコンピュータ2に対して接続を許可する。
このとき、仮想ターゲット構成手段30は、各仮想ターゲット12a,12b,12cに対して連番となるポートIDをそれぞれ割り振って生成する。図6(a)に、仮想ターゲット12a,12b,12cに割り振られたポートIDの例を示す。なお、本例においては、ポートIDの最上位桁が連番となるよう構成されている。
以降、仮想ターゲット有効/無効制御手段24は、磁気ディスク装置4,4の状態、および磁気ディスク装置4,4に接続するパスの状態を監視し、その状態の変化に応じて、仮想ターゲット構成手段30に、変化の生じた物理ストレージ装置またはパスに対応する仮想ターゲットの状態を切り替えさせるよう指示を行う。
仮想ターゲット構成手段30は、仮想ターゲット有効/無効制御手段24から特定の仮想ターゲットに対して前記無効状態を設定するよう指示された際には、当該仮想ターゲットを前記無効状態に切り替えるとともに、当該仮想ターゲットに割り振られているポートIDを、他の仮想ターゲットに割り振り可能な状態に解放する。
また、仮想ターゲット構成手段30は、仮想ターゲット有効/無効制御手段24により特定の仮想ターゲットが有効状態とされた際には、解放されているポートIDがある場合には、当該解放されているポートIDのうち最も若い番号のポートIDを当該仮想ターゲットに割り振り、解放されているポートIDがない場合には、最後に生成したポートIDの次の連番となるポートIDを新たに生成して、当該仮想ターゲットに割り振る。
ホストコンピュータ2は、ポートIDに基づいて各仮想ターゲット12a,12b,12cを特定して、所望の仮想ストレージ装置10,10・・に対してアクセスを行う。
特開2005−25485号公報
さて、上記のように構成されたストレージ仮想化スイッチにおいて、各仮想ターゲット12a,12b,12cの前記有効状態と無効状態との切り替えに伴って、各仮想ターゲット12a,12b,12cのポートIDが変わってしまうことがある。これにより、ホストコンピュータ2が仮想ストレージ装置10にアクセスする際に仮想ターゲットを特定するのに支障が生じる場合があるという課題がある。
例えば、図6(a)の状態から、仮想ターゲット12a,12cが前記無効状態になると、仮想ターゲット構成手段30は、図6(b)に示すように、ポートID101と301を解放する。
ここで、まず仮想ターゲット12cが再び前記有効状態になると、仮想ターゲット構成手段30は、図6(c)に示すように、解放されているポートID101,301のうち最も若いポートIDである101を、当該仮想ターゲット12cに割り振る。
また、次に仮想ターゲット12aが再び前記有効状態になると、仮想ターゲット構成手段30は、図6(c)に示すように、解放されているポートID301を当該仮想ターゲット12aに割り振る。
すなわち、仮想ターゲット12a,12cの前記無効状態と有効状態との切り替えに伴って、仮想ターゲット12aのポートIDは101から301に変わり、仮想ターゲット12cのポートIDは301から101に変わる。
これでは、ホストコンピュータ2は、ポートIDから所望の仮想ターゲットを特定できない不具合が生じる。
もちろん、この不具合を回避するためには、制御部20上でファームウェアプログラムが実行されて実現される機能が、仮想ターゲット12a〜12cのポートIDを、直接的に書き換えるなどの処理を行えれば良い。
しかしながら、ストレージ仮想化スイッチVaの基本的なスイッチ機能に含まれる仮想ターゲット構成手段30は、ストレージ仮想化スイッチVaにおいてアプリケーション的な役割を果たすストレージ仮想化手段22および仮想ターゲット有効/無効制御手段24を実現する制御部20とは別の、専用のハードウェアによって実現される構成が採られる場合が多く、制御部20からは、仮想ターゲット構成手段30の機能に属するポートIDの制御が行えない構成となっていることがある。
本発明は上記課題を解決すべくなされ、その目的とするところは、仮想ターゲットの前記有効状態と無効状態との切り替えに伴って、各仮想ターゲットのポートIDが変わってしまうことがなく、これにより、ホストコンピュータが仮想ストレージ装置にアクセスする際に、仮想ターゲットを特定するのに支障が生じることのないストレージ仮想化スイッチを提供することにある。
本発明に係るストレージ仮想化スイッチは、上記課題を解決するために、以下の構成を備える。
すなわち、単数または複数のホストコンピュータおよび物理ストレージ装置を、それぞれ接続可能な複数の物理ポートと、前記単数または複数の物理ストレージ装置の記憶領域の一部または全部を組み合わせて、単数または複数の仮想ストレージ装置として構成するストレージ仮想化手段と、前記ホストコンピュータに対して、前記仮想ストレージ装置のターゲットとして振る舞う単数または複数の仮想ターゲットを構成する仮想ターゲット構成手段と、該仮想ターゲット構成手段に、仮想ターゲットを生成させる指示を行う仮想ターゲット生成制御手段と、前記仮想ターゲット構成手段に、各前記仮想ターゲットの状態を、前記ホストコンピュータに対して接続を許可する有効状態、および該接続を許可しない無効状態のいずれかに切り替えさせる指示を行う仮想ターゲット有効/無効制御手段とを備え、前記仮想ターゲット構成手段は、仮想ターゲットを前記有効状態に切り替えた際には、当該仮想ターゲットにポートIDを割り振り、仮想ターゲットを前記無効状態に切り替えた際には、当該仮想ターゲットに割り振られているポートIDを、他の仮想ターゲットに割り振り可能な状態に解放する制御を行うストレージ仮想化スイッチにおいて、前記仮想ターゲット構成手段に、前記仮想ターゲットの各々に対応するダミー仮想ターゲットを生成させる指示を行うダミー仮想ターゲット生成制御手段を備え、前記仮想ターゲット有効/無効制御手段は、仮想ターゲットを無効状態に切り替えさせる際には、当該仮想ターゲットを無効状態に切り替えさせた後に、当該仮想ターゲットに対応するダミー仮想ターゲットを有効状態に切り替えさせ、仮想ターゲットを有効状態に切り替えさせる際には、当該仮想ターゲットに対応するダミー仮想ターゲットを無効状態に切り替えさせた後に、当該仮想ターゲットを有効状態に切り替えさせることを特徴とする。
さらに、前記仮想ターゲット有効/無効制御手段は、仮想ターゲットおよび当該仮想ターゲットに対応するダミー仮想ターゲットの、前記有効状態と前記無効状態とを切り替える間は、他の仮想ターゲットの有効状態と無効状態とが切り替わらないよう、他の仮想ターゲットの状態の切り替えをロックすることを特徴とする。
これによれば、仮想ターゲットを無効状態に切り替えさせる際には、当該仮想ターゲットを無効状態に切り替えさせた後に、当該仮想ターゲットに対応するダミー仮想ターゲットを有効状態に切り替えさせるから、仮想ターゲットを無効状態として解放されたその仮想ターゲットのポートIDは、その仮想ターゲットに対応するダミー仮想ターゲットに割り振られて、他の仮想ターゲットに割り振られることがない。
また、前記仮想ターゲット構成手段は、前記仮想ターゲット有効/無効制御手段により仮想ターゲットが有効状態とされた際、解放されているポートIDがある場合には、当該解放されているポートIDのうち最も若い番号のポートIDを、当該仮想ターゲットに割り振り、解放されているポートIDがない場合には、最後に生成したポートIDの次の連番となるポートIDを新たに生成して、当該仮想ターゲットに割り振ることを特徴とする。
また、前記ダミー仮想ターゲット生成制御手段は、前記仮想ターゲット構成手段に、各ダミー仮想ターゲットのWWNとして、前記ホストコンピュータが認識不能なWWNを設定させることを特徴とする。
これによれば、ダミー仮想ターゲットがホストコンピュータに認識されてしまうことがない。
また、前記仮想ターゲット構成手段に、所望の前記仮想ターゲットを削除させる指示を行う仮想ターゲット削除制御手段を備え、前記仮想ターゲット有効/無効制御手段は、前記仮想ターゲットが削除される際には、当該仮想ターゲットに対応するダミー仮想ターゲットを有効状態に切り替えさせることを特徴とする。
これによれば、削除される仮想ターゲットのポートIDが、その仮想ターゲットに対応するダミー仮想ターゲットに保持されて解放されないから、そのポートIDが別の仮想ターゲットに割り振られることを防ぐことができる。
さらに、前記ダミー仮想ターゲット生成制御手段は、前記仮想ターゲット生成制御手段が前記仮想ターゲットを生成させるより前に、仮想ターゲットの最大数以上の数の前記ダミー仮想ターゲットを、予め前記仮想ターゲット構成手段に生成させ、前記仮想ターゲット有効/無効制御手段は、前記仮想ターゲットが生成される際には、当該仮想ターゲットに対応させる一のダミー仮想ターゲットを無効状態に切り替えさせた後に、当該仮想ターゲットを生成させまたは有効状態に切り替えさせることを特徴とする。
これによれば、予め生成された各ダミー仮想ターゲットにポートIDが付与され、各仮想ターゲットが生成される際には、その仮想ターゲットに対応させる一のダミー仮想ターゲットのポートIDを、当該仮想ターゲットに割り振ることができる。
また、前記仮想ターゲット有効/無効制御手段は、前記物理ストレージ装置の状態、および物理ストレージ装置に接続するパスの状態を監視し、該状態の変化に応じて、前記仮想ターゲット構成手段に、該変化の生じた物理ストレージ装置またはパスに対応する前記仮想ターゲットの状態を切り替えさせることを特徴とする。
本発明に係るストレージ仮想化スイッチによれば、仮想ターゲットの前記有効状態と無効状態との切り替えに伴って、各仮想ターゲットのポートIDが変わってしまうことがなく、したがって、ホストコンピュータが仮想ストレージ装置にアクセスする際に、仮想ターゲットを特定するのに支障が生じることがない。
本発明に係るストレージ仮想化スイッチを実施するための最良の形態を説明する。
図1は、ストレージの仮想化を行う機能を有するストレージ仮想化スイッチを用いたコンピュータシステムSの基本的な構成と概念を示す説明図である。
図1のコンピュータシステムSは、ホストコンピュータ2と、複数の物理ストレージ装置としての磁気ディスク装置4,4を有するディスクエンクロージャ6と、ストレージ仮想化スイッチV,Vとを備える。ストレージ仮想化スイッチV,Vは、ホストコンピュータ2およびディスクエンクロージャ6とファイバーチャネルインタフェースにより接続可能な複数の物理ポート8,8・・を備える。ストレージ仮想化スイッチV,Vは、それぞれ全く同構成に設けられており、これにより、このコンピュータシステムSはいわゆる冗長さを持った構成となっている(なお、図1において、左側のストレージ仮想化スイッチVの仮想ターゲット12a〜12cや仮想ストレージ装置10,10・・は図示を省略している)。
図2に、本実施の形態に係るストレージ仮想化スイッチVの内部構成を示す。
本実施の形態に係るストレージ仮想化スイッチVは、ホストコンピュータ2およびディスクエンクロージャ6とファイバーチャネルインタフェースにより接続可能な複数の物理ポート8,8・・と、CPUやメモリ等から成る制御部20とを備える。制御部20は、CPUによりROMに記録されたファームウェアプログラムを実行することにより、ストレージ仮想化手段22、仮想ターゲット有効/無効制御手段24、仮想ターゲット生成制御手段26、仮想ターゲット削除制御手段27、およびダミー仮想ターゲット生成制御手段28として機能する。
また、ストレージ仮想化スイッチVは、CPUやその他のLSIやメモリ等から成り、CPUによりROMに記録されたファームウェアプログラムを実行したり、LSIの機能を実行したりすることにより機能する仮想ターゲット構成手段30を備える。
なお、本ストレージ仮想化スイッチVにおいて、ストレージ仮想化スイッチVの基本的なスイッチ機能に含まれる仮想ターゲット構成手段30は、ストレージ仮想化スイッチVにおいてアプリケーション的な役割を果たす各前記手段22〜28を実現する制御部20とは別の、専用のハードウェアによって実現される構成が採られ、制御部20からは、仮想ターゲット構成手段30の機能に属するポートIDの制御が行えない。
また、仮想ターゲット構成手段30は、図5に示した従来のストレージ仮想化スイッチVのものと同一の機能を実現する。
ストレージ仮想化手段22は、ディスクエンクロージャ6の磁気ディスク装置4,4の記憶領域の一部または全部を組み合わせて、単数または複数の仮想ストレージ装置10,10・・として構成する(図1参照)。
仮想ターゲット生成制御手段26は、コンピュータシステムSが立ち上げられた際に、予めユーザーよって設定された、仮想ストレージ装置10,10およびそれに対応する仮想ターゲットの生成設定情報に基づいて、仮想ターゲット構成手段30に、ホストコンピュータ2に対して仮想ストレージ装置10,10・・のターゲットとして振る舞う、仮想ターゲット12a,12b,12cを生成させる指示(通信)を行う。なお、この仮想ストレージ装置および仮想ターゲットの生成設定情報は、予め初期設定として、ユーザーがホストコンピュータ2等を介してストレージ仮想化スイッチVと通信して入力した、仮想ストレージ装置10,10の構成を定義する情報に基づいて定められ、制御部20の不揮発性メモリ等に保存される。仮想ストレージ装置および仮想ターゲットの生成設定情報は、仮想ストレージ装置10,10を構成する磁気ディスク装置4,4の記憶領域を特定する情報や、各仮想ストレージ装置10,10に対応する仮想ターゲットを定義する情報等を含む。
本実施の形態に係るストレージ仮想化スイッチVにおいては、さらに、コンピュータシステムSが立ち上げられた際に、ダミー仮想ターゲット生成制御手段28が、仮想ターゲット構成手段30に、仮想ターゲット12a,12b,12cの各々に対応するダミー仮想ターゲット13a,13b,13cを生成させる指示(通信)を行う。
この際、ダミー仮想ターゲット生成制御手段28は、生成させるダミー仮想ターゲット13a,13b,13cのWWN(World Wide Name)を、ホストコンピュータ2が認識不能なWWNに指定して設定させる。例えば、ありえないWWNアドレス”00:00:00:00:00:00:00:00”を指定する。これにより、ダミー仮想ターゲット13a,13b,13cがホストコンピュータ2に認識されてしまうことを防ぐことができる。
仮想ターゲット構成手段30は、仮想ターゲット生成制御手段26およびダミー仮想ターゲット生成制御手段28の各前記指示に従い、仮想ターゲット12a,12b,12c、および、仮想ターゲット12a,12b,12cの各々に対応するダミー仮想ターゲット13a,13b,13cを構成する(図1参照)。
また、仮想ターゲット削除制御手段27は、仮想ターゲット構成手段30に、所望の仮想ターゲットを削除させる指示(通信)を行う。
仮想ターゲット構成手段30は、この指示を受けた際には、指定された仮想ターゲットを削除する処理を行う。
また、仮想ターゲット有効/無効制御手段24は、磁気ディスク装置4,4の状態、および磁気ディスク装置4,4に接続するパスの状態を監視し、障害の発生状態の変化に応じて、仮想ターゲット構成手段30に、当該変化の生じた磁気ディスク装置4,4またはパスに対応する仮想ターゲットの状態を、ホストコンピュータ2に対して接続を許可する有効状態、および接続を許可しない無効状態のいずれかに切り替えさせる制御を行う。
すなわち、磁気ディスク装置4またはパスに障害が生じた場合には、その磁気ディスク装置4またはそのパスを使用する仮想ストレージ装置10に対応する仮想ターゲットの状態を無効状態とし、その障害が解消した場合には、その仮想ターゲットの状態を有効状態に復旧させる。
なお、有効状態および無効状態は、仮想ターゲット構成手段30の有する所定のメモリ上の、有効状態または無効状態を表現可能な、仮想ターゲット毎のフラグにより記憶され管理される。
仮想ターゲット構成手段30は、仮想ターゲット有効/無効制御手段24から特定の仮想ターゲットに対して前記無効状態を設定するよう指示された際には、当該仮想ターゲットを前記無効状態に切り替えるとともに、当該仮想ターゲットに割り振られているポートIDを、他の仮想ターゲットに割り振り可能な状態に解放する。
また、仮想ターゲット構成手段30は、仮想ターゲット有効/無効制御手段24により特定の仮想ターゲットが有効状態とされた際には、解放されているポートIDがある場合には、当該解放されているポートIDのうち最も若い番号のポートIDを当該仮想ターゲットに割り振り、解放されているポートIDがない場合には、最後に生成したポートIDの次の連番となるポートIDを新たに生成して、当該仮想ターゲットに割り振る。
ホストコンピュータ2は、ポートIDに基づいて各仮想ターゲット12a,12b,12cを特定して、所望の仮想ストレージ装置10,10・・に対してアクセスを行う。
さて、本実施の形態に係るストレージ仮想化スイッチVにおいては、仮想ターゲット有効/無効制御手段24の、前記有効状態と無効状態とを切り替える処理に特徴がある。
仮想ターゲット有効/無効制御手段24は、仮想ターゲットを無効状態に切り替えさせる際には、まず他の仮想ターゲットの有効状態と無効状態とが切り替わらないよう、他の仮想ターゲットの状態の切り替えをロックする。続いて、仮想ターゲット構成手段30に、該当する仮想ターゲットを無効状態に切り替えさせ、次に、当該仮想ターゲットに対応するダミー仮想ターゲットを有効状態に切り替えさせる。その後、前記ロックを解除する。
なお、このロックおよびロック解除は、例えば、仮想ターゲット有効/無効制御手段24の起動がCPUの割り込みをトリガに行われている場合には、その割り込みを禁止することにより新たな切り替え処理が起動しないようにしてロックを行い、また、その割り込みを許可することでロック解除を行うといった制御で実現できる。
こうすることにより、例えばポートIDが図3(a)に示したように割り振られた状態から、仮想ターゲット12aが無効状態となると、図3(b)に示すように、そのポートID101が解放される。このとき、他の仮想ターゲット12b,12cの状態の切り替えはロックされており、すぐに仮想ターゲット12aに対応するダミー仮想ターゲット13aが有効状態となるため、そのポートID101は必ずダミー仮想ターゲット13aに割り振られる。
この後、例えば仮想ターゲット12cが無効状態となると、図3(c)に示すように、当該仮想ターゲット12cに対応するダミー仮想ターゲット13cに、そのポートID301が割り振られる。
また、仮想ターゲットを有効状態に切り替えさせる際には、まず他の仮想ターゲットの状態の切り替えをロックする。続いて、仮想ターゲット構成手段30に、該当する仮想ターゲットに対応するダミー仮想ターゲットを無効状態に切り替えさせた後に、該当する仮想ターゲットを有効状態に切り替えさせる。その後、前記ロックを解除する。
こうすることにより、例えば図3(c)の状態から、仮想ターゲット12cを先に有効状態に復帰させる場合でも、まず対応するダミー仮想ターゲット13cが無効状態とされてポートID301が解放され、その後すぐに仮想ターゲット12cが有効状態となるため、図3(d)に示すように、ポートID301は必ず仮想ターゲット12cに割り振られる。仮想ターゲット12a,13aについても同様である。
なお、各仮想ターゲット/ダミー仮想ターゲットと、ポートIDとの対応関係は、仮想ターゲット構成手段30の有するRAM等のメモリ上に、テーブルデータ等として管理されている。
このように、本実施の形態に係るストレージ仮想化スイッチVによれば、前述のように仮想ターゲットのポートIDを制御部20が直接的に制御できないハードウェア構成であっても、各仮想ターゲット12a,12b,12cに対して、それぞれ常に同じポートID(それぞれ101,201,301)が必ず割り振られる。したがって、ホストコンピュータ2が仮想ストレージ装置にアクセスする際に、ポートIDに基づいて必ず所望の仮想ターゲットにアクセスすることが可能であり、アクセスに支障が生じることがない。
ここまで、仮想ターゲット12a,12b,12cの有効状態と無効状態とを切り替える際の制御について述べたが、この有効状態と無効状態との切り替えの他に、コンピュータシステムSの運用上、例えばホストコンピュータ2が使用しなくなった仮想ターゲットなどの、不要な仮想ターゲットを削除したい場合がある。
この点、従来のストレージ仮想化スイッチを用いたコンピュータシステムにおいては、仮想ターゲットを削除した際にも、その仮想ターゲットに割り振られていたポートIDが解放されるから、その解放されたポートIDが、次に有効状態となった他の仮想ターゲットに割り振られてしまい、ポートIDと仮想ターゲットとの対応関係を保てないという問題がある。
この問題を解決するために、本実施の形態に係るストレージ仮想化スイッチVの前記仮想ターゲット有効/無効制御手段24は、仮想ターゲット削除制御手段27により前記仮想ターゲットが削除される際には、その削除される仮想ターゲットに対応するダミー仮想ターゲットを、有効状態に切り替えさせる制御を行う。なお、この際、仮想ターゲットの削除とダミー仮想ターゲットを有効とする処理との間、他の仮想ターゲットの有効状態と無効状態とが切り替わらないよう、他の仮想ターゲットの状態の切り替えをロックする。
これにより、削除される仮想ターゲットのポートIDが、その仮想ターゲットに対応するダミー仮想ターゲットに保持されて解放されないから、そのポートIDが別の仮想ターゲットに割り振られることを防ぐことができる。
さらに、仮想ターゲットおよびダミー仮想ターゲットと、ポートIDとの対応関係の管理に係る処理を、より簡単な構成にするためには、以下のような構成を採ると良い。
上記実施の形態においては、仮想ターゲットを生成するときに、それに対応するダミー仮想ターゲットを生成する構成としたが、この構成に替えて、仮想ターゲットを生成する前(例えば電源投入時等)に、仮想ターゲットの最大数以上の数のダミー仮想ターゲットを予め仮想ターゲット構成手段30に生成させるよう、ダミー仮想ターゲット生成制御手段28を構成する。例えば、ストレージ仮想化スイッチVにおける仮想ターゲットの最大数が256である場合、予め256個のダミー仮想ターゲットを構成させる。仮想ターゲット構成手段30は、ダミー仮想ターゲット生成制御手段28の指示を受けて、256個の各ダミー仮想ターゲットを、それぞれ独立したポートIDを割り振って生成する。また、ダミー仮想ターゲット生成制御手段28は、各ダミー仮想ターゲットに、1〜256といった固有の管理番号を振ってメモリ等に記憶するよう設ける。
そして、仮想ターゲット生成制御手段26は、生成する各仮想ターゲットにも、1〜256の固有の管理番号を振ってメモリ等に記憶する。そして、仮想ターゲット有効/無効制御手段24等の、制御部20上の各手段は、その固有の番号の一致する仮想ターゲットとダミー仮想ターゲットとを、互いに対応する組として管理を行う。
なお、本構成を採用した場合、仮想ターゲット有効/無効制御手段24は、仮想ターゲットが生成される際には、その仮想ターゲットに対応させる一のダミー仮想ターゲットを無効状態に切り替えさせた後に、その仮想ターゲットを生成させまたは有効状態に切り替えさせる(なお、この間、他の仮想ターゲットの状態の切り替えをロックする)。
こうすることにより、ダミー仮想ターゲットに割り振られていたポートIDを、新たに生成された、対応する仮想ターゲットに、確実に受け渡すことができる。また、管理番号により、仮想ターゲット有効/無効制御手段24、仮想ターゲット生成制御手段26、仮想ターゲット削除制御手段27、およびダミー仮想ターゲット生成制御手段28等による、仮想ターゲットとダミー仮想ターゲットとの相互の対応関係の管理や、生成および削除に係る処理を簡単に構成することができる。
本発明に係るストレージ仮想化スイッチを用いたコンピュータシステムの構成の説明図である。 本発明に係るストレージ仮想化スイッチの内部構成を示すブロック図である。 本発明に係るストレージ仮想化スイッチによるポートIDの切り替えの例を示す説明図である。 従来のストレージ仮想化スイッチを用いたコンピュータシステムの構成の説明図である。 従来のストレージ仮想化スイッチの内部構成を示すブロック図である。 従来のストレージ仮想化スイッチによるポートIDの切り替えの例を示す説明図である。
符号の説明
S コンピュータシステム
V ストレージ仮想化スイッチ
2 ホストコンピュータ
4 磁気ディスク装置(物理ストレージ装置)
6 ディスクエンクロージャ
8 物理ポート
10 仮想ストレージ装置
12a,12b,12c 仮想ターゲット
13a,13b,13c ダミー仮想ターゲット
20 制御部
22 ストレージ仮想化手段
24 仮想ターゲット有効/無効制御手段
26 仮想ターゲット生成制御手段
27 仮想ターゲット削除制御手段
28 ダミー仮想ターゲット生成制御手段
30 仮想ターゲット構成手段

Claims (7)

  1. 単数または複数のホストコンピュータおよび物理ストレージ装置を、それぞれ接続可能な複数の物理ポートと、
    前記単数または複数の物理ストレージ装置の記憶領域の一部または全部を組み合わせて、単数または複数の仮想ストレージ装置として構成するストレージ仮想化手段と、
    前記ホストコンピュータに対して、前記仮想ストレージ装置のターゲットとして振る舞う単数または複数の仮想ターゲットを構成する仮想ターゲット構成手段と、
    該仮想ターゲット構成手段に、仮想ターゲットを生成させる指示を行う仮想ターゲット生成制御手段と、
    前記仮想ターゲット構成手段に、各前記仮想ターゲットの状態を、前記ホストコンピュータに対して接続を許可する有効状態、および該接続を許可しない無効状態のいずれかに切り替えさせる指示を行う仮想ターゲット有効/無効制御手段とを備え、
    前記仮想ターゲット構成手段は、仮想ターゲットを前記有効状態に切り替えた際には、当該仮想ターゲットにポートIDを割り振り、仮想ターゲットを前記無効状態に切り替えた際には、当該仮想ターゲットに割り振られているポートIDを、他の仮想ターゲットに割り振り可能な状態に解放する制御を行うストレージ仮想化スイッチにおいて、
    前記仮想ターゲット構成手段に、前記仮想ターゲットの各々に対応するダミー仮想ターゲットを生成させる指示を行うダミー仮想ターゲット生成制御手段を備え、
    前記仮想ターゲット有効/無効制御手段は、仮想ターゲットを無効状態に切り替えさせる際には、当該仮想ターゲットを無効状態に切り替えさせた後に、当該仮想ターゲットに対応するダミー仮想ターゲットを有効状態に切り替えさせ、仮想ターゲットを有効状態に切り替えさせる際には、当該仮想ターゲットに対応するダミー仮想ターゲットを無効状態に切り替えさせた後に、当該仮想ターゲットを有効状態に切り替えさせることを特徴とするストレージ仮想化スイッチ。
  2. 前記仮想ターゲット有効/無効制御手段は、仮想ターゲットおよび当該仮想ターゲットに対応するダミー仮想ターゲットの、前記有効状態と前記無効状態とを切り替える間は、他の仮想ターゲットの有効状態と無効状態とが切り替わらないよう、他の仮想ターゲットの状態の切り替えをロックすることを特徴とする請求項1記載のストレージ仮想化スイッチ。
  3. 前記仮想ターゲット構成手段は、前記仮想ターゲット有効/無効制御手段により仮想ターゲットが有効状態とされた際、解放されているポートIDがある場合には、当該解放されているポートIDのうち最も若い番号のポートIDを、当該仮想ターゲットに割り振り、解放されているポートIDがない場合には、最後に生成したポートIDの次の連番となるポートIDを新たに生成して、当該仮想ターゲットに割り振ることを特徴とする請求項1または2記載のストレージ仮想化スイッチ。
  4. 前記ダミー仮想ターゲット生成制御手段は、前記仮想ターゲット構成手段に、各ダミー仮想ターゲットのWWNとして、前記ホストコンピュータが認識不能なWWNを設定させることを特徴とする請求項1〜3のうちのいずれか一項記載のストレージ仮想化スイッチ。
  5. 前記仮想ターゲット構成手段に、所望の前記仮想ターゲットを削除させる指示を行う仮想ターゲット削除制御手段を備え、
    前記仮想ターゲット有効/無効制御手段は、前記仮想ターゲットが削除される際には、当該仮想ターゲットに対応するダミー仮想ターゲットを有効状態に切り替えさせることを特徴とする請求項1〜4のうちのいずれか一項記載のストレージ仮想化スイッチ。
  6. 前記ダミー仮想ターゲット生成制御手段は、前記仮想ターゲット生成制御手段が前記仮想ターゲットを生成させるより前に、仮想ターゲットの最大数以上の数の前記ダミー仮想ターゲットを、予め前記仮想ターゲット構成手段に生成させ、
    前記仮想ターゲット有効/無効制御手段は、前記仮想ターゲットが生成される際には、当該仮想ターゲットに対応させる一のダミー仮想ターゲットを無効状態に切り替えさせた後に、当該仮想ターゲットを生成させまたは有効状態に切り替えさせることを特徴とする請求項5記載のストレージ仮想化スイッチ。
  7. 前記仮想ターゲット有効/無効制御手段は、前記物理ストレージ装置の状態、および物理ストレージ装置に接続するパスの状態を監視し、該状態の変化に応じて、前記仮想ターゲット構成手段に、該変化の生じた物理ストレージ装置またはパスに対応する前記仮想ターゲットの状態を切り替えさせることを特徴とする請求項1〜6のうちのいずれか一項記載のストレージ仮想化スイッチ。
JP2006294549A 2006-10-30 2006-10-30 ストレージ仮想化スイッチ Expired - Fee Related JP4724640B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006294549A JP4724640B2 (ja) 2006-10-30 2006-10-30 ストレージ仮想化スイッチ
US11/848,952 US7774570B2 (en) 2006-10-30 2007-08-31 Storage virtualization switch

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006294549A JP4724640B2 (ja) 2006-10-30 2006-10-30 ストレージ仮想化スイッチ

Publications (2)

Publication Number Publication Date
JP2008112303A true JP2008112303A (ja) 2008-05-15
JP4724640B2 JP4724640B2 (ja) 2011-07-13

Family

ID=39331768

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006294549A Expired - Fee Related JP4724640B2 (ja) 2006-10-30 2006-10-30 ストレージ仮想化スイッチ

Country Status (2)

Country Link
US (1) US7774570B2 (ja)
JP (1) JP4724640B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010146705A1 (ja) * 2009-06-19 2010-12-23 富士通株式会社 情報システムおよび処理方法
JP2013196328A (ja) * 2012-03-19 2013-09-30 Fujitsu Ltd 情報処理システム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4387261B2 (ja) * 2004-07-15 2009-12-16 株式会社日立製作所 計算機システム、および、記憶装置システムの移行方法
JP2008027153A (ja) * 2006-07-20 2008-02-07 Ricoh Co Ltd 情報処理プログラム、情報処理装置および情報処理方法
US9389895B2 (en) 2009-12-17 2016-07-12 Microsoft Technology Licensing, Llc Virtual storage target offload techniques
US20110153715A1 (en) * 2009-12-17 2011-06-23 Microsoft Corporation Lightweight service migration
US10331500B2 (en) 2017-04-05 2019-06-25 Cavium, Llc Managing fairness for lock and unlock operations using operation prioritization
US10445096B2 (en) 2017-04-05 2019-10-15 Cavium, Llc Managing lock and unlock operations using traffic prioritization

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61259340A (ja) * 1985-05-14 1986-11-17 Mitsubishi Electric Corp 入出力制御装置
JP2005025485A (ja) * 2003-07-02 2005-01-27 Hitachi Ltd アドレス管理方法および装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6810491B1 (en) * 2000-10-12 2004-10-26 Hitachi America, Ltd. Method and apparatus for the takeover of primary volume in multiple volume mirroring
JP4278444B2 (ja) * 2003-06-17 2009-06-17 株式会社日立製作所 仮想ポート名の管理装置
US7516214B2 (en) * 2004-08-31 2009-04-07 Emc Corporation Rules engine for managing virtual logical units in a storage network
JP2007148982A (ja) * 2005-11-30 2007-06-14 Hitachi Ltd ストレージシステム及びその管理方法
JP2007265001A (ja) * 2006-03-28 2007-10-11 Hitachi Ltd ストレージ装置
US7451286B2 (en) * 2006-07-18 2008-11-11 Network Appliance, Inc. Removable portable data backup for a network storage system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61259340A (ja) * 1985-05-14 1986-11-17 Mitsubishi Electric Corp 入出力制御装置
JP2005025485A (ja) * 2003-07-02 2005-01-27 Hitachi Ltd アドレス管理方法および装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010146705A1 (ja) * 2009-06-19 2010-12-23 富士通株式会社 情報システムおよび処理方法
JP2013196328A (ja) * 2012-03-19 2013-09-30 Fujitsu Ltd 情報処理システム
US8966215B2 (en) 2012-03-19 2015-02-24 Fujitsu Limited Information processing system

Also Published As

Publication number Publication date
US7774570B2 (en) 2010-08-10
US20080104338A1 (en) 2008-05-01
JP4724640B2 (ja) 2011-07-13

Similar Documents

Publication Publication Date Title
JP4724640B2 (ja) ストレージ仮想化スイッチ
US8171176B2 (en) Method for selective replication of physical devices on a virtual self-configuring zoning expander
JP2007316724A (ja) 計算機システム、管理計算機及びプログラム配布方法
JP5803502B2 (ja) 監視装置、制御方法及び制御プログラム
US20130283264A1 (en) Method for selective replication of physical devices on a virtual self-configuring zoning expander
JP6406707B2 (ja) 半導体記憶装置
JP6916454B2 (ja) ハードウェアアクアクセラレーテッド暗号法のためのキーのスレッド所有権
JP2010147929A (ja) アドレス割当方法、コンピュータ、及びプログラム
JP6513295B2 (ja) 計算機システム
CN109739613B (zh) 嵌套页表的维护方法、访问控制方法及相关装置
US20150370582A1 (en) At least one user space resident interface between at least one user space resident virtual appliance and at least one virtual data plane
JP2020511727A (ja) 信頼されたシステムファームウェア状態のリストアのためのシステムおよび方法
JP2010271808A (ja) ストレージ装置及びデータコピー方法
US11385809B2 (en) Software filtered memory devices in computing systems
TWI665557B (zh) 共享記憶體控制器、共享記憶體模組及記憶體共享系統
WO2023236397A1 (zh) 密钥管理方法、密钥管理装置、密钥管理设备及存储介质
JP2007524161A (ja) ウイルス、スパイウェア及びハッカー保護特徴を有する仮想処理空間における分離マルチプレクス型多次元処理
US11436367B2 (en) Pre-operating system environment-based sanitization of storage devices
KR101498965B1 (ko) 가상화 기술을 이용한 내외부망 격리 시스템 및 방법
JP2014195178A (ja) 情報処理装置、送信制御方法および送信制御プログラム
JP5966466B2 (ja) バックアップ制御方法、および情報処理装置
US20230236870A1 (en) Safe entropy source for encrypted virtual machines
CN108241801B (zh) 处理系统调用的方法和装置
US8489827B2 (en) Method and system for storage-system management
Heo et al. Hardware-assisted trusted memory disaggregation for secure far memory

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110405

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110411

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140415

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees