JP2009181317A - ストレージシステム、デバイスコントローラ、およびケーブル誤接続判定方法 - Google Patents

ストレージシステム、デバイスコントローラ、およびケーブル誤接続判定方法 Download PDF

Info

Publication number
JP2009181317A
JP2009181317A JP2008019415A JP2008019415A JP2009181317A JP 2009181317 A JP2009181317 A JP 2009181317A JP 2008019415 A JP2008019415 A JP 2008019415A JP 2008019415 A JP2008019415 A JP 2008019415A JP 2009181317 A JP2009181317 A JP 2009181317A
Authority
JP
Japan
Prior art keywords
device controller
information
storage
cable
connection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008019415A
Other languages
English (en)
Other versions
JP4685118B2 (ja
Inventor
Naohiro Takeda
直浩 武田
Juichi Sakai
寿一 坂井
Hirosuke Ota
裕助 太田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2008019415A priority Critical patent/JP4685118B2/ja
Priority to US12/362,085 priority patent/US20090193158A1/en
Publication of JP2009181317A publication Critical patent/JP2009181317A/ja
Application granted granted Critical
Publication of JP4685118B2 publication Critical patent/JP4685118B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0751Error or fault detection not based on redundancy
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0706Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
    • G06F11/0727Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in a storage system, e.g. in a DASD or network based storage system
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0805Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
    • H04L43/0811Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability by checking connectivity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2002Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where interconnections or communication control functionality are redundant
    • G06F11/2005Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where interconnections or communication control functionality are redundant using redundant communication controllers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2002Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where interconnections or communication control functionality are redundant
    • G06F11/2007Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where interconnections or communication control functionality are redundant using redundant communication media
    • G06F11/201Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where interconnections or communication control functionality are redundant using redundant communication media between storage system components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604Improving or facilitating administration, e.g. storage management
    • G06F3/0607Improving or facilitating administration, e.g. storage management by facilitating the process of upgrading existing storage systems, e.g. for improving compatibility between host and storage device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629Configuration or reconfiguration of storage systems
    • G06F3/0632Configuration or reconfiguration of storage systems by initialisation or re-initialisation of storage systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671In-line storage system
    • G06F3/0683Plurality of storage devices
    • G06F3/0689Disk arrays, e.g. RAID, JBOD

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Debugging And Monitoring (AREA)
  • Hardware Redundancy (AREA)
  • Test And Diagnosis Of Digital Computers (AREA)

Abstract

【課題】簡易な構成でケーブルの誤接続を検出すること。
【解決手段】デバイスエンクロージャ内で二重化されたエクスパンダ間をSASインターフェース以外のI2Cバスなどの簡単なインターフェースで接続し、エクスパンダがこの筐体内バス経由でそれぞれのエクスパンダに対して互いの固有IDであるSASアドレスをエクスパンダ情報(ペア情報)として設定し、デバイス制御処理ユニット(CM0,CM1)がエクスパンダからこの情報を取得する事でデバイスエンクロージャ内のペア状態を明確にすると同時に、SASデバイスのルーティングテーブルから生成したSASデバイスの接続情報(SASMAP)に登録されているSASアドレスと比較して、デバイスエンクロージャ内のペア状態と矛盾していないかをチェックする事で誤接続を検出する。
【選択図】 図1

Description

二重化されたデバイスコントローラを有する複数のストレージデバイス格納筐体間をケーブル接続したストレージシステム、ストレージデバイス格納筐体に搭載され、他の筐体とケーブル接続されるともに、同一筐体内の他のデバイスコントローラと冗長構成を成すデバイスコントローラ、およびストレージシステムのケーブル誤接続判定方法に関する。
近年、複数のストレージデバイスに対するアクセスを一括管理することで、大容量の記憶媒体を提供する技術が知られている。かかるストレージシステムでは、外部アクセスの処理を行う回路を搭載する制御筐体(コントロールエンクロージャ)に、記憶媒体を搭載するストレージデバイス格納筐体(デバイスエンクロージャ)を複数接続する構成が広く用いられている。
また、ストレージシステムでは、その信頼性や保守性を向上させるため、デバイスに対するアクセス経路を二重化することが行なわれてきた。例えば、二重化されたデバイスコントローラ(以降Expと略称する)を持つ複数のデバイスエンクロージャをSerial Attached SCSIインターフェース(以降SASインターフェースと略称する)ケーブルで接続した構成が用いられてきた。
ここで、デバイスエンクロージャ間のケーブル接続が誤っていると、上述した二重化の効果が得られないため、従来、ケーブルの誤接続を検出する技術が開発されている。例えば、特許文献1は、0系と1系の主信号に対して一方を奇パリティ、他方を偶パリティとして演算し、エラー検出が所定数連続して発生した場合にケーブルの誤接続として検出する装置間ケーブル誤接続検出方式を開示している。
また、特許文献2は、FC−ALインターフェースで接続される、二重化されたデバイスコントローラとデバイスエンクロージャを接続する構成において、ストレージディスクに定義された固有IDを使用して、両系から固有IDを取得し、不一致の場合にケーブルの誤接続と判断する検出方法を開示している。
特開平5−120046号公報 特開2006−146489号公報
しかしながら、上述した特許文献1にかかる従来技術では、装置構成が煩雑になるという問題点があり、特許文献2にかかる検出方法では、固有IDを持つディスクがデバイスエンクロージャに必ず1個以上搭載されていなければ、誤接続を検出できないという問題点がある。
また、デバイスエンクロージャ自身が固有ID(DE−ID)を持つ場合において、DE−IDが接続順に割り付けられるような場合は、そのDE−IDを使用して誤接続が検出できる。しかし、DE−ID決定論理がケーブルの接続順に依存するような場合等は、DE−IDによるチェックでは誤接続を検出できない。
本発明は、上述した従来技術における問題点を解消し、課題を解決するためになされたものであり、簡易な構成でケーブルの誤接続を検出可能なストレージシステム、デバイスコントローラ、およびケーブル誤接続判定方法を提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明は、二重化されたデバイスコントローラと、該デバイスコントローラを有する複数のストレージデバイス格納筐体間をケーブル接続したストレージシステム、およびそのケーブル接続判定方法において、デバイスコントローラがストレージデバイス格納筐体内における自らの状態をデバイスコントローラ情報として管理し、複数のストレージデバイス格納筐体を管理する全体管理部が、ケーブル接続の順序に基づくデバイスコントローラの接続状態と、デバイスコントローラ情報管理部から取得したデバイスコントローラ情報とに基づいて前記ケーブル接続における誤接続の有無を判定する。
また、本発明は、デバイスコントローラ情報として、同一筐体内に存在する他のデバイスコントローラの識別情報を取得し、二重化された2系統のケーブル接続順序と、前記他のデバイスコントローラの識別情報から推定されるケーブル接続順序とが一致するか否かによって誤接続の有無を判定する。
また、本発明は、デバイスコントローラ情報として二重化された2系統のケーブル接続のいずれに対応するデバイスコントローラを搭載すべき搭載箇所に自らが搭載されたかを示す情報を取得し、ケーブル接続順序によって示される実際に接続された系統と、前記搭載箇所が示す接続されるべき系統とが一致するか否かによって誤接続の有無を判定する。
本発明によれば、ケーブル接続における0系と1系の接続順序の不一致や、0系と1系のクロス接続などを、簡易な構成で検出可能なストレージシステム、デバイスコントローラ、およびケーブル誤接続判定方法を得ることができるという効果を奏する。
以下に、本発明にかかるストレージシステム、デバイスコントローラ、およびケーブル誤接続判定方法の実施例を図面に基づいて詳細に説明する。
図1は、本発明の実施例にかかるストレージシステムの概要構成を説明する概要構成図である。同図に示したように、本実施例にかかるストレージシステムは、外部アクセスの処理機能を有する制御筐体(コントロールエンクロージャ)CE0に、記憶媒体を有するストレージデバイス格納筐体(デバイスエンクロージャ)を複数シリアル接続している。
コントロールエンクロージャCE0は、その内部にデバイス制御処理ユニットCM0とデバイス制御処理ユニットCM1を有してデバイスに対するアクセス経路を二重化しており、デバイス制御処理ユニットCM0が0系、デバイス制御処理ユニットCM1が1系の制御を行なう。
デバイス制御処理ユニットCM0は、その内部に主制御部101とSASMap記憶部102を有する。主制御部101は、0系のアクセスを全体制御する制御部であり、デバイスエンクロージャDE0のデバイスコントローラであるエクスパンダEx00にSASインターフェースで接続される。これに加えて、主制御101は、SASMap記憶部102およびデバイス制御処理ユニットCM1に接続する。
主制御部101は、本発明に特に関係する処理部として、マップ作成部103および誤接続判定部104を有する。マップ作成部103は、SASインターフェースによって接続されるデバイスコントローラの識別情報と接続順序とを取得し、SASMap記憶部102に格納する。
さらに、マップ作成部103は、デバイスコントローラ(エクスパンダ)のストレージデバイス格納筐体内における状態をエクスパンダ情報として取得し、SASMap記憶部102に記憶させる。なお、マップ作成部103は、デバイス制御処理ユニットCM1の主制御部111内部のマップ作成部113と通信し、マップ作成部103が取得した0系のエクスパンダ情報とマップ作成部113が取得した1系のエクスパンダ情報とを比較してその内容を一致させる。
誤接続判定部104は、このSASMap記憶部102が記憶したデバイスコントローラの接続順序とエクスパンダ情報とに基づいてケーブル接続における誤接続の有無を判定する。
デバイス制御処理ユニットCM1はデバイス制御処理ユニットCM0と同様の構成を有し、1系のアクセスを制御すると共に、SASMapの作成とケーブルの誤接続判定を行なう機能を有する。
デバイスエンクロージャDE0は、複数のストレージデバイスと、二重化されたデバイスコントローラであるエクスパンダEX00,EX01を有するストレージデバイス格納筐体である。
エクスパンダEX00は、その内部にSAS通信部201、ID格納部202、スロット情報取得部203、内部通信部204、エクスパンダ情報保持部205を有する。SAS通信部201は、デバイス制御処理ユニットCM0、図示しない後段のデバイスエンクロージャ、およびデバイスエンクロージャDE0内のストレージディスク群の各々とSASインターフェースによって接続する。
ID格納部202は、エクスパンダEX00を識別するID情報として、エクスパンダEX00のSASアドレスを保持する記憶手段であり、エクスパンダEX00のIDをSAS通信部201および内部通信部204に提供する。
スロット情報取得部203は、エクスパンダEX00がデバイスエンクロージャDE0のどの位置に搭載されたかを示すスロット情報を取得する手段である。デバイスエンクロージャDE0は、エクスパンダを搭載する搭載箇所としてのスロットを2つ備え、各々のスロットについて0系と1系の何れのエクスパンダを搭載すべきかを定めている。スロット情報取得部203は、エクスパンダEX00が搭載されたスロットが0系と1系の何れの系統に接続されるべきスロットであったかを示すスロット情報を取得し、エクスパンダ情報保持部205にスロット情報をエクスパンダ情報の一つとして格納する。
内部通信部204は、デバイスエンクロージャDE0内部において、同一筐体内に存在する他のデバイスコントローラであるエクスパンダEX01との通信を行なう。この通信回線としては、簡易なインターフェース(I2Cなど)を用いることが好適である。
内部通信部204は、具体的には、ID格納部202から取得したエクスパンダEX00のIDをエクスパンダEX01に送信する。また、エクスパンダEX01からエクスパンダEX01のIDを取得し、エクスパンダ情報保持部205にエクスパンダ情報の一つ、ペアIDとして格納する。
エクスパンダEX01の構成および動作については、エクスパンダEX00と同様であるので、説明を省略する。また、デバイスエンクロージャDE0には、同様の構成を有するデバイスエンクロージャがシリアル接続される。
コントロールエンクロージャCE0内部の誤接続判定部104は、エクスパンダ情報のうち、ペアIDを用いて0系と1系の接続順序の不一致を検出し、スロット情報を用いて0系と1系のクロス接続を検出する。
図2は、0系と1系の接続順序の不一致について説明する説明図である。同図に示した構成では、デバイス制御処理ユニットCM0を基点とする0系は、デバイスエンクロージャDE0、デバイスエンクロージャDE1、デバイスエンクロージャDE2、デバイスエンクロージャDE3の順にSASケーブルが接続されている。
一方、デバイス制御処理ユニットCM1を基点とする1系は、デバイスエンクロージャDE0、デバイスエンクロージャDE2、デバイスエンクロージャDE1、デバイスエンクロージャDE3の順にSASケーブルが接続されており、接続順序に不一致が生じている。
ここで、デバイスエンクロージャDE0内のエクスパンダEX00のID(SASアドレス)がSasAd−A、エクスパンダEX01のIDがSasAd−a、デバイスエンクロージャDE1内のエクスパンダEX10のIDがSasAd−B、エクスパンダEX11のIDがSasAd−b、デバイスエンクロージャDE2内のエクスパンダEX20のIDがSasAd−C、エクスパンダEX21のIDがSasAd−c、デバイスエンクロージャDE3内のエクスパンダEX30のIDがSasAd−D、エクスパンダEX31のIDがSasAd−dである。
そこで、マップ作成部103,113が、拡張系列0系、1系の順にSASMapのエントリを作成すると、図3に示すようにSASインターフェースから取得した接続情報では、SASアドレスが「SasAd−A」、「SasAd−B」、「SasAd−C」、「SasAd−D」、「SasAd−a」、「SasAd−c」、「SasAd−b」、「SasAd−d」の順に並ぶ。すなわち、0系ではABCDの順に並び、1系ではacbdの順に並んでいる。
そして、エクスパンダ情報のペアID(ペアSASアドレス)には、各エクスパンダの同一筐体内に存在するエクスパンダのSASアドレスが格納されるので、ペアSASアドレスは「SasAd−a」、「SasAd−b」、「SasAd−c」、「SasAd−d」、「SasAd−A」、「SasAd−C」、「SasAd−B」、「SasAd−D」の順に並ぶ。
ここで、エントリ1を確認すると、DE−ID1を有するデバイスエンクロージャ(2番目に接続されたデバイスエンクロージャ)の0系のエクスパンダのSASアドレスとして「SasAd−B」が登録されており、ペアSASアドレスとして同一筐体内のエクスパンダのアドレス「SasAd−b」が登録されている。
一方、エントリ5では、DE−ID1を有するデバイスエンクロージャ(2番目に接続されたデバイスエンクロージャ)の1系のエクスパンダのSASアドレスとして「SasAd−c」が登録されており、ペアSASアドレスとして同一筐体内のエクスパンダのアドレス「SasAd−C」が登録されている。
エクスパンダのケーブルを正しく接続したならば、エントリ1とエントリ5は同一筐体を示し、エントリ1のペアSASアドレスとエントリ5のSASアドレスとは同一の値となるはずであるので、アドレスの不一致が存在することからケーブルの接続順序に不一致があると判定することができる。
図4は、接続順序の不一致検出処理について説明するフローチャートである。まず、本処理動作を開始する前に前提として、デバイスエンクロージャ内で二重化されたエクスパンダは、起動時にI2Cバスなどで接続された相手エクスパンダに対して自EXPのSASアドレスを報告し、エクスパンダ情報領域にペアSASアドレスとして記憶している。
同図に示したように、デバイス制御処理ユニットの起動時に、CM0内部のマップ作成部103が、SASインターフェースで接続されたSASデバイス(エクスパンダ)のルーティングテーブル(各デバイスエンクロージャが有する記憶媒体に対するアクセスを制御するための識別情報)を取得し、SASMAPを生成する(ステップS101)。
つぎにマップ作成部103は、SASMAPに登録された全エクスパンダからエクスパンダ情報領域の情報を取得し、ペアSASアドレスを取得する(ステップS102)。なお、このエクスパンダ情報の取得にはSASインターフェースを用いてもよいし、別の筐体間インターフェースを用いてもよい。
つぎに、誤接続判定部104は、SASマップに登録された最初のエントリに示されたエクスパンダを誤接続の判定対象に選択する(ステップS103)。誤接続判定部104は、判定対象エクスパンダについて、SASマップ上でDE−IDに基づいて(すなわちSASケーブルの実際の接続順序に基づいて)同一エンクロージャ内に存在すると看做される相手エクスパンダのSASアドレスを特定する(ステップS104)。
さらに、誤接続判定部104は、判定対象エクスパンダについて、相手エクスパンダのSASアドレスと、判定対象エクスパンダのペアSASアドレスとを比較する(ステップS105)。
その結果、比較結果が一致しなければ(ステップS106,No)、判定対象のエクスパンダのケーブル接続に誤接続が発生していると判定し(ステップS110)、処理を終了する。
一方、比較結果が一致したならば(ステップS106,Yes)、判定対象として選択したエクスパンダまでの経路は正しいと判定する(ステップS107)。そして、次のエクスパンダが存在するか否かを判定し、(ステップS108)、つぎのエクスパンダが存在するならば(ステップS108,Yes)、次のエクスパンダを判定対象に選択して(ステップS109)、ステップ104からの処理を繰り返す。
このようにして全てのエクスパンダについて判定が終了し、次のエクスパンダがなくなった場合(ステップS108,No)、処理を終了する。
つづいて図5を参照し、0系と1系のクロス接続について説明する。同図に示した構成では、コントロールエンクロージャCE0に、デバイスエンクロージャDE0、デバイスエンクロージャDE1、デバイスエンクロージャDE2、デバイスエンクロージャDE3がシリアルに接続されている。
ここで、デバイスエンクロージャDE0内のエクスパンダEX00、デバイスエンクロージャDE1内のエクスパンダEX10、デバイスエンクロージャDE2内のエクスパンダEX20、デバイスエンクロージャDE3内のエクスパンダEX30は、それぞれ拡張系列0系に使用すべきスロットに搭載されている。同様に、デバイスエンクロージャDE1内のエクスパンダEX01、デバイスエンクロージャDE1内のエクスパンダEX11、デバイスエンクロージャDE2内のエクスパンダEX21、デバイスエンクロージャDE3内のエクスパンダEX31は、それぞれ拡張系列1系に使用すべきスロットに搭載されている。
しかしながら、同図に示したケーブル配線では、デバイスエンクロージャDE1とDE2との間で配線が交差され、デバイスエンクロージャDE2,DE3では1系に接続すべきエクスパンダEX21とEX31を0系に、0系に接続すべきエクスパンダEX20とEX30を1系に接続している。
そこで、拡張系列0系、1系の順にSASMapのエントリを作成すると、図6に示すようにSASインターフェースから取得した接続情報では、拡張系列が「0」、「0」、「0」、「0」、「1」、「1」、「1」、「1」の順に並ぶ。
そして、エクスパンダ情報の拡張系列には、各エクスパンダがどのスロットに搭載されているかが格納されるので、「0」、「0」、「1」、「1」、「1」、「1」、「0」、「0」、の順に並ぶ。
ここで、エントリ2を確認すると、SASインターフェースから取得した拡張系列が「0」、エクスパンダ情報の拡張系列が「1」となっている。エクスパンダのケーブルを正しく接続したならば、各エントリについてSASインターフェースから取得した拡張系列の値とエクスパンダ情報の拡張系列の値は同一となるはずであるので、不一致が存在することからSASケーブルにクロス接続があると判定することができる。
図7は、クロス接続検出処理について説明するフローチャートである。まず、本処理動作を開始する前に前提として、各エクスパンダは、起動時に筐体のPLD(programmable logic device)からスロット位置情報(0系/1系)を取得し、エクスパンダ情報領域に拡張系列として記憶している。
同図に示したように、デバイス制御処理ユニットの起動時に、CM0内部のマップ作成部103が、SASインターフェースで接続されたSASデバイス(エクスパンダ)のルーティングテーブルを取得し、SASMAPを生成する(ステップS201)。
つぎにマップ作成部103は、SASMAPに登録された全エクスパンダからエクスパンダ情報領域の情報を取得し、拡張系列情報を取得する(ステップS202)。なお、この拡張系列情報の取得にはSASインターフェースを用いてもよいし、別の筐体間インターフェースを用いてもよい。
つぎに、誤接続判定部104は、SASマップに登録された最初のエントリに示されたエクスパンダを誤接続の判定対象に選択する(ステップS203)。誤接続判定部104は、判定対象エクスパンダについて、SASマップ上でSASケーブルの実際の接続順序に基づいて0系と1系のいずれの拡張系列に属しているかを特定する(ステップS204)。
さらに、誤接続判定部104は、判定対象エクスパンダについて、SAS接続状態に基づく拡張系列と、エクスパンダ情報として格納された拡張系列情報とを比較する(ステップS205)。
その結果、比較結果が一致しなければ(ステップS206,No)、判定対象のエクスパンダのケーブル接続にクロス接続が発生していると判定し(ステップS210)、処理を終了する。
一方、比較結果が一致したならば(ステップS206,Yes)、判定対象として選択したエクスパンダまでの経路は正しいと判定する(ステップS207)。そして、次のエクスパンダが存在するか否かを判定し、(ステップS208)、つぎのエクスパンダが存在するならば(ステップS208,Yes)、次のエクスパンダを判定対象に選択して(ステップS209)、ステップ204からの処理を繰り返す。
このようにして全てのエクスパンダについて判定が終了し、次のエクスパンダがなくなった場合(ステップS208,No)、処理を終了する。
以上説明してきたように、本実施例にかかるストレージシステムでは、デバイスエンクロージャ内で二重化されたエクスパンダ間をSASインターフェース以外のI2Cバスなどの簡単なインターフェースで接続し、エクスパンダがこの筐体内バス経由でそれぞれのエクスパンダに対して互いの固有IDであるSASアドレスをエクスパンダ情報(ペア情報)として設定し、デバイス制御処理ユニット(CM0,CM1)がエクスパンダからこの情報を取得する事でデバイスエンクロージャ内のペア状態を明確にすると同時に、SASデバイスのルーティングテーブルから生成したSASデバイスの接続情報(SASMAP)に登録されているSASアドレスと比較して、デバイスエンクロージャ内のペア状態と矛盾していないかをチェックする事で誤接続を検出する。
また、各エクスパンダが0系と1系のいずれに接続すべきスロットに搭載されているかを示す情報をエクスパンダ情報として設定し、搭載スロットが示す拡張系列と実際にケーブル接続された拡張系列とを比較することでクロス接続を検出する。
そのため、簡易な構成でケーブルの誤接続を検出可能なストレージシステム、デバイスコントローラ、およびケーブル誤接続判定方法を得ることができる。
以上の実施例を含む実施形態に関し、更に以下の付記を開示する。
(付記1)二重化されたデバイスコントローラを有する複数のストレージデバイス格納筐体間をケーブル接続したストレージシステムであって、
前記デバイスコントローラは前記ストレージデバイス格納筐体内における自らの状態をデバイスコントローラ情報として管理するデバイスコントローラ情報管理部を備え、
前記複数のストレージデバイス格納筐体を管理する全体管理部が、前記ケーブル接続の順序に基づく前記デバイスコントローラの接続状態と、前記デバイスコントローラ情報管理部から取得したデバイスコントローラ情報とに基づいて前記ケーブル接続における誤接続の有無を判定する誤接続判定部を備えたことを特徴とするストレージシステム。
(付記2)前記デバイスコントローラ情報は、同一筐体内に存在する他のデバイスコントローラの識別情報であり、前記誤接続判定部は、二重化された2系統のケーブル接続順序と、前記他のデバイスコントローラの識別情報から推定されるケーブル接続順序とが一致するか否かによって誤接続の有無を判定することを特徴とする付記1に記載のストレージシステム。
(付記3)前記デバイスコントローラ情報は、二重化された2系統のケーブル接続のいずれに対応するデバイスコントローラを搭載すべき搭載箇所に自らが搭載されたかを示す情報であり、前記誤接続判定部は、前記ケーブル接続順序によって示される実際に接続された系統と、前記搭載箇所が示す接続されるべき系統とが一致するか否かによって誤接続の有無を判定することを特徴とする付記1または2に記載のストレージシステム。
(付記4)ストレージデバイス格納筐体に搭載され、他の筐体とケーブル接続されるともに、同一筐体内の他のデバイスコントローラと冗長構成を成すデバイスコントローラであって、
同一筐体内に存在する他のデバイスコントローラの識別情報を取得する内部通信部と、
前記内部通信部が取得した情報をデバイスコントローラ情報として管理し、複数のストレージデバイス格納筐体を管理する全体管理部に対して前記デバイスコントローラ情報を誤接続判定用情報として提供するデバイスコントローラ情報管理部と、
を備えたことを特徴とするデバイスコントローラ。
(付記5)ストレージデバイス格納筐体に搭載され、他の筐体とケーブル接続されるともに、同一筐体内の他のデバイスコントローラと冗長構成を成すデバイスコントローラであって、
二重化された2系統のケーブル接続のいずれに対応するデバイスコントローラを搭載すべき搭載箇所に自らが搭載されたかを示す情報を取得する搭載情報取得部と、
前記搭載情報取得部が取得した情報をデバイスコントローラ情報として管理し、複数のストレージデバイス格納筐体を管理する全体管理部に対して前記デバイスコントローラ情報を誤接続判定用情報として提供するデバイスコントローラ情報管理部と、
を備えたことを特徴とするデバイスコントローラ。
(付記6)二重化されたデバイスコントローラを有する複数のストレージデバイス格納筐体間をケーブル接続したストレージシステムのケーブル誤接続判定方法であって、
前記デバイスコントローラが前記ストレージデバイス格納筐体内における自らの状態をデバイスコントローラ情報として管理するデバイスコントローラ情報管理ステップと、
前記複数のストレージデバイス格納筐体を管理する全体管理部が、前記ケーブル接続の順序に基づく前記デバイスコントローラの接続状態と、前記デバイスコントローラ情報とに基づいて前記ケーブル接続における誤接続の有無を判定する誤接続判定ステップと、
を含んだことを特徴とするケーブル誤接続判定方法。
(付記7)前記デバイスコントローラ情報は、同一筐体内に存在する他のデバイスコントローラの識別情報であり、前記誤接続判定ステップは、二重化された2系統のケーブル接続順序と、前記他のデバイスコントローラの識別情報から推定されるケーブル接続順序とが一致するか否かによって誤接続の有無を判定することを特徴とする付記6に記載のケーブル誤接続判定方法。
(付記8)前記デバイスコントローラ情報は、二重化された2系統のケーブル接続のいずれに対応するデバイスコントローラを搭載すべき搭載箇所に自らが搭載されたかを示す情報であり、前記誤接続判定ステップは、前記ケーブル接続順序によって示される実際に接続された系統と、前記搭載箇所が示す接続されるべき系統とが一致するか否かによって誤接続の有無を判定することを特徴とする付記6または7に記載のケーブル誤接続判定方法。
以上のように、本発明は、二重化されたデバイスコントローラを有する複数のストレージデバイス格納筐体間をケーブル接続したストレージシステムにおけるケーブルの誤接続検出に適している。
本発明の実施例にかかるストレージシステムの概要構成を説明する概要構成図である。 0系と1系の接続順序の不一致について説明する説明図である。 接続順序の不一致がある場合のSASMapについて説明する説明図である。 接続順序の不一致検出処理について説明するフローチャートである。 0系と1系のクロス接続について説明する説明図である。 クロス接続がある場合のSASMapについて説明する説明図である。 クロス接続検出処理について説明するフローチャートである。
符号の説明
CE0 コントロールエンクロージャ
CM0,CM1 デバイス制御ユニット
DE0〜DE3 デバイスエンクロージャ
EX00,EX01,EX10,EX11,EX20,EX21,EX30,EX31 エクスパンダ
101,111 主制御部
102,112 SASMap記憶部
103,113 マップ作成部
104,114 誤接続判定部
201,211 SAS通信部
202,212 ID格納部
203,213 スロット情報格納部
204,214 内部通信部
205,215 エクスパンダ情報保持部

Claims (6)

  1. 二重化されたデバイスコントローラを有する複数のストレージデバイス格納筐体間をケーブル接続したストレージシステムであって、
    前記デバイスコントローラは前記ストレージデバイス格納筐体内における自らの状態をデバイスコントローラ情報として管理するデバイスコントローラ情報管理部を備え、
    前記複数のストレージデバイス格納筐体を管理する全体管理部が、前記ケーブル接続の順序に基づく前記デバイスコントローラの接続状態と、前記デバイスコントローラ情報管理部から取得したデバイスコントローラ情報とに基づいて前記ケーブル接続における誤接続の有無を判定する誤接続判定部を備えたことを特徴とするストレージシステム。
  2. 前記デバイスコントローラ情報は、同一筐体内に存在する他のデバイスコントローラの識別情報であり、前記誤接続判定部は、二重化された2系統のケーブル接続順序と、前記他のデバイスコントローラの識別情報から推定されるケーブル接続順序とが一致するか否かによって誤接続の有無を判定することを特徴とする請求項1に記載のストレージシステム。
  3. 前記デバイスコントローラ情報は、二重化された2系統のケーブル接続のいずれに対応するデバイスコントローラを搭載すべき搭載箇所に自らが搭載されたかを示す情報であり、前記誤接続判定部は、前記ケーブル接続順序によって示される実際に接続された系統と、前記搭載箇所が示す接続されるべき系統とが一致するか否かによって誤接続の有無を判定することを特徴とする請求項1または2に記載のストレージシステム。
  4. ストレージデバイス格納筐体に搭載され、他の筐体とケーブル接続されるともに、同一筐体内の他のデバイスコントローラと冗長構成を成すデバイスコントローラであって、
    同一筐体内に存在する他のデバイスコントローラの識別情報を取得する内部通信部と、
    前記内部通信部が取得した情報をデバイスコントローラ情報として管理し、複数のストレージデバイス格納筐体を管理する全体管理部に対して前記デバイスコントローラ情報を誤接続判定用情報として提供するデバイスコントローラ情報管理部と、
    を備えたことを特徴とするデバイスコントローラ。
  5. ストレージデバイス格納筐体に搭載され、他の筐体とケーブル接続されるともに、同一筐体内の他のデバイスコントローラと冗長構成を成すデバイスコントローラであって、
    二重化された2系統のケーブル接続のいずれに対応するデバイスコントローラを搭載すべき搭載箇所に自らが搭載されたかを示す情報を取得する搭載情報取得部と、
    前記搭載情報取得部が取得した情報をデバイスコントローラ情報として管理し、複数のストレージデバイス格納筐体を管理する全体管理部に対して前記デバイスコントローラ情報を誤接続判定用情報として提供するデバイスコントローラ情報管理部と、
    を備えたことを特徴とするデバイスコントローラ。
  6. 二重化されたデバイスコントローラを有する複数のストレージデバイス格納筐体間をケーブル接続したストレージシステムのケーブル誤接続判定方法であって、
    前記デバイスコントローラが前記ストレージデバイス格納筐体内における自らの状態をデバイスコントローラ情報として管理するデバイスコントローラ情報管理ステップと、
    前記複数のストレージデバイス格納筐体を管理する全体管理部が、前記ケーブル接続の順序に基づく前記デバイスコントローラの接続状態と、前記デバイスコントローラ情報とに基づいて前記ケーブル接続における誤接続の有無を判定する誤接続判定ステップと、
    を含んだことを特徴とするケーブル誤接続判定方法。
JP2008019415A 2008-01-30 2008-01-30 ストレージシステムおよびケーブル誤接続判定方法 Expired - Fee Related JP4685118B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008019415A JP4685118B2 (ja) 2008-01-30 2008-01-30 ストレージシステムおよびケーブル誤接続判定方法
US12/362,085 US20090193158A1 (en) 2008-01-30 2009-01-29 Storage system, device controller, and improper cable connection determination method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008019415A JP4685118B2 (ja) 2008-01-30 2008-01-30 ストレージシステムおよびケーブル誤接続判定方法

Publications (2)

Publication Number Publication Date
JP2009181317A true JP2009181317A (ja) 2009-08-13
JP4685118B2 JP4685118B2 (ja) 2011-05-18

Family

ID=40900362

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008019415A Expired - Fee Related JP4685118B2 (ja) 2008-01-30 2008-01-30 ストレージシステムおよびケーブル誤接続判定方法

Country Status (2)

Country Link
US (1) US20090193158A1 (ja)
JP (1) JP4685118B2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7913023B2 (en) * 2008-09-05 2011-03-22 Lsi Corporation Specifying lanes for SAS wide port connections
JP2011128836A (ja) * 2009-12-17 2011-06-30 Nec Corp ディスクアレイ装置及びその制御方法
US8077605B2 (en) 2008-09-05 2011-12-13 Lsi Corporation Method for providing path failover for multiple SAS expanders operating as a single SAS expander
US8244948B2 (en) 2008-09-05 2012-08-14 Lsi Corporation Method and system for combining multiple SAS expanders into a SAS switch
US8321596B2 (en) 2008-09-05 2012-11-27 Lsi Corporation SAS paired subtractive routing
US20130191573A1 (en) * 2012-01-19 2013-07-25 Lsi Corporation Methods and systems for reduced signal path count for interconnect signals within a storage system expander
US8656058B2 (en) 2008-09-05 2014-02-18 Lsi Corporation Back-off retry with priority routing
JP2015111378A (ja) * 2013-12-06 2015-06-18 富士通株式会社 ストレージ制御装置、ストレージ装置及びストレージ制御プログラム
JP2017220267A (ja) * 2017-09-21 2017-12-14 日本電気株式会社 ディスクアレイ装置およびそのケーブル誤接続検出方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013002785A1 (en) * 2011-06-29 2013-01-03 Hewlett-Packard Development Company, L.P. Storage enclosure bridge detection
JP2013134607A (ja) * 2011-12-26 2013-07-08 Fujitsu Ltd ストレージ装置及びストレージ装置の制御方法
US20150248320A1 (en) * 2014-02-28 2015-09-03 Red Hat Israel, Ltd. Host-storage connectivity monitoring
US9983970B2 (en) * 2016-04-06 2018-05-29 Oracle International Corporation Redundant cable routing management in storage systems

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06300808A (ja) * 1993-04-19 1994-10-28 Fujitsu Ltd ケーブル配線検査方式
JPH07146826A (ja) * 1993-07-02 1995-06-06 Tandem Comput Inc セクション間交差ケーブル検出システム
JPH10270120A (ja) * 1997-03-27 1998-10-09 Mitsubishi Electric Corp 誤接続監視装置
JP2004094774A (ja) * 2002-09-03 2004-03-25 Nec Corp ループ状インタフェースの障害解析方法及び障害解析機能を有するシステム
US20040061486A1 (en) * 2002-09-26 2004-04-01 Peeke Douglas E. System and method of detecting an improper cable connection in a system
JP2005182245A (ja) * 2003-12-17 2005-07-07 Hitachi Ltd ディスクアレイ装置の接続支援方法
JP2007034791A (ja) * 2005-07-28 2007-02-08 Hitachi Global Storage Technologies Netherlands Bv Fc−alシステム及びfc−alシステムのデータ転送方法
JP2007266708A (ja) * 2006-03-27 2007-10-11 Fujitsu Ltd ケーブル誤接続検出装置及び方法
US7502669B1 (en) * 2006-06-26 2009-03-10 Emc Corporation Apparatus and method for graphically displaying disk drive enclosures and cabling in a data storage system

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5553230A (en) * 1995-01-18 1996-09-03 Hewlett-Packard Company Identifying controller pairs in a dual controller disk array
US6282584B1 (en) * 1998-08-18 2001-08-28 International Business Machines Corporation Structure and method for reading/writing signature commands from/to a plurality of controller pairs
US6988136B2 (en) * 2001-10-19 2006-01-17 Hewlett-Packard Development Company, L.P. Unified management system and method for multi-cabinet data storage complexes
JP2004199551A (ja) * 2002-12-20 2004-07-15 Fujitsu Ltd ストレージシステム及び障害ストレージ装置の切り離し方法
US7870374B2 (en) * 2007-09-27 2011-01-11 International Business Machines Corporation Validating physical and logical system connectivity of components in a data processing system

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06300808A (ja) * 1993-04-19 1994-10-28 Fujitsu Ltd ケーブル配線検査方式
JPH07146826A (ja) * 1993-07-02 1995-06-06 Tandem Comput Inc セクション間交差ケーブル検出システム
JPH10270120A (ja) * 1997-03-27 1998-10-09 Mitsubishi Electric Corp 誤接続監視装置
JP2004094774A (ja) * 2002-09-03 2004-03-25 Nec Corp ループ状インタフェースの障害解析方法及び障害解析機能を有するシステム
US20040061486A1 (en) * 2002-09-26 2004-04-01 Peeke Douglas E. System and method of detecting an improper cable connection in a system
JP2005182245A (ja) * 2003-12-17 2005-07-07 Hitachi Ltd ディスクアレイ装置の接続支援方法
JP2007034791A (ja) * 2005-07-28 2007-02-08 Hitachi Global Storage Technologies Netherlands Bv Fc−alシステム及びfc−alシステムのデータ転送方法
JP2007266708A (ja) * 2006-03-27 2007-10-11 Fujitsu Ltd ケーブル誤接続検出装置及び方法
US7502669B1 (en) * 2006-06-26 2009-03-10 Emc Corporation Apparatus and method for graphically displaying disk drive enclosures and cabling in a data storage system

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7913023B2 (en) * 2008-09-05 2011-03-22 Lsi Corporation Specifying lanes for SAS wide port connections
US8077605B2 (en) 2008-09-05 2011-12-13 Lsi Corporation Method for providing path failover for multiple SAS expanders operating as a single SAS expander
US8244948B2 (en) 2008-09-05 2012-08-14 Lsi Corporation Method and system for combining multiple SAS expanders into a SAS switch
US8321596B2 (en) 2008-09-05 2012-11-27 Lsi Corporation SAS paired subtractive routing
US8656058B2 (en) 2008-09-05 2014-02-18 Lsi Corporation Back-off retry with priority routing
JP2011128836A (ja) * 2009-12-17 2011-06-30 Nec Corp ディスクアレイ装置及びその制御方法
US20130191573A1 (en) * 2012-01-19 2013-07-25 Lsi Corporation Methods and systems for reduced signal path count for interconnect signals within a storage system expander
US8626974B2 (en) * 2012-01-19 2014-01-07 Lsi Corporation Methods and systems for reduced signal path count for interconnect signals within a storage system expander
JP2015111378A (ja) * 2013-12-06 2015-06-18 富士通株式会社 ストレージ制御装置、ストレージ装置及びストレージ制御プログラム
JP2017220267A (ja) * 2017-09-21 2017-12-14 日本電気株式会社 ディスクアレイ装置およびそのケーブル誤接続検出方法

Also Published As

Publication number Publication date
JP4685118B2 (ja) 2011-05-18
US20090193158A1 (en) 2009-07-30

Similar Documents

Publication Publication Date Title
JP4685118B2 (ja) ストレージシステムおよびケーブル誤接続判定方法
JP4354495B2 (ja) ディスクドライブの自動認識設定装置
KR101196547B1 (ko) 결정론적 sas 검색 및 구성을 위한 방법
US7694029B2 (en) Detecting miscabling in a storage area network
JP5535322B2 (ja) バックエンドでの通信の規格がsasであるストレージシステム
CN110290547A (zh) 一种WiFi模块故障恢复方法、系统及电子设备和存储介质
CN108874441A (zh) 一种板卡配置方法、装置、服务器和存储介质
TW201734787A (zh) 電子裝置及其檢測方法
US8522075B2 (en) Storage system having storage devices for storing data and control devices for controlling the storage devices
JP5651962B2 (ja) Raid装置、異常デバイス検出装置および異常デバイス検出方法
US20080256313A1 (en) System, Method And Computer Program Product For Remote Mirroring
JP2008276755A (ja) ホストバスアダプタ用ドライバ及びオペレーティングシステムのインストール方法
US8130779B2 (en) Switch device, storage system, and routing method determining output port for a frame based on hop count
JP5868563B1 (ja) 分散型制御システム用制御機器及びユニット
JP6760086B2 (ja) 設定プログラム、設定方法、及び設定装置
JP2015525910A (ja) ディスクアレイシステム及び接続方法
JP2007148714A (ja) ホストバスアダプタ用ドライバプログラム
US9026706B2 (en) Method and system for detecting multiple expanders in an SAS topology having the same address
JP2012235335A (ja) 装置間ケーブルの誤接続検出方法及び装置
EP2900041A2 (en) DALI Short Address Conflict Detection
US8775695B2 (en) Specific identification information management device, information processing device, and specific identification information setting method
JP5278267B2 (ja) エンドカバー、これを備えたプログラマブルロジックコントローラ装置、エンドカバー装着有無確認方法、及びプログラマブルロジックコントローラ装置の故障診断方法
EP2782013A2 (en) Fault-spot locating method, switching apparatus, fault-spot locating apparatus, and information processing apparatus
JP2010231362A (ja) 電子機器の制御装置及びその制御装置を用いた空気調和機
JP5609272B2 (ja) サーバ装置、サーバシステム及びサーバ装置の制御方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100105

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100305

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20101005

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110105

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20110112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110208

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110209

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140218

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees