JP2007141229A - ストレージ・アレイ内でネットワーク・アドレスを割り当てるための装置および方法 - Google Patents

ストレージ・アレイ内でネットワーク・アドレスを割り当てるための装置および方法 Download PDF

Info

Publication number
JP2007141229A
JP2007141229A JP2006298760A JP2006298760A JP2007141229A JP 2007141229 A JP2007141229 A JP 2007141229A JP 2006298760 A JP2006298760 A JP 2006298760A JP 2006298760 A JP2006298760 A JP 2006298760A JP 2007141229 A JP2007141229 A JP 2007141229A
Authority
JP
Japan
Prior art keywords
data storage
storage device
data
spare
device assembly
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006298760A
Other languages
English (en)
Other versions
JP4979348B2 (ja
Inventor
Robert A Kubo
ロバート・アキラ・クボ
John C Elliott
ジョン・チャールズ・エリオット
Stephen Lukas Greg
グレッグ・スティーブン・ルーカス
Mohammad Rezaul Shah
シャー・モハメド・レザウル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of JP2007141229A publication Critical patent/JP2007141229A/ja
Application granted granted Critical
Publication of JP4979348B2 publication Critical patent/JP4979348B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/1658Data re-synchronization of a redundant component, or initial sync of replacement, additional or spare unit
    • G06F11/1662Data re-synchronization of a redundant component, or initial sync of replacement, additional or spare unit the resynchronized component or unit being a persistent storage device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2094Redundant storage or storage space
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2002Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where interconnections or communication control functionality are redundant
    • G06F11/2007Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where interconnections or communication control functionality are redundant using redundant communication media
    • G06F11/201Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where interconnections or communication control functionality are redundant using redundant communication media between storage system components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2089Redundant storage control functionality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】ストレージ・アレイ内でネットワーク・アドレスを割り当てる方法を提供する。
【解決手段】この方法は、予備のデータ・ストレージ・デバイス・アセンブリと、(N−1)のアクティブ・データ・ストレージ・デバイス・アセンブリを有する第1のストレージ・アレイとを有するように、(N)のデータ・ストレージ・デバイス・アセンブリを構成し、それぞれのデータ・ストレージ・デバイスにはネットワーク・アドレスが割り当てられ、予備のデータ・ストレージ・デバイス・アセンブリ内に配置された予備のデータ・ストレージ・デバイスのうちの1つにはネットワーク・アドレスが割り当てられる。この方法が、第1のストレージ・アレイ内に障害を検出した場合、(i)番目の予備のデータ・ストレージ・デバイスと組み合わせて、障害のあるデータ・ストレージ・デバイスを除く第1のストレージ・アレイを有する第2のストレージ・アレイを形成する。
【選択図】 図1

Description

本発明は、ストレージ・アレイ内でネットワーク・アドレスを割り当てるための装置および方法に関する。
データ・ストレージおよび検索システムは、1つまたは複数のホスト・コンピュータ・システムによって提供される情報を格納するために使用される。こうしたデータ・ストレージおよび検索システムは、複数のデータ・ストレージ・デバイスに情報を書き込むための要求、およびその複数のデータ・ストレージ・デバイスから情報を検索するための要求を受け取る。読み取り要求を受け取ると、システムは複数のデータ・ストレージ・デバイスから情報を再呼び出しし、オプションでその情報をデータ・キャッシュに移動する。このようにしてシステムは、複数のデータ・ストレージ・デバイスとの間で、またオプションでデータ・キャッシュとの間で、情報を継続的に移動している。
当分野では、複数のデータ・ストレージ・デバイスがストレージ・アレイを形成するように構成されることが知られている。ある実施形態では、こうしたストレージ・アレイは2つまたはそれ以上のデータ・ストレージ・デバイス・アセンブリを有し、それらのアセンブリはそれぞれ2つまたはそれ以上のデータ・ストレージ・デバイスを有する。
「SEL_n信号」と題する双方向ESIを備えた40ピンSCA−2コネクタに関するSFF委員会SFF−8067規格のセクション6.4.1.3
さらに、データ・ストレージ・デバイス・アセンブリのうちの1つに配置されたデータ・ストレージ・デバイスの障害時に、複数のデータ・ストレージ・デバイス・アセンブリを有するデータ・ストレージ・アレイ内でネットワーク・アドレスを割り当てるための方法が求められている。
出願人の発明は、ストレージ・アレイ内でネットワーク・アドレスを割り当てるための方法を有する。本発明は、(N)のデータ・ストレージ・デバイス・アセンブリ内に配置された(P)のデータ・ストレージ・デバイスを有するデータ・ストレージおよび検索システムを供給し、(N)のデータ・ストレージ・デバイス・アセンブリのそれぞれが(M)のデータ・ストレージ・デバイスを有し、(P)は4に等しいかまたはこれより大きく、(N)は2より大きいかまたは等しく、(M)は2より大きいかまたは等しい。本方法は、(Q)のネットワーク・アドレスを生成し、ここで(Q)は(P)より小さく、(Q)のネットワーク・アドレスのそれぞれを異なるデータ・ストレージ・デバイスに割り当て、ここで(P)のデータ・ストレージ・デバイスは、ネットワーク・アドレスが割り当てられた(Q)のデータ・ストレージ・デバイスと、ネットワーク・アドレスが割り当てられていない(P−Q)のデータ・ストレージ・デバイスとを有する。
本方法は、予備のデータ・ストレージ・デバイス・アセンブリと、(N−1)のアクティブ・データ・ストレージ・デバイス・アセンブリを有する第1のストレージ・アレイとを有するように、(N)のデータ・ストレージ・デバイス・アセンブリを構成し、第1のストレージ・アレイ内に構成されたそれぞれのデータ・ストレージ・デバイスにはネットワーク・アドレスが割り当てられ、予備のデータ・ストレージ・デバイス・アセンブリ内に配置された(i)番目の予備のデータ・ストレージ・デバイスにはネットワーク・アドレスが割り当てられ、(i)は1より大きいかまたは等しく、(M)より小さいかまたは等しい。本方法が障害のあるデータ・ストレージ・デバイスを検出し、その障害のあるデータ・ストレージ・デバイスが機能低下したデータ・ストレージ・デバイス・アセンブリ内に配置され、第1のストレージ・アレイがその機能低下したデータ・ストレージ・デバイス・アセンブリを有する場合、本方法は、(i)番目の予備のデータ・ストレージ・デバイスと組み合わせて、障害のあるデータ・ストレージ・デバイスを除く第1のストレージ・アレイを有する第2のストレージ・アレイを形成する。
本発明は、同じ要素を指定するために同じ参照番号が使用されている図面と共に以下の詳細な説明を読むことによって、より良く理解されるであろう。
本発明について、図面を参照しながら、以下に記載した好ましい諸実施形態で説明するが、これらの図面では同じ番号が同じかまたは同様の要素を表す。本発明は、6つのデータ・ストレージ・デバイス・アセンブリを有する情報ストレージおよび検索システムで具体化されるものとして説明され、ここで、それらのデータ・ストレージ・デバイス・アセンブリはそれぞれ、3つのデータ・ストレージ・デバイスを有する。しかしながら、本発明は一般に、データ・ストレージ・デバイス・アセンブリのそれぞれが複数のデータ・ストレージ・デバイスを有する複数のデータ・ストレージ・デバイス・アセンブリを有する情報ストレージおよび検索システムで実装可能であるため、出願人の発明のこの説明は、出願人の発明を18のデータ・ストレージ・デバイスを有する情報ストレージおよび検索システムに限定することを意図するものではない。
次に、図1を参照すると、情報ストレージおよび検索システム100は、通信リンク395を介してホスト・コンピュータ390と通信することができる。例示された図1の実施形態では、単一のホスト・コンピュータを示す。他の諸実施形態では、出願人の情報ストレージおよび検索システムは複数のホスト・コンピュータと通信することができる。
ホスト・コンピュータ390は、Windows、AIX、Unix、MVS、LINUXなどのオペレーティング・システムを含む、メインフレーム、パーソナル・コンピュータ、ワークステーション、およびそれらの組み合わせなどの、コンピュータ・システムを有する(WindowsはMicrosoft Corporationの登録商標、AIXはIBM Corporationの登録商標、MVSはIBM Corporationの商標、Unixは米国およびその他の国でThe Open Groupにより独占的にライセンス交付を受けた登録商標、ならびにLINUXはLinus Torvaldの登録商標である)。ある諸実施形態では、ホスト・コンピュータ390はストレージ管理プログラムをさらに含む。ホスト・コンピュータ390内のストレージ管理プログラムは、IBM MVSオペレーティング・システムに実装されたIBM DFSMSなどの、データ・ストレージおよび検索システムとの間でのデータの転送を管理する、当分野で知られたストレージ管理タイプ・プログラムの機能を含むことができる。
ある諸実施形態では、出願人の情報ストレージおよび検索システムは複数のホスト・アダプタを含む。例示された図1の実施形態では、システム100はホスト・アダプタ102〜105、107〜110、112〜115、および117〜120を有する。他の諸実施形態では、出願人の情報ストレージおよび検索システムは16よりも少ないホスト・アダプタを含む。さらに他の諸実施形態では、出願人の情報ストレージおよび検索システムは16よりも多くのホスト・アダプタを含む。ある諸実施形態では、1つまたは複数のホスト・アダプタはマルチポートである。出願人のシステムの任意の実施形態に配置されたホスト・アダプタの数にかかわらず、それらホスト・アダプタはそれぞれ、中央処理/キャッシュ要素130および140の両方に等しくアクセスできる共有リソースを有する。
各ホスト・アダプタは、1つまたは複数のファイバ・チャネル・ポート、1つまたは複数のFICONポート、1つまたは複数のESCONポート、あるいは1つまたは複数のSCSIポート、その他を有することができる。各ホスト・アダプタは、各クラスタ・ノードが任意のホスト・アダプタからのI/Oを処理できるように、相互接続バス121を介して両方のクラスタ・ノードに接続される。各サブシステム内の内部バスは、それぞれ、プロセッサ部分130/140とI/O部分160/170との間のリモートI/Oブリッジ155/195を介して接続される。
プロセッサ部分130は、プロセッサ132およびキャッシュ134を含む。ある諸実施形態では、プロセッサ部分130はさらにメモリ133を含む。ある諸実施形態では、メモリ・デバイス133はランダム・アクセス・メモリを有する。ある諸実施形態では、メモリ・デバイス133は不揮発性メモリを有する。
プロセッサ部分140は、プロセッサ142およびキャッシュ144を含む。ある諸実施形態では、プロセッサ部分140はさらにメモリ143を含む。ある諸実施形態では、メモリ・デバイス143はランダム・アクセス・メモリを有する。ある諸実施形態では、メモリ・デバイス143は不揮発性メモリを有する。
I/O部分160は、例示された図1の実施形態ではデバイス・アダプタ165、166、167、および168を有する、複数のデバイス・アダプタ161を有する。さらにI/O部分160は、不揮発性ストレージ(「NVS」)162およびNVS 162用のバッテリ・バックアップ164も有する。
I/O部分170は、例示された図1の実施形態ではデバイス・アダプタ175、176、177、および178を有する、複数のデバイス・アダプタ171を有する。さらにI/O部分170は、不揮発性ストレージ(「NVS」)172およびNVS 172用のバッテリ・バックアップ174も有する。
出願人のシステムのある諸実施形態では、1つまたは複数のホスト・アダプタ、プロセッサ部分130、および1つまたは複数のデバイス・アダプタが、出願人の情報ストレージおよび検索システム内に配置された第1の制御カード上に配置される。同様に、ある諸実施形態では、1つまたは複数のホスト・アダプタ、プロセッサ部分140、1つまたは複数のデバイス・アダプタが、出願人の情報ストレージおよび検索システム内に配置された第2の制御カード上に配置される。
例示された図1の実施形態では、16のデータ・ストレージ・デバイスが2つのアレイ、すなわちアレイ180およびアレイ190に編成される。例示された図1の実施形態は、2つのストレージ・デバイス・アレイを示す。
ある諸実施形態では、データ・ストレージ・デバイスのうちの1つまたは複数が複数のハード・ディスク・ドライブ・ユニットを有する。ある諸実施形態では、アレイ180および190はRAIDプロトコルを利用する。ある諸実施形態では、アレイ180および190は、時にはJBODアレイ、すなわちアレイがRAIDに従って構成されていない「Just a Bunch Of Disks」と呼ばれるアレイを有する。ある諸実施形態では、アレイ180および190は、時にはSOBDアレイ、すなわち「Switched Bunch Of Disks」と呼ばれるアレイを有する。
例示された図1の実施形態は、2つのストレージ・デバイス・アレイを示す。他の諸実施形態では、出願人のシステムは単一のストレージ・デバイス・アレイを含む。さらに他の諸実施形態では、出願人のシステムは複数のストレージ・デバイス・アレイを含む。
例示された図2の実施形態は、出願人の情報ストレージおよび検索システムは、スイッチの2重ファイバ・チャネル・アービトレーテッド(「FC−AL」)ループを有し、イニシエータ205aおよびイニシエータ205bが2つのFC−ALループと相互接続される。例示された図2の実施形態では、イニシエータ205aは複数のホスト・アダプタ101(図1、2)、制御要素130(図1、2)、およびデバイス・アダプタ165(図1、2)を有する。例示された図2の実施形態では、イニシエータ205bは複数のホスト・アダプタ111(図1、2)、制御要素140(図1、2)、およびデバイス・アダプタ175(図1、2)を有する。
各FC−ALループは、ローカル・コントローラ210、220、230、240、250、および260などの1つまたは複数のローカル・コントローラを含む。各ローカル・コントローラは、スイッチ、プロセッサ、およびマイクロコードを有する。ある諸実施形態では、スイッチはファイバ・チャネル・スイッチを有する。ある諸実施形態では、プロセッサはSESプロセッサを有する。たとえばローカル・コントローラ210、220、230、240、250、および260は、それぞれプロセッサ212、222、232、242、252、および262を含む。同様に、ローカル・コントローラ210、220、230、240、250、および260は、それぞれスイッチ214、224、234、244、254、および264を含む。さらにローカル・コントローラ210、220、230、240、250、および260は、それぞれマイクロコード216、226、236、246、256、および266を含む。
ローカル・コントローラ210は、複数のデータ・ストレージ・デバイス270と組み合わせて第1のスイッチ・ドメインを有する。ローカル・コントローラ240は、複数のデータ・ストレージ・デバイス270と組み合わせて第2のスイッチ・ドメインを有する。
次に図3を参照すると、ある諸実施形態では、出願人の装置は1つまたは複数のスイッチを1つまたは複数のデータ・ストレージ・デバイスに相互接続するミッドプレーンをさらに含む。例示された図3の実施形態では、コントローラ210(図2、3)はファイバ・チャネル・スイッチ214(図2、3)およびSESプロセッサ212(図2、3)を有する。複数の通信リンク320は、ファイバ・チャネル・スイッチ214をミッドプレーン310に相互接続する。複数の通信リンク340は、データ・ストレージ・デバイス270(図2、3)をミッドプレーン310に相互接続する。
コントローラ240(図2、3)は、ファイバ・チャネル・スイッチ244(図2、3)およびSESプロセッサ242(図2、3)を有する。複数の通信リンク330は、ファイバ・チャネル・スイッチ244をミッドプレーン310に相互接続する。
信号は、スイッチ214により、通信リンク320、通信リンク340、およびミッドプレーン310を介してデータ・ストレージ・デバイス270に提供される。同様に、信号は、スイッチ244により、通信リンク340、通信リンク340、およびミッドプレーン310を介してデータ・ストレージ・デバイス270に提供される。
例示された図3の実施形態では、データ・ストレージ・デバイス270は6つの別々のデータ・ストレージ・デバイス・アセンブリ内に配置される。図3および図4を参照すると、図3のデータ・ストレージ・デバイス1、2、および3は図4のデータ・ストレージ・デバイス・アセンブリ350を有する。図3のデータ・ストレージ・デバイス4、5、および6は図4のデータ・ストレージ・デバイス・アセンブリ355を有する。図3のデータ・ストレージ・デバイス7、8、および9は図4のデータ・ストレージ・デバイス・アセンブリ360を有する。図3のデータ・ストレージ・デバイス10、11、および12は図4のデータ・ストレージ・デバイス・アセンブリ365を有する。図3のデータ・ストレージ・デバイス13、14、および15は図4のデータ・ストレージ・デバイス・アセンブリ370を有する。図3のデータ・ストレージ・デバイス16、17、および18は図4のデータ・ストレージ・デバイス・アセンブリ375を有する。
ある諸実施形態では、データ・ストレージ・デバイス・アセンブリ350、355、360、365、370、および375はデータ・ストレージ・デバイスの論理グループを有する。ある諸実施形態では、データ・ストレージ・デバイス・アセンブリ350、355、360、365、370、および375はデータ・ストレージ・デバイスの物理グループを有し、各物理グループは3つのデータ・ストレージ・デバイスと、それら3つのデータ・ストレージ・デバイス用のミッドプレーン310との関連する相互接続とを有する。
ある諸実施形態では、データ・ストレージ・デバイスのこうした各物理グループが統合(integral)アセンブリを有する。ある諸実施形態では、データ・ストレージ・デバイスのこうした各物理グループがサービス境界を有し、そのアセンブリ内に配置された任意の1つのデータ・ストレージ・デバイスの修理または置換には、データ・ストレージ・デバイス・アセンブリ全体を出願人のデータ・ストレージおよび検索システムから除去する必要がある。
出願人の装置および方法は、アービトレーテッド・ループの物理アドレス(「AL_PA」)を使用してストレージ・デバイスにアドレス指定する。FC−ALアーキテクチャは、各FC−ALループ上で使用可能なAL_PAの数を127(FLポート用に1つ、NLポート用に126)に限定する。モジュラ・ストレージ・システムの場合、各モジュールには通常、2進倍数、すなわち2、4、8、16、32などの使用可能なAL_PAが割り当てられる。ある諸実施形態では、出願人のストレージ・アレイは非2進倍数のストレージ・デバイスを有する。たとえば、再度図3および図4を参照すると、ストレージ・アレイ270は18のストレージ・デバイスを有する。これら18のストレージ・デバイスそれぞれに異なるAL_PAを割り当てるためには、通常、合計32のAL_PAをモジュールに対して割り振る必要がある。これらの割り振られた32のAL_PAのうちの14は使用されないことになる。
図5は、図4の6つのデータ・ストレージ・デバイス・アセンブリを示す。ストレージ・アレイ410は、データ・ストレージ・デバイス・アセンブリ350、355、360、365、および370を有するように構成される。データ・ストレージ・デバイス・アセンブリ375は予備のアセンブリを有し、データ・ストレージ・デバイス432、434、および436は、それぞれ予備のデバイスを有する。
ある諸実施形態では、出願人の方法は、参照により本明細書に組み込まれた、「SEL_n信号」と題する双方向ESIを備えた40ピンSCA−2コネクタに関するSFF委員会SFF−8067規格(以下、「AL_PA規格」と呼ぶ)のセクション6.4.1.3に準拠している。当業者であれば、SFF委員会が、ディスク業界のニーズに対処するために迅速な方法で形成された臨時グループであることを理解されよう。1990年に形成された当時、最初の目標は、ディスク・ドライブ用の事実上の機械エンベロープを定義することに限られていたため、ラップトップ・コンピュータおよび他の小型製品に収めることができた。1992年11月、SFF委員会の目標は、迅速な業界の動きを必要とする他の領域を包含するように広げられた。開発時間を削減するため、SFS規格の対象範囲は狭い。
他の要件の中でも、AL_PA規格は、ストレージ・デバイスが、検出されたSEL_n信号入力に基づき、FC−AL内のテーブルに従ってSCSIデバイス用の適切なAL_PA(AL物理アドレス)にマッピングされたループ識別子を要求するように、指定している。AL_PAという用語は、以下で、実FC−AL定義アービトレーテッド・ループ物理アドレスあるいはAL_PA規格に定義されたSEL_n信号、またはその両方を指すように、同義的に使用される。
データ・ストレージ・デバイス・アセンブリ350は、データ・ストレージ・デバイス402、404、および406を有し、これらのデータ・ストレージ・デバイスには、それぞれAL_PA 10、11、および12が割り当てられる。実際の実装では、実AL_PAアドレスが本明細書で使用されているものとは異なるフォーマットを有する場合がある。当業者であれば理解されるように、AL_PAアドレスが指定されたストレージ・デバイスは、指定されたsel_n信号に関連付けられたAL_PAを要求するように命令される。
データ・ストレージ・デバイス・アセンブリ355は、データ・ストレージ・デバイス408、410、および412を有し、これらのデータ・ストレージ・デバイスには、それぞれAL_PA 13、14、および15が割り当てられる。データ・ストレージ・デバイス・アセンブリ360はデータ・ストレージ・デバイス414、416、および418を有し、これらのデータ・ストレージ・デバイスには、それぞれAL_PA 16、17、および18が割り当てられる。データ・ストレージ・デバイス・アセンブリ365はデータ・ストレージ・デバイス420、422、および424を有し、これらのデータ・ストレージ・デバイスには、それぞれAL_PA 19、1A、および1Bが割り当てられる。データ・ストレージ・デバイス・アセンブリ370はデータ・ストレージ・デバイス426、428、および430を有し、これらのデータ・ストレージ・デバイスには、それぞれAL_PA 1C、1D、および1Eが割り当てられる。予備のデータ・ストレージ・デバイス・アセンブリ375はデータ・ストレージ・デバイス432、434、および436を有し、データ・ストレージ・デバイス432にはAL_PA 1Fが割り当てられ、データ・ストレージ・デバイス434および436にはAL_PAは割り当てられない。
次に図4を参照すると、各データ・ストレージ・デバイス・アセンブリのネットワーク・アドレス、物理位置、構成、および状況が、SESプロセッサ212およびSESプロセッサ242によって認知および監視される。次に図2および図3を参照すると、SESプロセッサ212および242は、各データ・ストレージ・デバイス・アセンブリおよびそれらアセンブリ内に配置された各データ・ストレージ・デバイスの状況を、イニシエータ205a(図2)およびイニシエータ205b(図2)に報告する。
出願人の発明は、ストレージ・アレイ410内に構成されたデータ・ストレージ・デバイスに障害が発生した場合、その障害のあるデバイスに書き込まれたデータを、AL_PAが割り当てられた予備のデータ・ストレージ・デバイス上に再構築するための方法を有する。その後出願人の方法は、順次、障害のあるデータ・ストレージ・デバイスに割り当てられたAL_PAを第2の予備のデータ・ストレージ・デバイスに転送し、その第2の予備のデータ・ストレージ・デバイスに、障害のあるデータ・ストレージ・デバイスを有するデータ・ストレージ・デバイス・アセンブリ内に配置された第1の動作可能なデータ・ストレージ・デバイスからデータをコピーする。その後この方法は、障害のあるデータ・ストレージ・デバイスを有するデータ・ストレージ・デバイス・アセンブリ内に配置された第1の動作可能なデータ・ストレージ・デバイスに割り当てられたAL_PAを、第3の予備のデータ・ストレージ・デバイスに転送し、その第3の予備のデータ・ストレージ・デバイスに、障害のあるデータ・ストレージ・デバイスを有するデータ・ストレージ・デバイス・アセンブリ内に配置された第2の動作可能なデータ・ストレージ・デバイスからデータをコピーする。
次に図18を参照すると、出願人の方法はステップ1705で、(P)のデータ・ストレージ・デバイスを有するデータ・ストレージおよび検索システムを提供し、これら(P)のデータ・ストレージ・デバイスは(N)のデータ・ストレージ・デバイス・アセンブリ内に配置構成され、それらデータ・ストレージ・デバイス・アセンブリのそれぞれが(M)のデータ・ストレージ・デバイスを有し、(N)は2より大きいかまたは等しく、(M)は2より大きいかまたは等しい。当業者であれば理解されるように、(P)は(N)と(M)を掛け合わせた結果に等しい。
例に示されるように、例示された図4の実施形態では、出願人のデータ・ストレージおよび検索システムは6つのデータ・ストレージ・デバイス・アセンブリを有し、これらアセンブリのそれぞれが3つのデータ・ストレージ・デバイスを有する。ある諸実施形態では、ステップ1705のデータ・ストレージおよび検索システムはデータ・ストレージ・サービス・プロバイダによって所有あるいは動作、またはその両方が行われ、このプロバイダは1人または複数のデータ・ストレージ・サービスの顧客にデータ・ストレージ・サービスを提供する。
ステップ1710では、出願人の方法は(Q)のAL_PAを生成し、それら(Q)のAL_PAそれぞれを(P)のデータ・ストレージ・デバイスの異なる1つに割り当て、ここで(Q)は(P)より小さい。例示された図4の実施形態では、たとえば出願人の方法は16のAL_PAを生成し、それら16のAL_PAのそれぞれを18のデータ・ストレージ・デバイスの異なる1つに割り当てる。データ・ストレージ・デバイス434および436にはAL_PAは割り当てられない。
ある諸実施形態では、ステップ1710は、データ・ストレージおよび検索システム内に配置されたプロセッサ132などのプロセッサによって実行される。ある諸実施形態では、ステップ1710は、データ・ストレージおよび検索システム内に配置されたイニシエータ205aなどのイニシエータによって実行される。ある諸実施形態では、ステップ1710は、出願人のデータ・ストレージおよび検索システムと通信するホスト・コンピュータによって実行される。
ステップ1720では、出願人の方法は、(N−1)のデータ・ストレージ・デバイス・アセンブリと予備のデータ・ストレージ・デバイス・アセンブリとを有し、この予備のデータ・ストレージ・デバイス・アセンブリ上に配置された少なくとも1つのデータ・ストレージ・デバイスにAL_PAが割り当てられるように、第1のストレージ・アレイを構成する。例示された図5の実施形態では、データ・ストレージ・デバイス・アセンブリ350、355、360、365、370、および375がストレージ・アレイ410内に構成される。データ・ストレージ・デバイス・アセンブリ375は予備のデータ・ストレージ・デバイス・アセンブリを有し、アセンブリ375を有するデータ・ストレージ・デバイスは予備のデバイスであり、それら予備のデバイスのうちの少なくとも1つ、すなわちデータ・ストレージ・デバイス432にAL_PAが割り当てられる。
ある諸実施形態では、ステップ1720は、データ・ストレージおよび検索システム内に配置されたプロセッサ132などのプロセッサによって実行される。ある諸実施形態では、ステップ1720は、データ・ストレージおよび検索システム内に配置されたイニシエータ205aなどのイニシエータによって実行される。ある諸実施形態では、ステップ1720は、出願人のデータ・ストレージおよび検索システムと通信するホスト・コンピュータによって実行される。
ステップ1730で、出願人のデータ・ストレージおよび検索システムは、相互接続されたホスト・コンピュータから第1のデータを受け取る。ある諸実施形態では、ステップ1730の第1のデータは、顧客のホスト・コンピュータから出願人のデータ・ストレージおよび検索システムに提供された顧客データを有する。
ステップ1740で、出願人の方法は、ステップ1730の第1のデータをステップ1720の第1のストレージ・アレイに書き込む。ある諸実施形態では、ステップ1740は、RAIDプロトコルを使用してその第1のデータを第1のストレージ・アレイに書き込むことを有する。ある諸実施形態では、そのRAIDプロトコルはRAID 1プロトコルを有するが、これに限定されるものではない。ある諸実施形態では、そのRAIDプロトコルはRAID 5プロトコルを有するが、これに限定されるものではない。ある諸実施形態では、そのRAIDプロトコルはRAID 10プロトコルを有するが、これに限定されるものではない。ある諸実施形態では、ステップ1740は、顧客定義のストレージ・プロトコルを使用してその第1のデータを第1のストレージ・アレイに書き込むことを有し、その顧客定義のストレージ・プロトコルは、第1のデータを複数のデータ・ストレージ・デバイスに書き込むことを有する。
次に図6および図18を参照すると、出願人の方法はステップ1750で、機能低下したデータ・ストレージ・デバイス・アセンブリ370内に配置されたストレージ・デバイス426などの障害のあるデータ・ストレージ・デバイスを検出し、ストレージ・アレイ410(図4)などのステップ1720の第1のストレージ・アレイがその機能低下したデータ・ストレージ・デバイス・アセンブリを有する。ある諸実施形態では、ステップ1750は、障害のあるデバイスと通信するSESプロセッサ212などのSESプロセッサによって実行される。ある諸実施形態では、このSESプロセッサの検出により、障害のあるデバイスの識別およびアドレスに関するアラートが、イニシエータ205aなどの相互接続されたイニシエータに提供される。ある諸実施形態では、ステップ1750はイニシエータ205aなどの相互接続されたイニシエータによって実行される。
出願人の方法は、ステップ1750からステップ1760へと移行し、この方法は、障害のあるデータ・ストレージ・デバイスを除き、アセンブリ375などの予備のデータ・ストレージ・デバイス・アセンブリ内に配置された、ストレージ・デバイス432などの第1の予備のデータ・ストレージ・デバイスと組み合わせて、第1のストレージ・アレイを有する第2のストレージ・アレイを形成し、その第1の予備のデータ・ストレージ・デバイスにはAL_PAが割り当てられる。ある諸実施形態では、ステップ1760は、データ・ストレージおよび検索システム内に配置されたプロセッサ132などのプロセッサによって実行される。ある諸実施形態では、ステップ1760は、データ・ストレージおよび検索システム内に配置されたイニシエータ205aなどのイニシエータによって実行される。ある諸実施形態では、ステップ1760は、出願人のデータ・ストレージおよび検索システムと通信するホスト・コンピュータによって実行される。
次に図6、図18、および図19を参照すると、出願人の方法はステップ1760からステップ1770へと移行し、この方法は、データ・ストレージ・デバイス426などの障害のあるデータ・ストレージ・デバイスに書き込まれた第1のデータを、ステップ1760の第2のストレージ・アレイ内に構成された、デバイス432などの第1の予備のデータ・ストレージ・デバイス上に再構築する。ある諸実施形態では、ステップ1770の再構築する方法は、ステップ1740で選択されたストレージ・プロトコルの機能である。たとえば、RAID 1プロトコルを使用する場合、ステップ1770は、障害のあるストレージ・デバイスに対して「ミラーリングされた」ストレージ・デバイスを識別すること、および、その「ミラーリングされた」デバイスから第1の予備のデータ・ストレージ・デバイスへデータをコピーすることを有する。これに対して、ステップ1740でRAID 5プロトコルが選択された場合、ステップ1770は、XOR機能および当業者に知られた方法を使用して、障害のあるデータ・ストレージ・デバイスに書き込まれたデータを再構築することを有する。
ある諸実施形態では、ステップ1770は、データ・ストレージおよび検索システム内に配置されたプロセッサ132などのプロセッサによって実行される。ある諸実施形態では、ステップ1770は、データ・ストレージおよび検索システム内に配置されたイニシエータ205aなどのイニシエータによって実行される。ある諸実施形態では、ステップ1770は、出願人のデータ・ストレージおよび検索システムと通信するホスト・コンピュータによって実行される。
出願人の方法はステップ1770からステップ1780へと移行し、出願人のデータ・ストレージおよび検索システムは第2のデータ、すなわちステップ1760の第2のストレージ・アレイを構成した後に受け取ったデータを受け取る。ある諸実施形態では、ステップ1770および1780はほぼ同期的に実行される。ある諸実施形態では、ステップ1780の第2のデータは、システム100などの出願人のデータ・ストレージおよび検索システムと通信するホスト・コンピュータを所有あるいは動作、またはその両方を行った1人または複数の顧客によって提供された顧客データを有する。出願人の方法はステップ1780からステップ1790へと移行し、出願人の方法は、ステップ1780の第2のデータをステップ1760の第2のストレージ・アレイに書き込む。
ある諸実施形態では、出願人の方法はステップ1790で終了する。他の諸実施形態では、図7および図20を参照すると、出願人の方法はステップ1790からステップ1805へと移行し、この方法は、障害のあるデバイス426などの障害のあるデータ・ストレージ・デバイスに割り当てられたAL_PAを、データ・ストレージ・デバイス434などの第2の予備のデータ・ストレージ・デバイスに転送する。ある諸実施形態では、ステップ1805は、データ・ストレージおよび検索システム内に配置されたプロセッサ132などのプロセッサによって実行される。ある諸実施形態では、ステップ1805は、データ・ストレージおよび検索システム内に配置されたイニシエータ205aなどのイニシエータによって実行される。ある諸実施形態では、ステップ1805は、出願人のデータ・ストレージおよび検索システムと通信するホスト・コンピュータによって実行される。
次に図8を参照すると、出願人の方法はステップ1805からステップ1810へと移行し、この方法は、第1のデータおよび第2のデータを、たとえばデータ・ストレージ・デバイス428(図4)などの障害のあるデータ・ストレージ・デバイスと同じデータ・ストレージ・デバイス・アセンブリ内に配置された第1の動作可能なデータ・ストレージ・デバイスから、デバイス434などの第2の予備のデータ・ストレージ・デバイスにコピーする。ある諸実施形態では、ステップ1810は、データ・ストレージおよび検索システム内に配置されたプロセッサ132などのプロセッサによって実行される。ある諸実施形態では、ステップ1810は、データ・ストレージおよび検索システム内に配置されたイニシエータ205aなどのイニシエータによって実行される。ある諸実施形態では、ステップ1810は、出願人のデータ・ストレージおよび検索システムと通信するホスト・コンピュータによって実行される。
次に図9を参照すると、出願人の方法はステップ1810からステップ1820へと移行し、この方法は、デバイス428などの第1の動作可能なデータ・ストレージ・デバイスに割り当てられたAL_PAを、データ・ストレージ・デバイス436などの第3の予備のデータ・ストレージ・デバイスに転送する。ある諸実施形態では、ステップ1820は、データ・ストレージおよび検索システム内に配置されたプロセッサ132などのプロセッサによって実行される。ある諸実施形態では、ステップ1820は、データ・ストレージおよび検索システム内に配置されたイニシエータ205aなどのイニシエータによって実行される。ある諸実施形態では、ステップ1820は、出願人のデータ・ストレージおよび検索システムと通信するホスト・コンピュータによって実行される。
次に図10を参照すると、出願人の方法はステップ1820からステップ1830へと移行し、この方法は、第1のデータおよび第2のデータを、たとえばデータ・ストレージ・デバイス430などの障害のあるデータ・ストレージ・デバイスと同じデータ・ストレージ・デバイス・アセンブリ内に配置された第2の動作可能なデータ・ストレージ・デバイスから、デバイス436などの第3の予備のデータ・ストレージ・デバイスにコピーする。ある諸実施形態では、ステップ1830は、データ・ストレージおよび検索システム内に配置されたプロセッサ132などのプロセッサによって実行される。ある諸実施形態では、ステップ1830は、データ・ストレージおよび検索システム内に配置されたイニシエータ205aなどのイニシエータによって実行される。ある諸実施形態では、ステップ1830は、出願人のデータ・ストレージおよび検索システムと通信するホスト・コンピュータによって実行される。
出願人の方法はステップ1830からステップ1840へと移行し、この方法は、アセンブリ375などの予備のデータ・ストレージ・アセンブリと組み合わせて、障害のあるデータ・ストレージ・デバイスを有するデータ・ストレージ・デバイス・アレイを除く、第1のストレージ・アレイを有するストレージ・アレイ1010(図11)などの第3のストレージ・アレイを形成する。例示された図11の実施形態では、第3のストレージ・アレイ1010はデータ・ストレージ・デバイス・アセンブリ350、355、360、365、および375を有する。
ある諸実施形態では、ステップ1840は、データ・ストレージおよび検索システム内に配置されたプロセッサ132などのプロセッサによって実行される。ある諸実施形態では、ステップ1840は、データ・ストレージおよび検索システム内に配置されたイニシエータ205aなどのイニシエータによって実行される。ある諸実施形態では、ステップ1840は、出願人のデータ・ストレージおよび検索システムと通信するホスト・コンピュータによって実行される。
次に図11および図20を参照すると、出願人の方法はステップ1850で、機能低下したデータ・ストレージ・デバイスアセンブリを、出願人データ・ストレージおよび検索システムから除去する。ある諸実施形態では、ステップ1850はデータ・ストレージおよび検索システムの所有者/オペレータによって実行される。他の諸実施形態では、ステップ1850は現場のサービス担当者によって実行される。ある諸実施形態では、出願人の方法はステップ1850からステップ1895へと移行する。
他の諸実施形態では、出願人の方法はステップ1850から1860へと移行し、出願人の方法は、障害のあるデータ・ストレージ・デバイスが修復可能であるかどうかを判定する。ある諸実施形態では、ステップ1860は、障害のあるデータ・ストレージ・デバイスがタイムリーに、すなわち所望の時間間隔内で、修復可能であるかどうかの判定も有する。ステップ1860で出願人の方法が、障害のあるデータ・ストレージ・デバイスが修復不能であるか、または所望の時間間隔内で修復不能であると判定した場合、この方法はステップ1860からステップ1870へと移行し、置換データ・ストレージ・デバイスを提供する。出願人の方法はステップ1870からステップ1880へと移行し、この方法は、ステップ1850で除去されたデータ・ストレージ・デバイス・アセンブリを、ステップ1870の置換データ・ストレージ・デバイスを使用して修復する。出願人の方法は、ステップ1880からステップ1895へと移行する。
ステップ1860で出願人の方法が、障害のあるデータ・ストレージ・デバイスが修復可能であるか、または所望の時間間隔内で修復可能であると判定した場合、この方法は障害のあるデータ・ストレージ・デバイスを修復する。
次に図12および図20を参照すると、出願人の方法はステップ1890からステップ1895へと移行し、この方法は、データ・ストレージおよび検索システム内に配置されたアセンブリ110などの置換データ・ストレージ・デバイス・アセンブリを提供およびインストールする。ある諸実施形態では、置換アセンブリ1110は、ステップ1850で除去されその後修復された機能低下したデータ・ストレージ・デバイス・アセンブリを有する。
いずれの場合でも、ステップ1850で除去されたデータ・ストレージ・デバイス・アセンブリは、ネットワーク・アドレスが割り当てられたデータ・ストレージ・デバイスを有する。たとえば例示された図10の実施形態では、データ・ストレージ・デバイス430にはAL_PA「1E」が割り当てられる。さらにステップ1895は、ステップ1850で除去されたアセンブリ内のデータ・ストレージ・デバイスに以前に割り当てられたネットワーク・アドレスを、置換アセンブリ1110内に配置されたデータ・ストレージ・デバイス1140などのデータ・ストレージ・デバイスのうちの1つに割り当てることを有する。
出願人の方法はステップ1895からステップ1910(図21)へと移行し、この方法は、ステップ1840の第3のストレージ・アレイを再構成するかどうかを判定する。ある諸実施形態では、ステップ1910はデータ・ストレージおよび検索システムの所有者/オペレータによって実行される。ある諸実施形態では、ステップ1910は、出願人のデータ・ストレージおよび検索システムと通信するホスト・コンピュータによって実行される。
図21を参照すると、出願人の方法がステップ1910で第3のストレージ・アレイを再構成しないことを選択した場合、この方法はステップ1910からステップ1920へと移行し、予備のデータ・ストレージ・デバイス・アセンブリとしてアセンブリ1110などの置換データ・ストレージ・デバイス・アセンブリを指定する。ある諸実施形態では、ステップ1920はデータ・ストレージおよび検索システム内に配置されたプロセッサ132などのプロセッサによって実行される。ある諸実施形態では、ステップ1920は、データ・ストレージおよび検索システム内に配置されたイニシエータ205aなどのイニシエータによって実行される。ある諸実施形態では、ステップ1920は、出願人のデータ・ストレージおよび検索システムと通信するホスト・コンピュータによって実行される。出願人の方法はステップ1920からステップ1730へと移行し、本明細書に記載されるように続行される。
次に図13および図21を参照すると、出願人の方法がステップ1910で、置換データ・ストレージ・デバイス・アセンブリを有するためにステップ1840の第3のストレージ・アレイを再構成することを選択した場合、この方法はステップ1910からステップ1930へと移行し、この方法は、第1のデータおよび第2のデータを、ステップ1720(図18)の予備のデータ・ストレージ・デバイス・アセンブリ内に配置されたデバイス436などの第1のデータ・ストレージ・デバイスから、ステップ1895(図20)でインストールされたデータ・ストレージ・デバイス・アセンブリ内に配置されたデバイス1140などの第1の置換データ・ストレージ・デバイスにコピーし、この第1の置換データ・ストレージ・デバイスにはAL_PAが割り当てられる。
ある諸実施形態では、ステップ1930は、データ・ストレージおよび検索システム内に配置されたプロセッサ132などのプロセッサによって実行される。ある諸実施形態では、ステップ1930は、データ・ストレージおよび検索システム内に配置されたイニシエータ205aなどのイニシエータによって実行される。ある諸実施形態では、ステップ1930は、出願人のデータ・ストレージおよび検索システムと通信するホスト・コンピュータによって実行される。
次に図14を参照すると、出願人の方法はステップ1930からステップ1940へと移行し、この方法は、デバイス436などのステップ1930の第1の予備のデバイスに割り当てられたAL_PAを、置換データ・ストレージ・デバイス・アセンブリ内に配置されたデバイス1130などの第2の置換データ・ストレージ・デバイスに転送する。ある諸実施形態では、ステップ1940は、データ・ストレージおよび検索システム内に配置されたプロセッサ132などのプロセッサによって実行される。ある諸実施形態では、ステップ1940は、データ・ストレージおよび検索システム内に配置されたイニシエータ205aなどのイニシエータによって実行される。ある諸実施形態では、ステップ1940は、出願人のデータ・ストレージおよび検索システムと通信するホスト・コンピュータによって実行される。
次に図15を参照すると、出願人の方法はステップ1940からステップ1950へと移行し、この方法は、第1および第2のデータを、データ・ストレージ・デバイス434などの第2の予備のデータ・ストレージ・デバイスから、ステップ1940の第2の置換データ・ストレージ・デバイスにコピーする。ある諸実施形態では、ステップ1950は、データ・ストレージおよび検索システム内に配置されたプロセッサ132などのプロセッサによって実行される。ある諸実施形態では、ステップ1950は、データ・ストレージおよび検索システム内に配置されたイニシエータ205aなどのイニシエータによって実行される。ある諸実施形態では、ステップ1950は、出願人のデータ・ストレージおよび検索システムと通信するホスト・コンピュータによって実行される。
次に図16を参照すると、出願人の方法はステップ1950からステップ1960へと移行し、この方法は、デバイス434などのステップ1950の第2の予備のデバイスに割り当てられたAL_PAを、置換データ・ストレージ・デバイス・アセンブリ内に配置されたデバイス1120などの第3の置換データ・ストレージ・デバイスに転送する。ある諸実施形態では、ステップ1960は、データ・ストレージおよび検索システム内に配置されたプロセッサ132などのプロセッサによって実行される。ある諸実施形態では、ステップ1960は、データ・ストレージおよび検索システム内に配置されたイニシエータ205aなどのイニシエータによって実行される。ある諸実施形態では、ステップ1960は、出願人のデータ・ストレージおよび検索システムと通信するホスト・コンピュータによって実行される。
次に図17を参照すると、出願人の方法はステップ1960からステップ1970へと移行し、この方法は、第1および第2のデータを、データ・ストレージ・デバイス432などの第3の予備のデータ・ストレージ・デバイスから、ステップ1960の第3の置換データ・ストレージ・デバイスにコピーする。ある諸実施形態では、ステップ1970は、データ・ストレージおよび検索システム内に配置されたプロセッサ132などのプロセッサによって実行される。ある諸実施形態では、ステップ1970は、データ・ストレージおよび検索システム内に配置されたイニシエータ205aなどのイニシエータによって実行される。ある諸実施形態では、ステップ1970は、出願人のデータ・ストレージおよび検索システムと通信するホスト・コンピュータによって実行される。
出願人の方法は、ステップ1970からステップ1980へと移行し、この方法は、予備のデータ・ストレージ・デバイス・アセンブリと組み合わせて、ステップ1720(図18)で指定された予備のデータ・ストレージ・デバイス・アセンブリを除く、第3のアレイを有するストレージ・アレイ1610などの第4のストレージ・アレイを形成する。ある諸実施形態では、ステップ1980は、データ・ストレージおよび検索システム内に配置されたプロセッサ132などのプロセッサによって実行される。ある諸実施形態では、ステップ1980は、データ・ストレージおよび検索システム内に配置されたイニシエータ205aなどのイニシエータによって実行される。ある諸実施形態では、ステップ1980は、出願人のデータ・ストレージおよび検索システムと通信するホスト・コンピュータによって実行される。
出願人の方法はステップ1980からステップ1990へと移行し、この方法は予備のデータ・ストレージ・デバイス・アセンブリとして、ステップ1720(図18)で以前に指定された予備のアセンブリであるアセンブリ375などのデータ・ストレージ・デバイス・アセンブリを指定する。ある諸実施形態では、ステップ1990は、データ・ストレージおよび検索システム内に配置されたプロセッサ132などのプロセッサによって実行される。ある諸実施形態では、ステップ1990は、データ・ストレージおよび検索システム内に配置されたイニシエータ205aなどのイニシエータによって実行される。ある諸実施形態では、ステップ1990は、出願人のデータ・ストレージおよび検索システムと通信するホスト・コンピュータによって実行される。出願人の方法はステップ1990からステップ1730へと移行し、本明細書に記載されるように続行される。
ある諸実施形態では、図18、図19、図20、あるいは図21、またはそれらすべてに記載された個々のステップは、組み合わせ、消去、または並べ替えが可能である。
ある諸実施形態では、出願人の発明は、中央処理/キャッシュ要素130(図1、2)および140(図1、2)内に配置されたメモリ内に常駐する命令を含み、それらの命令は、図18に記載されたステップ1710、1720、1730、1740、1750、1760のうちの1つまたは複数と、図19に記載されたステップ1770、1780、あるいは1790またはそれらすべてのうちの1つまたは複数と、図20に記載されたステップ1805、1810、1820、1830、1840のうちの1つまたは複数と、図21に記載されたステップ1920、1930、1940、1950、1960、1970、1980、あるいは1990またはそれらすべてのうちの1つまたは複数との、すべてまたはいずれかを実行するために、それぞれプロセッサ132(図1)あるいは142(図1)またはその両方などのプロセッサによって実行される。
他の諸実施形態では、出願人の発明は任意の他のコンピュータ・プログラム製品に常駐する命令を含み、それらの命令は、図18に記載されたステップ1710、1720、1730、1740、1750、1760のうちの1つまたは複数と、図19に記載されたステップ1770、1780、あるいは1790またはそれらすべてのうちの1つまたは複数と、図20に記載されたステップ1805、1810、1820、1830、1840のうちの1つまたは複数と、図21に記載されたステップ1920、1930、1940、1950、1960、1970、1980、あるいは1990またはそれらすべてのうちの1つまたは複数との、すべてまたはいずれかを実行するために、システム100の外部または内部にあるコンピュータによって実行される。いずれの場合も、命令は、たとえば、磁気情報ストレージ・メディア、光情報ストレージ・メディア、電子情報ストレージ・メディア、その他を有する、情報ストレージ・メディア内で符号化することができる。「電子ストレージ・メディア」の場合、出願人はたとえばPROM、EPROM、EEPROM、フラッシュPROM、コンパクトフラッシュ、スマートメディア、その他などのデバイスを意味する。
以上、本発明の好ましい諸実施形態について詳細に例示してきたが、当業者であれば、添付の特許請求の範囲に記載された本発明の範囲を逸脱することなく、これらの諸実施形態を修正および適合できることは明らかであろう。
出願人のデータ・ストレージおよび検索システムの一実施形態を示すブロック図である。 2つのイニシエータおよび複数のデータ・ストレージ・デバイスを有する、図1のデータ・ストレージおよび検索システムを示すブロック図である。 ファイバ・チャネル・アービトレーテッド・ループ・スイッチと相互接続された複数のデータ・ストレージ・デバイスを示すブロック図である。 6つのデータ・ストレージ・デバイス・アセンブリを有する、図3の複数のデータ・ストレージ・デバイスを示すブロック図である。 図4の6つのデータ・ストレージ・デバイス・アセンブリと、5つのアクティブ・データ・ストレージ・デバイス・アセンブリおよび予備のデータ・ストレージ・デバイス・アセンブリを有する第1のストレージ・アレイとを示す、ブロック図である。 機能低下したストレージ・デバイス・アセンブリに配置された障害のあるデータ・ストレージ・デバイスを示し、障害のあるデバイスに書き込まれたデータが、予備のデータ・ストレージ・デバイス・アセンブリ内に配置された第1のデータ・ストレージ・デバイスに再構築される、出願人の方法の一部を示すブロック図である。 障害のあるデータ・ストレージ・デバイスに割り当てられたネットワーク・アドレスが、予備のデータ・ストレージ・デバイス・アセンブリ内に配置された第2のデータ・ストレージ・デバイスに転送される、出願人の方法の一部を示すブロック図である。 機能低下したデータ・ストレージ・デバイス・アセンブリ内に配置された第1の動作可能なデータ・ストレージ・デバイスに書き込まれたデータが、予備のデータ・ストレージ・デバイス・アセンブリ内に配置された第2のデータ・ストレージ・デバイスにコピーされる、出願人の方法の一部を示すブロック図である。 機能低下したデータ・ストレージ・デバイス・アセンブリ内に配置された第1の動作可能なデータ・ストレージ・デバイスに割り当てられたネットワーク・アドレスが、予備のデータ・ストレージ・デバイス・アセンブリ内に配置された第3のデータ・ストレージ・デバイスに転送される、出願人の方法の一部を示すブロック図である。 機能低下したデータ・ストレージ・デバイス・アセンブリ内に配置された第2の動作可能なデータ・ストレージ・デバイスに書き込まれたデータが、予備のデータ・ストレージ・デバイス・アセンブリ内に配置された第3のデータ・ストレージ・デバイスにコピーされる、出願人の方法の一部を示すブロック図である。 データ・ストレージおよび検索システムからの、機能低下したデータ・ストレージ・デバイス・アセンブリの除去を示すブロック図である。 置換データ・ストレージ・デバイス・アセンブリの、データ・ストレージおよび検索システムへのインストールを示すブロック図である。 予備のデータ・ストレージ・デバイス・アセンブリ内に配置された第1の予備のストレージ・デバイスに書き込まれたデータが、置換データ・ストレージ・デバイス・アセンブリ内に配置された第1のデータ・ストレージ・デバイスにコピーされる、出願人の方法の一部を示すブロック図である。 予備のデータ・ストレージ・デバイス・アセンブリ内に配置された第1の予備のデータ・ストレージ・デバイスに割り当てられたネットワーク・アドレスが、置換データ・ストレージ・デバイス・アセンブリ内に配置された第2のデータ・ストレージ・デバイスに転送される、出願人の方法の一部を示すブロック図である。 予備のデータ・ストレージ・デバイス・アセンブリ内に配置された第2の予備のストレージ・デバイスに書き込まれたデータが、置換データ・ストレージ・デバイス・アセンブリ内に配置された第2のデータ・ストレージ・デバイスにコピーされる、出願人の方法の一部を示すブロック図である。 予備のデータ・ストレージ・デバイス・アセンブリ内に配置された第2の予備のデータ・ストレージ・デバイスに割り当てられたネットワーク・アドレスが、置換データ・ストレージ・デバイス・アセンブリ内に配置された第3のデータ・ストレージ・デバイスに転送される、出願人の方法の一部を示すブロック図である。 予備のデータ・ストレージ・デバイス・アセンブリ内に配置された第3の予備のストレージ・デバイスに書き込まれたデータが、置換データ・ストレージ・デバイス・アセンブリ内に配置された第3のデータ・ストレージ・デバイスにコピーされる、出願人の方法の一部を示すブロック図である。 出願人の方法のある諸ステップの要約を示す流れ図である。 出願人の方法のある追加の諸ステップの要約を示す流れ図である。 出願人の方法のある追加の諸ステップの要約を示す流れ図である。 出願人の方法のある追加の諸ステップの要約を示す流れ図である。
符号の説明
100 情報ストレージおよび検索システム
101〜120 ホスト・アダプタ
121 相互接続バス
130 プロセッサ部分
132 プロセッサ
133 メモリ
134 キャッシュ
140 プロセッサ部分
142 プロセッサ
143 メモリ
144 キャッシュ
155 リモートI/Oブリッジ
160 I/O部分
161 デバイス・アダプタ
162 不揮発性ストレージ
164 バッテリ・バックアップ
165〜168 デバイス・アダプタ
170 I/O部分
171 デバイス・アダプタ
172 不揮発性ストレージ
174 バッテリ・バックアップ
175〜178 デバイス・アダプタ
180 アレイ
190 アレイ
195 リモートI/Oブリッジ
390 ホスト・コンピュータ
395 通信リンク

Claims (8)

  1. (N)のデータ・ストレージ・デバイス・アセンブリ内に配置された(P)のデータ・ストレージ・デバイスを有するデータ・ストレージおよび検索システムを供給するステップであって、前記(N)のデータ・ストレージ・デバイス・アセンブリのそれぞれが(M)のデータ・ストレージ・デバイスを有し、(P)は4に等しいかまたはこれより大きく、(N)は2より大きいかまたは等しく、(M)は2より大きいかまたは等しい、前記供給するステップと、
    (Q)のネットワーク・アドレスを生成するステップであって、(Q)は(P)より小さい、生成するステップと、
    前記(Q)のネットワーク・アドレスのそれぞれを異なるデータ・ストレージ・デバイスに割り当てるステップであって、前記(P)のデータ・ストレージ・デバイスは、ネットワーク・アドレスが割り当てられた(Q)のデータ・ストレージ・デバイスと、ネットワーク・アドレスが割り当てられていない(P−Q)のデータ・ストレージ・デバイスとを有する、前記割り当てるステップと、
    予備のデータ・ストレージ・デバイス・アセンブリと、(N−1)のアクティブ・データ・ストレージ・デバイス・アセンブリを有する第1のストレージ・アレイとを有するように、前記(N)のデータ・ストレージ・デバイス・アセンブリを構成するステップであって、前記第1のストレージ・アレイ内に構成されたそれぞれのデータ・ストレージ・デバイスにはネットワーク・アドレスが割り当てられ、前記予備のデータ・ストレージ・デバイス・アセンブリ内に配置された(i)番目の予備のデータ・ストレージ・デバイスにはネットワーク・アドレスが割り当てられ、(i)は1より大きいかまたは等しく、(M)より小さいかまたは等しい、前記構成するステップと、
    障害のあるデータ・ストレージ・デバイスを検出するステップであって、前記障害のあるデータ・ストレージ・デバイスが機能低下したデータ・ストレージ・デバイス・アセンブリ内に配置され、前記第1のストレージ・アレイが前記機能低下したデータ・ストレージ・デバイス・アセンブリを有する、前記検出するステップと、
    前記(i)番目の予備のデータ・ストレージ・デバイスと組み合わせて、前記障害のあるデータ・ストレージ・デバイスを除く前記第1のストレージ・アレイを有する第2のストレージ・アレイを形成するステップと、
    を有する、ストレージ・アレイ内でネットワーク・アドレスを割り当てるための方法。
  2. 前記障害のあるデータ・ストレージ・デバイスを検出する前に、前記第1のストレージ・アレイに第1のデータを書き込むステップと、
    前記障害のあるデータ・ストレージ・デバイスに書き込まれた第1のデータを、前記(i)番目の予備のデータ・ストレージ・デバイス上に再構築するステップと、
    前記第2のストレージ・アレイに第2のデータを書き込むステップと、
    をさらに有する、請求項1に記載の方法。
  3. 前記障害のあるデータ・ストレージ・デバイスに割り当てられた前記ネットワーク・アドレスを、(j)番目の予備のデータ・ストレージ・デバイスに転送するステップであって、(j)は1より大きいかまたは等しく、(M)より小さいかまたは等しく、(j)は(i)に等しくない、前記転送するステップと、
    第1のデータおよび第2のデータを、前記機能低下したデータ・ストレージ・デバイス・アセンブリ内に配置された第1の動作可能なデータ・ストレージ・デバイスから、前記(j)番目の予備のデータ・ストレージ・デバイスにコピーするステップと、
    前記機能低下したデータ・ストレージ・デバイス・アセンブリ内に配置された前記第1の動作可能なデータ・ストレージ・デバイスに割り当てられた前記ネットワーク・アドレスを、(k)番目の予備のデータ・ストレージ・デバイスに転送するステップであって、(k)は1より大きいかまたは等しく、(M)より小さいかまたは等しく、(k)は(i)または(j)のいずれかに等しくない、前記転送するステップと、
    第1のデータおよび第2のデータを、前記機能低下したデータ・ストレージ・デバイス・アセンブリ内に配置された第2の動作可能なデータ・ストレージ・デバイスから、前記(k)番目の予備のデータ・ストレージ・デバイスにコピーするステップと、
    前記予備のデータ・ストレージ・デバイス・アセンブリと組み合わせて、前記機能低下したデータ・ストレージ・デバイス・アセンブリを除く前記第1のストレージ・アレイを有する第3のストレージ・アレイを形成するステップと、
    をさらに有する、請求項2に記載の方法。
  4. 前記機能低下したデータ・ストレージ・デバイス・アセンブリを、前記データ・ストレージおよび検索システムから除去するステップと、
    (M)のデータ・ストレージ・デバイスを有する置換データ・ストレージ・デバイス・アセンブリを提供するステップと、
    前記置換データ・ストレージ・デバイス・アセンブリを前記データ・ストレージおよび検索システムにインストールするステップと、
    前記(Q)のネットワーク・アドレスのうちの1つを、前記置換データ・ストレージ・デバイス・アセンブリ内に配置された(a)番目の置換データ・ストレージ・デバイスに割り当てるステップであって、(a)は1より大きいかまたは等しく、(M)より小さいかまたは等しい、割り当てるステップと、
    をさらに有する、請求項3に記載の方法。
  5. 前記置換データ・ストレージ・デバイス・アセンブリを提供するステップが、
    前記障害のあるデータ・ストレージ・デバイスが修復可能であるかどうかを判定するステップと、
    前記障害のあるデータ・ストレージ・デバイスが修復可能である場合、修復されたデータ・ストレージ・デバイス・アセンブリを提供するために前記障害のあるデータ・ストレージ・デバイスを修復し、前記修復されたデータ・ストレージ・デバイス・アセンブリを前記置換データ・ストレージ・デバイス・アセンブリとして指定するステップと、
    前記障害のあるデータ・ストレージ・デバイスが修復不能である場合、
    置換データ・ストレージ・デバイスを提供するステップと、
    前記障害のあるデータ・ストレージ・デバイスを前記置換データ・ストレージ・デバイスと置き換えることによって、修復されたデータ・ストレージ・デバイス・アセンブリを提供するために前記機能低下したデータ・ストレージ・デバイス・アセンブリを修復するステップと、
    前記修復されたデータ・ストレージ・デバイス・アセンブリを前記置換データ・ストレージ・デバイス・アセンブリとして指定するステップと、
    をさらに有する、請求項4に記載の方法。
  6. 前記置換データ・ストレージ・デバイス・アセンブリを予備のデータ・ストレージ・デバイス・アセンブリとして指定するステップをさらに有する、請求項4に記載の方法。
  7. 第1のデータおよび第2のデータを、(i)番目の予備のデータ・ストレージ・デバイスから前記(a)番目の置換データ・ストレージ・デバイスにコピーするステップと、
    前記ネットワーク・アドレスを、前記(i)番目の予備のデータ・ストレージ・デバイスから、前記置換データ・ストレージ・デバイス・アセンブリ内に配置された(b)番目の置換データ・ストレージ・デバイスに転送するステップであって、(b)は1より大きいかまたは等しく、(M)より小さいかまたは等しく、(b)は(a)に等しくない、前記転送するステップと、
    第1のデータおよび第2のデータを、前記(i)番目の予備のデータ・ストレージ・デバイスから前記(b)番目の置換データ・ストレージ・デバイスにコピーするステップと、
    前記ネットワーク・アドレスを、前記(j)番目の予備のデータ・ストレージ・デバイスから、前記置換データ・ストレージ・デバイス・アセンブリ内に配置された(c)番目の置換データ・ストレージ・デバイスに転送するステップであって、(c)は1より大きいかまたは等しく、(M)より小さいかまたは等しく、(c)は(a)または(b)のいずれかに等しくない、前記転送するステップと、
    第1のデータおよび第2のデータを、前記(k)番目の予備のデータ・ストレージ・デバイスから前記(c)番目の置換データ・ストレージ・デバイスにコピーするステップと、
    前記置換データ・ストレージ・デバイス・アセンブリと組み合わせて、前記予備のデータ・ストレージ・デバイス・アセンブリを除く前記第3のストレージ・アレイを有する第4のストレージ・アレイを形成するステップと、
    をさらに有する、請求項4に記載の方法。
  8. 請求項1乃至7のいずれかに記載の方法の各ステップをコンピュータに実行させるためのコンピュータ・プログラム。
JP2006298760A 2005-11-16 2006-11-02 ストレージ・アレイ内でネットワーク・アドレスを割り当てるための装置および方法 Expired - Fee Related JP4979348B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/281299 2005-11-16
US11/281,299 US7404104B2 (en) 2005-11-16 2005-11-16 Apparatus and method to assign network addresses in a storage array

Publications (2)

Publication Number Publication Date
JP2007141229A true JP2007141229A (ja) 2007-06-07
JP4979348B2 JP4979348B2 (ja) 2012-07-18

Family

ID=38076825

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006298760A Expired - Fee Related JP4979348B2 (ja) 2005-11-16 2006-11-02 ストレージ・アレイ内でネットワーク・アドレスを割り当てるための装置および方法

Country Status (3)

Country Link
US (1) US7404104B2 (ja)
JP (1) JP4979348B2 (ja)
CN (1) CN1968292B (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070113006A1 (en) * 2005-11-16 2007-05-17 Elliott John C Apparatus and method to configure one or more storage arrays
US7506200B2 (en) * 2006-01-25 2009-03-17 International Business Machines Corporation Apparatus and method to reconfigure a storage array disposed in a data storage system
US7506201B2 (en) * 2006-08-28 2009-03-17 International Business Machines Corporation System and method of repair management for RAID arrays
US7496694B2 (en) * 2006-11-21 2009-02-24 Lsi Logic Corporation Circuit, systems and methods for monitoring storage controller status
US7958263B2 (en) * 2007-02-20 2011-06-07 International Business Machines Corporation Address reduction for data storage enclosures
US8966172B2 (en) 2011-11-15 2015-02-24 Pavilion Data Systems, Inc. Processor agnostic data storage in a PCIE based shared storage enviroment
US9652182B2 (en) 2012-01-31 2017-05-16 Pavilion Data Systems, Inc. Shareable virtual non-volatile storage device for a server
JP5949408B2 (ja) * 2012-10-02 2016-07-06 富士通株式会社 情報処理装置、情報処理装置の制御方法および情報処理装置の制御プログラム
JP6515458B2 (ja) * 2014-08-08 2019-05-22 富士通株式会社 ストレージ制御装置、ストレージ制御プログラム、及びストレージ制御方法
US9565269B2 (en) 2014-11-04 2017-02-07 Pavilion Data Systems, Inc. Non-volatile memory express over ethernet
US9712619B2 (en) 2014-11-04 2017-07-18 Pavilion Data Systems, Inc. Virtual non-volatile memory express drive

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08234929A (ja) * 1995-02-28 1996-09-13 Hitachi Ltd ディスクアレイ装置
JPH09101866A (ja) * 1995-10-06 1997-04-15 Nec Eng Ltd ディスクアレイシステムとその運用方法
JP2003157153A (ja) * 2001-11-22 2003-05-30 Nec Eng Ltd 予備ディスクによる冗長構成維持方式
JP2004102815A (ja) * 2002-09-11 2004-04-02 Toshiba Corp 論理ディスク間データコピー方法、論理ディスク間データコピー用プログラム、及びディスクコントローラ
JP2005293547A (ja) * 2004-03-11 2005-10-20 Hitachi Ltd ストレージ装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5689678A (en) 1993-03-11 1997-11-18 Emc Corporation Distributed storage array system having a plurality of modular control units
US5568606A (en) 1994-10-11 1996-10-22 International Business Machines Corporation Method and apparatus for maximizing effective disk capacity using adaptive skewing
US5809224A (en) 1995-10-13 1998-09-15 Compaq Computer Corporation On-line disk array reconfiguration
US6633566B1 (en) * 1998-06-16 2003-10-14 Mci Communications Corporation Method, apparatus and computer program product for interfacing a TDM link with a cell-switched network
US6938181B1 (en) * 2000-11-21 2005-08-30 Sun Microsystems, Inc. Field replaceable storage array
US6510050B1 (en) * 2000-11-21 2003-01-21 Sun Microsystems, Inc. High density packaging for multi-disk systems
CN1224906C (zh) * 2002-03-08 2005-10-26 清华大学 用浮动校验组提高盘阵列记录系统可靠性的方法及其系统
US7343409B1 (en) * 2003-10-14 2008-03-11 Sun Microsystems, Inc. Method, system and article of manufacture for discovering devices in a network monitoring system
US20050152192A1 (en) * 2003-12-22 2005-07-14 Manfred Boldy Reducing occupancy of digital storage devices
JP2006072635A (ja) * 2004-09-01 2006-03-16 Hitachi Ltd データ処理システムおよびそのコピー処理方法
US7308532B1 (en) * 2004-11-12 2007-12-11 Sun Microsystems, Inc. Method for dynamically implementing N+K redundancy in a storage subsystem

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08234929A (ja) * 1995-02-28 1996-09-13 Hitachi Ltd ディスクアレイ装置
JPH09101866A (ja) * 1995-10-06 1997-04-15 Nec Eng Ltd ディスクアレイシステムとその運用方法
JP2003157153A (ja) * 2001-11-22 2003-05-30 Nec Eng Ltd 予備ディスクによる冗長構成維持方式
JP2004102815A (ja) * 2002-09-11 2004-04-02 Toshiba Corp 論理ディスク間データコピー方法、論理ディスク間データコピー用プログラム、及びディスクコントローラ
JP2005293547A (ja) * 2004-03-11 2005-10-20 Hitachi Ltd ストレージ装置

Also Published As

Publication number Publication date
US7404104B2 (en) 2008-07-22
US20070168703A1 (en) 2007-07-19
JP4979348B2 (ja) 2012-07-18
CN1968292B (zh) 2010-08-18
CN1968292A (zh) 2007-05-23

Similar Documents

Publication Publication Date Title
JP4979348B2 (ja) ストレージ・アレイ内でネットワーク・アドレスを割り当てるための装置および方法
JP4963123B2 (ja) 記憶アレイを再設定する装置及び方法
US6457139B1 (en) Method and apparatus for providing a host computer with information relating to the mapping of logical volumes within an intelligent storage system
US7673167B2 (en) RAID array data member copy offload in high density packaging
JP5285610B2 (ja) グローバルホットスペアディスクが存在するときに、故障したドライブを復元、及びコピーバックする最適化された方法
KR100265146B1 (ko) 정지된 레이드 장치에 있어서 유예된 기록 데이터의 처리 방법 및 그 장치
JP5158074B2 (ja) ストレージ管理プログラム、ストレージ管理方法、ストレージ管理装置およびストレージシステム
US20070113006A1 (en) Apparatus and method to configure one or more storage arrays
US20030149750A1 (en) Distributed storage array
KR101251245B1 (ko) 연결 단절된 디스크의 콘텐츠 재구성 방법 및 시스템, 컴퓨터 판독가능한 매체
JPH07129331A (ja) ディスクアレイ装置
JP4939205B2 (ja) データ記憶システムに配置された記憶アレイを再構成するための装置及び方法
CN105872031B (zh) 存储系统
JP6212934B2 (ja) ストレージシステム、情報処理装置の制御プログラム、およびストレージシステムの制御方法
US20070050544A1 (en) System and method for storage rebuild management
US20070067670A1 (en) Method, apparatus and program storage device for providing drive load balancing and resynchronization of a mirrored storage system
US6334195B1 (en) Use of hot spare drives to boost performance during nominal raid operation
US7506201B2 (en) System and method of repair management for RAID arrays
US6341317B1 (en) Method and apparatus for managing a log of information in a computer system including an intelligent storage system
US7743201B2 (en) Apparatus and method to assign addresses to a plurality of information storage devices
US7590780B2 (en) Method and computer program product to migrate legacy data to a RAID array while contemporaneously providing user access to legacy data
US20080126789A1 (en) Method and Apparatus for Generating an Optimal Number of Spare Devices Within a RAID Storage System Having Multiple Storage Device Technology Classes

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090828

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111007

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120220

RD12 Notification of acceptance of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7432

Effective date: 20120220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20120221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120327

RD14 Notification of resignation of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7434

Effective date: 20120327

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120417

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150427

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees