JP2000347816A - ディスクアレイ装置及びディスク装置へのデータ読み出し／書き込み方式 - Google Patents

ディスクアレイ装置及びディスク装置へのデータ読み出し／書き込み方式

Info

Publication number
JP2000347816A
JP2000347816A JP11162042A JP16204299A JP2000347816A JP 2000347816 A JP2000347816 A JP 2000347816A JP 11162042 A JP11162042 A JP 11162042A JP 16204299 A JP16204299 A JP 16204299A JP 2000347816 A JP2000347816 A JP 2000347816A
Authority
JP
Japan
Prior art keywords
disk
spare
data
loop
disk device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11162042A
Other languages
English (en)
Other versions
JP4461511B2 (ja
Inventor
Seiichi Higaki
誠一 檜垣
Yoshinori Okami
吉規 岡見
Takao Sato
孝夫 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP16204299A priority Critical patent/JP4461511B2/ja
Priority to US09/382,774 priority patent/US6615314B1/en
Publication of JP2000347816A publication Critical patent/JP2000347816A/ja
Priority to US10/457,387 priority patent/US6757782B2/en
Priority to US10/757,936 priority patent/US7035975B2/en
Priority to US10/759,248 priority patent/US7120741B2/en
Priority to US10/768,693 priority patent/US7206900B2/en
Priority to US11/715,903 priority patent/US7447840B2/en
Application granted granted Critical
Publication of JP4461511B2 publication Critical patent/JP4461511B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
    • G06F11/1076—Parity data used in redundant arrays of independent storages, e.g. in RAID systems
    • G06F11/1092—Rebuilding, e.g. when physically replacing a failing disk
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/1658—Data re-synchronization of a redundant component, or initial sync of replacement, additional or spare unit
    • G06F11/1662—Data re-synchronization of a redundant component, or initial sync of replacement, additional or spare unit the resynchronized component or unit being a persistent storage device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2094—Redundant storage or storage space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0635—Configuration or reconfiguration of storage systems by changing the path, e.g. traffic rerouting, path reconfiguration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0689—Disk arrays, e.g. RAID, JBOD

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Techniques For Improving Reliability Of Storages (AREA)
  • Debugging And Monitoring (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

(57)【要約】 【課題】データの通信路にバスを使用した場合、ディス
ク装置２０（ディスク２２）中のデータをスペアディス
ク２１（スペア２）中に再生或いは複写する処理と、制
御装置２３がホストコンピュータからの要求に基づく読
み出し／書き込み処理と並列に行うことができなかっ
た。 【解決手段】ループ２２を時分割多重機能を持つファイ
バチャネルとし、ディスク２２とスペア２１との間の処
理は制御装置２３を介さず行うことで、ディスク２２の
データをスペア２に複写する処理と、ホストコンピュー
タとディスク装置２０との処理を並行して行えるように
した。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、ディスクアレイ装
置の制御に関して、ディスクアレイ装置を構成している
ディスク装置が閉塞したとき、或いはディスク装置で所
定のしきい値を超える回数のエラーが検出がされたとき
に、そのディスク装置が記憶しているデータをスペアデ
ィスクに複写する方式に関する。
【０００２】
【従来の技術】スペアディスクに関しては、例えば、特
開平７−２１０３３３号公報に記載の発明がある。
【０００３】この公報に記載のように従来は、ある所定
のしきい値を超える回数のエラーが検出がされたディス
ク装置や障害を起こして閉塞したディスク装置中のデー
タをスペアディスクに再生或いは複写する場合、再生・
複写を制御装置が管理していたため、閉塞或いはしきい
値を超える回数のエラーが検出がされたディスク中のデ
ータを、一旦制御装置に読み込み、その後スペアディス
クに対して書き出さざるを得なかった。
【０００４】このためこの処理が始まると、制御装置上
にあるマイクロプロセッサやメモリ等の資源が、この読
み込みと書き込み処理のために使われてしまい、同時に
行われているホストコンピュータからの要求に基づく読
み出し／書き込み処理に割当てるべき資源が少なくな
り、ディスクアレイ装置としての読み出し／書き込み性
能が下がってしまっていた。またスペアディスクへのデ
ータの書き込み自体も時間がかかっていた。
【０００５】
【発明が解決しようとする課題】ディスクアレイ装置を
構成するディスク装置が閉塞してしまったとき、或いは
ディスク装置でしきい値を超える回数のエラーが検出が
されたとき、そのディスク装置中のデータをスペアディ
スク中に再生或いは複写しなくてはならない。
【０００６】これらのデータの演算再生処理や複写処理
は、制御装置がホストコンピュータからの要求に基づく
読み出し／書き込み処理と並列に行われる必要がある。
しかし制御装置上にあるマイクロプロセッサやメモリ等
の資源が、この複写処理のために使われてしまい、同時
に行われるべき読み出し／書き込み処理に割当てるべき
資源が少なくなり、ディスクアレイ装置としての読み出
し／書き込み性能が下がってしまう。
【０００７】本発明は、これらの処理に割かれる制御装
置の資源を減らし（データ転送に関しては無くし）、ホ
ストコンピュータからの要求に基づく読み出し／書き込
み処理に充てることで、ディスクアレイ装置の読み出し
／書き込み性能を向上させることにある。
【０００８】
【課題を解決するための手段】上記の課題を解決するた
めに、制御装置の同一制御部配下の転送媒体としての通
信路（バス等）にディスク装置とスペアディスクとを備
え、制御装置を通さずにしきい値を超える回数のエラー
が検出がされたディスク装置中のデータをスペアディス
クに対して複写する。
【０００９】また、スペアディスクに対してデータの演
算再生処理や複写処理は、制御装置がホストコンピュー
タからの要求に基づく読み出し／書き込み処理と並列に
行われる必要がある。単純に同一制御部配下の転送媒体
にディスク装置とスペアディスクとを備えたのみでは、
演算再生処理や複写処理と読み出し／書き込み処理とを
同時に行うことはできない場合が有る。
【００１０】また、制御装置上にあるマイクロプロセッ
サやメモリ等の資源が、この複写処理のために使われて
しまい、同時に行われるべき読み出し／書き込み処理に
割当てるべき資源が少なくなり、ディスクアレイ装置と
しての読み出し／書き込み性能が下がってしまう。
【００１１】そこで、通信路を多重通信を行うことが出
来る媒体（例えば時分割多重通信可能なファイバチャネ
ルによるループ）とする。
【００１２】そして、制御装置がスペアディスクにコマ
ンドを送ることで、閉塞しているディスク装置と同じＥ
ＣＣグループに属する他のディスク装置からデータを読
み込み、演算を行い閉塞したディスク装置中のデータを
再生してスペアディスクに書き込む処理を、スペアディ
スク自身に行わせる。
【００１３】このとき複数のループを接続するスイッチ
を通してデータ転送を行うことで、制御装置の資源の使
用を最低限にする。このようにすることにより制御装置
が、スペアディスクへの複写処理から解放される。ファ
イバチャネルによるループのデータ転送速度は、１台の
ディスク装置のデータ転送速度よりも高速なので、ルー
プが持つ時分割多重機能と合わせて、制御装置とディス
ク装置でのデータ転送、あるしきい値を超える回数のエ
ラーが検出がされたディスク装置とスペアディスクとの
間のデータ転送を同時に行える。
【００１４】
【発明の実施の形態】本発明の実施の形態を図面を用い
て説明する。
【００１５】まず一つ目の実施形態のディスクアレイ装
置の構成例を図１に示す。１１がディスクアレイ装置
で、１２はディスクアレイ装置１１がつながれるホスト
コンピュータである。ディスクアレイ装置１１のホスト
コンピュータ１２に対する入出力は、ディスクアレイ装
置１１に装備されるホストコンピュータ１２側の制御装
置１３を介して行われる。制御装置１３は、ホストコン
ピュータ１２及びディスクアレイ装置１１への入出力デ
ータを一時的に格納するキャッシュメモリ１４を介し
て、ディスクアレイ装置１１を構成する複数のディスク
装置１５を制御するディスク装置側の制御装置１６に接
続される。この制御装置１６とディスク装置１５及びこ
の間における接続部分（１７で示す範囲）の構成例を図
２に詳細に示す。
【００１６】ディスクアレイ装置を構成するディスク装
置２０（ディスク（１１）〜ディスク（ｉ１））及びス
ペアディスク装置２１（スペア（１））は、通信路たる
ループ２２（ループ（1）)を通して後述するループ制御
部２４(ループ制御部（1）)から発信されたコマンドに
よって制御される。ディスク（１２）〜ディスク（ｉ
ｊ）及びスペア（２）〜スペア（ｊ）も同様にループ２
２を通して各ループの制御部２４によって制御される。
また、ディスク装置２０は障害に対する信頼性の向上の
ために冗長性を持たせてある。
【００１７】尚、図２のディスク装置２０とスペアディ
スク装置２１とは同じ構成のディスク装置を使用してい
る。また、ディスク装置とループ制御部は、図１のディ
スク装置１５及び制御装置１６と同じ構成の装置であ
る。また以下の説明において、特定のディスクを示す場
合にはディスク（ｎｍ）とディスクナンバーを付した形
で表記し、ディスク装置一般を示す場合にはディスク装
置２０と表記する。スペアディスク、ループ、ＥＣＣグ
ループ及びループ制御部等に付いても同様とする。
【００１８】ループ制御部２４が発信するコマンドの例
としては、ループ２２上で動作可能なＳＣＳＩのコマン
ドなどがある。以下ではループ２２上で動作可能なＳＣ
ＳＩプロトコルを例に取り説明を行う。コマンドを受信
したときディスク装置２０は、ターゲットとして動作
し、コマンドの種類（例えばコピー・コマンド）によっ
て、ディスク装置２０はイニシエータとしても動作する
構成の装置を使用する。
【００１９】このようなディスク装置２０が複数台（図
２の例ではｉ＋１個）組になって、一つのループ２２に
より制御装置２３中のループ制御部２４に接続される。
このループ２２のデータ転送速度は、１台のディスク装
置２０のデータ転送速度よりも高速である。加えてルー
プ２２は、フレームという単位でデータを転送して時分
割多重を行うことで、同時にディスク装置−ループ制御
部対間、およびディスク装置−ディスク装置対間での複
数同時通信を可能にする。このような通信を可能とする
ために、ループ２２としては例えばファイバチャネルを
用いる。
【００２０】制御装置２３中には複数個のループ制御部
２４（図２の例ではｊ個）がある。よって、一つの制御
装置２３に対して複数個のループ２２が接続されている
形となる。そしてこの複数個のループ制御部２４同士は
互いに通信を行うことができる。これは例えば、複数個
のループ制御部２４が、共有するバス（図示せず）を使
ってデータを送り合うことによって可能になる。
【００２１】各ループ２２には、それぞれ最低一つの予
備のディスク装置２１（以下スペアディスクと呼ぶ。）
が接続される。スペアディスク２１は同じループ２２に
接続されるその他のディスク装置２０とは異なり、通常
はホストコンピュータ（図１参照）からのデータは記憶
されていない。同じループ２２中のディスク装置２０
で、あるしきい値を超える回数のエラーが検出されたと
き、或いは同じループ２２中のディスク装置２０が障害
を起こし閉塞したときに、そのディスク装置２０中のデ
ータの複製がスペアディスク２１に書き込まれる。そし
て以下に説明する処理によって、スペアディスク２１は
ディスク装置２０と置き換えられる。
【００２２】
【表１】
【００２３】制御装置２３が持つ各ループ制御部２４の
共有メモリ（図示せず）上には、表１に例示するような
ディスク装置管理テーブルがある。このテーブルにはデ
ィスク装置２０毎のエントリがある。各エントリにはデ
ィスク装置２０が接続されるループ２２の識別子（ルー
プＩＤ）、そのディスク装置２０の識別子（ディスク装
置ＩＤ）、そのディスク装置２０が起こしているエラー
の数（エラーカウント）、そのディスク装置２０のステ
ータスのフィールドがある。そしてこのテーブルは制御
装置２３上の各ループ制御部からのアクセスが可能にな
っている。
【００２４】各ループ制御部２４では、次の二つの種類
のジョブが動いている。一つは図３のフローに基づいて
動くもので、あるしきい値を超える回数のエラーが検出
がされているディスク装置２０から同じループ２２に接
続されているスペアディスク２１へ、データの複写を行
うジョブである。そしてもう一つは、図４のフローに基
づいて動くもので、あるループ制御部２４とループ２２
を通してそのループ制御部２４と接続されるディスク装
置２０との間での、データの読み込み／書き込み処理す
るジョブである。一つのループ制御部２４中では、一つ
の前者のジョブと複数個の後者のジョブが同時に（並行
して）動いている。
【００２５】前述のように、１台のディスク装置２０の
データ転送速度に比べて、ループ２２のデータ転送速度
が十分に高速であり、ループは時分割多重でデータの転
送を行うことができる。これにより同時に複数のディス
ク装置２０−制御装置２３対、およびディスク装置２０
−ディスク装置２０対でのデータ転送が可能になり、複
数個のジョブが同時に動作できる。
【００２６】スペアディスク２１に対するデータの書き
込みのジョブを図３で示すフローチャート及び図２によ
り説明する。
【００２７】このジョブにより、ディスク（２２）ある
しきい値を超える回数のエラーが検出がされたとする。
すると後で説明するように、ディスク装置管理テーブル
のエントリで、ディスク（２２）に割り当てられている
ステータス・フィールドにフラグが立つ。そして同じル
ープ（２）に接続されているスペア（２）へのデータの
複写が行われる。ディスクアレイ装置１１が起動する
と、ディスク（２２）に対してイニシエータとなるルー
プ制御部（２）は、ジョブを起動し、処理を始める（ス
テップ３−１）。
【００２８】次にジョブは、表１に示すディスク装置管
理テーブルを検索して、スペアディスク２１への複写対
象になるディスク装置２０があるかを探す（ステップ３
−２）。これはディスク装置管理テーブルのエントリ中
にあるディスク装置２０のステータス・フィールドを参
照することで行われる。もしあるしきい値を超える回数
のエラーが検出がされたディスク装置２０があれば、後
で説明するように、ディスク装置管理テーブルのエント
リで、ディスク（２２）に割り当てられているステータ
ス・フィールドに、スペアディスク２１へのデータの複
写を指示するフラグが立っている。そして複写の対象と
なるディスク装置２０があれば次のステップに進み、な
ければジョブはステップ３−１からの処理を繰り返し続
ける（ステップ３−３）。
【００２９】複写の対象となるディスク装置が有る場合
（この場合ディスク（２２））、ループ制御部（２）
は、ループ（２）を通してループ（２）に接続されてい
るスペアディスク（２）に対して、ディスク（２２）内
のデータの複写を行うためのコマンドを送信する（ステ
ップ３−４）。このコマンドとして、ＳＣＳＩのコピー
・コマンドを用いることが出来る。ＳＣＳＩのコマンド
については一般の規格書等にあるので詳細は記載しない
が、例えば「ＳＣＳＩ−２詳細解説（最新ＳＣＳＩ規格
とコマンド・リファレンス） 菅谷誠一著 ＣＱ出版」等
に説明されている。
【００３０】このときループ制御部（２）とディスク
（２）は、イニシエータとターゲットの関係にある。送
信されるコマンドのパラメータとしては、ディスク（２
２）の識別子、データ転送を開始する論理ブロック先頭
のアドレス、一回に転送されるデータの長さがある。そ
してループ（２）制御部を通さずに、コマンドによって
指定されたデータが、直接ループ（２）を通してディス
ク（２２）からスペアディスク（２）に送信される。
（で示す）次にディスク（２２）中の残りのデータを
転送するために、ループ制御部（２）はデータ転送の開
始論理ブロック・アドレスを保持する変数を更新する
（ステップ３−５）。そしてあるしきい値を超える回数
のエラーが検出がされたディスク装置中の全てのデータ
が複写されるまで処理が繰り返される（ステップ３−
６）。ディスク（２２）中の全てのデータが転送され終
わると、ジョブはディスク（２２）に割当てられていた
識別子を、スペア（２）に割当て、ディスク（２２）を
閉塞させる（ステップ３−７）。
【００３１】これによってスペア（２）は、あるしきい
値を超える回数のエラーが検出がされたディスク（２
２）に置き換わって働き始める。すなわちディスク（２
２）からスペア（２）にディスク装置自体は入れ代わっ
ているが、ディスク装置に割り当てられる識別子を同じ
にすることで、スペア（２）は元あったディスク（２
２）としてイニシエータ（ループ制御部（２））から扱
われる。以上でループ制御部（２）はジョブを終了させ
る（ステップ３−８）。
【００３２】次にディスク装置に対するデータの読み出
し／書き込みのジョブを図４で示すフローチャート及び
図２により説明する。このジョブにより、ループ制御部
２４はループ２２を通して接続されるディスク装置２０
との間での、データの読み出し／書き込みを行う。
【００３３】ディスク装置２０に対してイニシエータと
なるループ制御部２４中で、このジョブは複数動作して
いる。
【００３４】始めに、ジョブに対しホストコンピュータ
１２からの要求等に起因して、ディスク装置２０に対し
てデータの読み出し／書き込み要求が発生する（ステッ
プ４−１）。するとその要求が正常なディスク装置２０
に対するものなのか、それともあるしきい値を超える回
数のエラーが検出されているディスク装置２０（この場
合はスペア（２）にデータを複写中のディスク（２
２））に対するものなのかを、ジョブは判定する（ステ
ップ４−２）。
【００３５】これは制御部２３が持つディスク装置管理
テーブル（表１）を、ディスク装置２０の識別子をキー
に、ステータスのフィールドを検索することによって行
われる。あるしきい値を超える回数のエラーが検出され
ているディスク（２２）のステータスを示すフィールド
には、スペア（２）へのデータの複写を指示するフラグ
が立っている。
【００３６】最初に要求の対象となるディスク装置２０
が正常だった場合（ディスク（ｉ１））を説明する。
【００３７】ジョブは、要求がデータの読み出しなのか
書き込みかを判定する（ステップ４−３）。要求がデー
タの読み出しだった場合、ジョブは通常の読み出し処理
を行う（ステップ４−４）。要求がディスク（ｉ１）か
らデータを読み出すものだった場合は、ループ（１）を
通してジョブはディスク（ｉ１）に対してデータ読み出
しコマンド送信する。するとディスク（ｉ１）からルー
プ（１）を通してデータが、ループ制御部２４のバッフ
ァ２６までで示すように転送される。
【００３８】また要求がデータの書き込みだった場合、
ジョブは通常の書き込み処理を行う（ステップ４−
５）。要求がディスク（１２）にデータを書き込む要求
だった場合、ループ（２）を通してジョブはディスク
（１２）に対してデータ書き込みコマンドを送信する。
するとループ制御部（２）のバッファ（２）からループ
（２）を介してデータがディスク（１２）に転送される
（で示す）。読み出しと書き込みのどちらの場合も、
ループ制御部（１）とディスク（ｉ１）、ループ制御部
（２）と（１２）は、イニシエータとターゲットの関係
にある。
【００３９】次に要求の対象となるディスク装置２０で
あるしきい値を超える回数のエラーが検出されていた場
合を説明する（ディスク（２２））。
【００４０】この場合もジョブは、その要求がデータの
読み出しなのか書き込みかをまず判定する（ステップ４
−６）。要求がデータの読み出しだった場合、ジョブは
エラー検出時読み出し処理を行う（ステップ４−７）。
【００４１】次に要求がデータの書き込みだった場合、
ジョブはエラー検出時書き込み処理を行う（ステップ４
−８）。
【００４２】続いてジョブは、読み出し要求や書き込み
要求を処理した後の実行結果を、ディスク装置から受信
し、成功したかエラーが発生したかを確認する（ステッ
プ４−９）。エラーがなかった場合は、先に説明したよ
うに次の要求を受けるためステップ４−１に戻る。エラ
ーがあった場合は、表１に示すディスク装置管理テーブ
ルのディスク識別子を持つエントリ中のエラーカウント
の値をインクリメントする（ステップ４−１０）。
【００４３】そして次にインクリメントした結果が、決
められているしきい値を超えていないかを確認する（ス
テップ４−１１）。しきい値を超えていない場合は、そ
のまま次の要求を受けるためにステップ４−１に戻る。
【００４４】しきい値を超えていた場合は、そのディス
ク（２２）の識別子を持つディスク装置管理テーブル中
のエントリのステータスを示す項目にスペア（２）への
データの複写を指示するフラグを立てる（ステップ４−
１２）。そしてステップ４−１に戻る。
【００４５】ディスク装置管理テーブル（表１）によ
り、データを読み出す先のディスク（２２）で、あるし
きい値を超える回数のエラーが検出されていることを、
ジョブは知ることができる。このときジョブは、ディス
ク（２２）に対してコマンドを送信することはしない。
代わりにループ制御部２４同士の通信機能を利用して、
ジョブはＥＣＣ演算によって要求されたデータが得られ
るように、ループ制御部（２）を除いたループ制御部
（１）から（ｊ）に対してデータ読出しの指示を出す。
【００４６】ジョブのこの指示を受けたループ制御部
は、ディスク（２２）が属するＥＣＣグループ（２）に
属する他のディスク（２１）等に対して、ジョブがディ
スク（２２）から読み出そうとしたデータを、ＥＣＣ演
算し再生するために必要なデータを読み出すためのコマ
ンドを送信する。そしてそれぞれのループにおいて、こ
のコマンドを受信したディスク（２１）は、要求された
データをループ制御部（１）に転送する。そしてループ
制御部（１）はこのデータを、データ再生回路（２）に
転送する。
【００４７】同様に他のループ制御部からもＥＣＣグル
ープ（２）に属するディスク中のデータが、データ再生
回路（２）に送られる（で示す）。データ再生回路
（２）では、これらの集められたデータから、最初にル
ープ制御部（２）がディスク（２２）から読み出そうと
したデータをＥＣＣにより演算し再生して、バッファ
（２）へ送り出す。
【００４８】次に要求がデータの書き込みだった場合、
ジョブはエラー検出時書き込み処理を行う。あるしきい
値を超える回数のエラーが検出され、それが記憶してい
るデータをスペア（２）に複写中であるディスク（２
２）に対して、データの書き込み要求が出された場合を
説明する。
【００４９】ディスク（２２）からスペア（２）へのデ
ータの複写は、ループ制御部（２）上で動作している図
３に示したフローを実行するジョブにより、ディスク
（２２）中の先頭の論理アドレスから順に行われる。そ
してこのジョブが使用するする変数により、ディスク
（２２）のどのアドレスまでの複写が完了しているかを
知ることができる。データの書き込み要求によってディ
スク（２２）へ書き込まれる先のアドレス上のデータ
が、まだスペアディスク（２）に複写されていない場合
は、この書き込み要求を処理するジョブは、ディスク
（２２）に対してデータ書き込みコマンドを送信する。
続いてループ制御部（２）のバッファ（２）から、ルー
プ（２）を介してデータがディスク（２２）に転送され
る（で示す）。
【００５０】ここで書きこまれたデータは、この後で図
３に示したフローを実行するジョブにより、ディスク
（２２）からスペア（２）に複写される。一方、データ
の書き込み要求によってディスク（２２）へ書き込まれ
る先のアドレス上のデータが、既にスペア（２）に複写
されてしまっている場合、この書き込み要求を処理する
ジョブは、スペアディスク（２）に対してデータ書き込
みコマンドを送信する。続いてループ制御部（２）のバ
ッファ（２）から、ループ（２）を介してデータがスペ
ア（２）に転送される（で示す）。
【００５１】あるしきい値を超える回数のエラーが検出
がされたディスク（２２）からスペア（２）へのデータ
転送を開始する際に、図３に示したフローで動くジョブ
は、図５に示す論理を表１のようなテーブルと後で示す
（数１）のような式と共に使用ことができる。
【００５２】すなわち、ステップ３−４の前にステップ
５−１とステップ５−２を入れることができる。（ステ
ップ５−３がステップ３−４とステップ３−５に相
当。）表１に示すテーブルの各エントリは、あるしきい
値を超える回数のエラーが検出がされたディスク（２
２）からスペア（２）へのデータ転送を除くあるループ
２２上で実行中のデータ転送処理と、これから実行され
るデータ転送処理である。各エントリには、制御装置２
３とディスク装置２０との間でデータ転送を行うために
必要なパラメータが設定される。まずジョブは表２のデ
ィスク装置識別子の項目を検索して、ループ制御部
（２）としきい値を超える回数のエラーが検出がされた
ディスク（２２）との間でのデータ転送要求があるかを
確認する（ステップ５−１）。
【００５３】
【表２】
【００５４】もし要求があれば真となり、スペア（２）
へのデータ転送は行わずに、ループ制御部（２）とディ
スク（２２）との間のデータ転送を優先する。要求がな
い場合は偽となり、ループ（２）のデータ転送能力に余
裕があるかを確認する（ステップ５−２）。
【００５５】ディスク（２２）とスペア（２）との間で
データ転送を行うとループ（２）に負荷がかかることに
なる。これは、その他のデータ転送に影響を与えるかを
調べるためである。ジョブは表１の実行状態の項目を検
索して現在実行中のデータ転送数を調べる。現在実行中
のデータ転送処理数が分かったら、次に（数１）に示す
式を使う。
【００５６】
【数１】
【００５７】これはループ２２のデータ転送速度に対し
て現在行われているデータ転送数から、更にデータ転
送、すなわちディスク（２２）からスペア（２）へのデ
ータ転送行えるだけ、ループ（２）のデータ転送能力に
余裕があるを判断する。もし（数１）の値が正であれば
（ステップ５−２が偽）、ループ（２）のデータ転送能
力が十分にあると判断してディスク（２２）からスペア
（２）へのデータ転送を開始する（ステップ５−３）。
【００５８】逆に（数１）が負の場合はループに余裕が
ないと（ステップ５−２が真）、ディスク（２２）から
スペア（２）へのデータ転送は行わない。ジョブは、ス
ペアディスク（２）に対してデータ転送のコマンドを送
信する前にこの論理を繰り返し実行する。これを行うの
は、スペア（２）へのデータの複写よりも、ホストコン
ピュータ１２からの要求等に起因するディスク装置２０
に対するデータの読み出し／書き込み要求を優先させた
いからである。
【００５９】続いて二つ目の実施形態を説明する。この
実施例では、図１の枠１７の部分として図６に示すよう
なディスク装置の接続構成例をとる。図２で示したディ
スク装置２０の接続構成例との差異は、スイッチ６１の
追加と、各ディスク装置２０の機能拡張である。
【００６０】スイッチ６１は、複数個のループ２２を相
互に接続する働きをする。これによりあるループ２２に
接続されているループ制御部２４、或いはディスク装置
２０が、他のループ２２に接続されているループ制御部
２４或いはディスク装置２０と通信することができるよ
うになる。スイッチ６１の構成例を説明する前に、ルー
プ制御部２４やディスク装置２０が、ループ２２を通し
て他と通信するときに送信するフレームについて説明す
る。
【００６１】フレームの構成例を図７に示す。フレーム
は、ヘッダ部７１、データ部７２、フッタ部７３の三つ
の部分からなる。このうちヘッダ部７１にはフレームの
行き先に関する情報が含まれる。これは、ループ識別子
７４（Ｌ＿ＩＤ）とディスク装置識別子７５（Ｄ＿Ｉ
Ｄ）の二つから成る。ループ識別子７４は、そのフレー
ムの行き先になるディスク装置２０が接続されているル
ープ２２の識別子を示し、ディスク装置識別子７５はそ
の行き先のループ内でのディスク装置の識別子を示す。
【００６２】分割多重通信であるので、データは所定の
容量毎に分割される。また、ファイバチャネルはその転
送速度が十分に速いため、ループ２２内のデータ転送
は、上位装置とディスク装置２０（スペアディスク２１
を含む）との通信専用のスロットと、ディスク装置２０
同士（主にディスク装置２０とスペアディスク２１との
間）の通信専用のスロットとを決めておいて転送する。
しかし、専用スロットを設定せず、ループ内ループ２２
上のトラフィックを監視して、正常なディスク装置２０
と制御装置２３の間でのデータ転送の速度を落とさない
ように、あるしきい値を超える回数のエラーが検出がさ
れたディスク装置２０からスペアディスク２１へのデー
タ転送量を自動的に調整できるような設定としておいて
も良い。
【００６３】次にスイッチ６１の構成例を図８に示す。
スイッチ６１内には、接続できるループ（例えばループ
（１））の数だけ（図６ではｊ本）ループ接続部８１が
ある。そしてループ接続部８１同士は、互いにデータを
送り合い通信ができるように相互に接続されている。
【００６４】図９はループ接続部８１のブロック図の例
である。ループ接続部８１と接続されているループ（自
ループ）からフレームの入力があると、そのフレームは
まずフレーム解析部９１に送られる。ここで図７に示し
たヘッダ部７１の情報が参照される。そしてヘッダ部７
１中のループ識別子７４の値によって、そのフレームの
行き先が出力先指示部９２により指示され、スイッチン
グが行われれる。その結果、行き先となるループに対し
て、その当該フレームが出力される。これにより、ルー
プ２２をまたがった通信が可能になる。
【００６５】次に後者のディスク装置２０の機能拡張に
ついて説明する。最初の実施形態で想定したディスクア
レイ装置１１を構成するディスク装置２０は、ループ上
で動作可能なＳＣＳＩプロトコルを扱えるもので、通常
はＳＣＳＩのターゲットとして、場合によってはイニシ
エータとしても動作できるものとしてきた。
【００６６】この実施の形態で想定するディスク装置２
０は、第一の実施形態で想定した機能に加えて、あるＥ
ＣＣグループに属する他の複数のディスク装置２０に関
する情報を与えることで、それら複数のディスク装置２
０からデータを読み出し、ＥＣＣを演算してデータの再
生を行える機能を持つようなディスク装置２０である。
動作の詳細は以下で順に説明する。
【００６７】第一の実施例と同様に、各ループ制御部２
４では次の二つの種類のジョブが動いている。一つは図
１０のフローチャートに基づいて動くもので、スペアデ
ィスク２１に閉塞したディスク装置２０中のデータの再
生をさせたり、或いはスペアディスク２１にあるしきい
値を超える回数のエラーが検出がされているディスク装
置２０中のデータの複製を行わせるジョブである。
【００６８】そしてもう一つは、図１２のフローチャー
トに基づいて動くもので、あるループ制御部２４と、そ
のループ制御部２４とループ２２を通して接続されるデ
ィスク装置２０との間での、データの読み込み／書き込
み処理するジョブである。そしてまた第一の実施例と同
様に、一つのループ制御部２４中では、一つの前者のジ
ョブと複数個の後者のジョブが同時に動いている。
【００６９】まず前者のジョブを図１０で示すフローに
より説明する。ディスクアレイ装置１１の起動と共に、
ジョブは処理を始める（ステップ１０−１）。まず表１
に示したディスク装置管理テーブルを検索する（ステッ
プ１０−２）。
【００７０】そしてスペアディスク２１へのデータの書
き込みが必要であるかをステータス・フィールドの値に
より判断する（ステップ１０−３）。この実施例でもス
テータス・フィールドには、ディスク装置２０の状態を
示す値が設定される。例えば、ディスク装置２０が閉塞
したとき、或いはディスク装置２０であるしきい値を超
える回数のエラーが検出がされたときに、それぞれを意
味するフラグが立つ。
【００７１】対象となるディスク装置２０があり、スペ
アディスク２１へのデータの書き込みが必要になるの
は、（１）あるディスク装置が閉塞している場合、また
は（２）あるディスク装置においてあるしきい値を超え
る回数のエラーが検出がされている場合である。
【００７２】表１に示すディスク装置管理テーブルを検
索した結果、ディスク装置２０の状態が前記の二つの条
件のいずれにも当てはまらなければ、ジョブは、ステッ
プ１０−１からの処理を繰り返し行い、条件に当てはま
る場合（複写すべきディスク装置が存在する場合）は次
のステップへ進む（ステップ１０−３）。
【００７３】ディスク装置の状態が前記の二つの条件の
どちらかに当てはまる場合、ジョブはそれがディスクが
閉塞しているのか否かを判断し何故複写をするのかを判
定する（ステップ１０−４）。
【００７４】ディスク装置２０が閉塞している場合は、
そのディスク装置２０が属しているＥＣＣグループ２５
の他の正常なディスク装置２０からデータを集めＥＣＣ
演算を行い、閉塞しているディスク装置２０中のデータ
を再生するように、ジョブはスペアディスクにコマンド
を送信する。そしてこれを受信したスペアディスク２１
が複写に必要な処理を行う（ステップ１０−５）。
【００７５】ディスク装置２０においてあるしきい値を
超える回数のエラーが検出されている場合は、そのある
しきい値を超える回数のエラーが検出がされているディ
スク装置２０中のデータをスペアディスク２１中に複写
するように、ジョブはスペアディスク２１にコマンドを
送信する。そしてこれを受信したスペアディスク２１が
複写に必要な処理を行う（ステップ１０−６）。
【００７６】スペアディスク２１がコマンドを受信する
とき、ジョブが起動しているループ制御部２４がイニシ
エータとして機能し、スペアディスク２１はターゲット
として機能する。そしてコマンドの受信後に、上記処理
をスペアディスク２１が行うときには、スペアディスク
２１がイニシエータとなり、スペアディスク２１と通信
を行うディスク装置２０がターゲットとなる。そして、
ＥＣＣ演算を行うことで閉塞しているディスク装置２０
中のデータをスペアディスク２１内へ再生すること、或
いはあるしきい値を超える回数のエラーが検出がされて
いるディスク装置中のデータをスペアディスク中に複写
することを完了したら、最初の実施の形態で説明したよ
うに、ジョブはスペアディスク対する識別子の更新処理
を行う（ステップ１０−７）。
【００７７】これ以降スペアディスク２１は、閉塞して
しまったディスク装置２０、或いはあるしきい値を超え
る回数のエラーが検出がされたディスク装置２０として
振舞うことになる。これでこのジョブは終了する（ステ
ップ１０−８）。
【００７８】ディスク装置２０が閉塞している場合につ
いての処理の詳細な流れを、図６及び図１１のフローチ
ャートを用いて説明する。図６は閉塞したディスク装置
中のデータをＥＣＣ演算し再生する際のデータの流れ
を、図１１はループ制御部２４からのコマンドを受信し
たスペアディスク２１が、このとき行う処理の流れを示
している。
【００７９】ディスク（２２）が閉塞すると、ループ制
御部（２）はその閉塞したディスク（２２）が接続され
ているループ（２）に接続されているスペアディスク
（２）に対して、閉塞したディスク（２２）中のデータ
をＥＣＣ演算して再生し、その再生したデータをスペア
（２）に書き込むようにループ（２）を通してコマンド
を送信する（で示す）。このコマンドを受信してスペ
ア（２）が、図１１に示される処理を開始する（ステッ
プ１１−１）。
【００８０】スペア（２）は、ループ制御部（２）中の
ジョブからコマンドを受信する際に、閉塞したディスク
（２２）が属するＥＣＣグループ（２）に属する他の正
常な複数のディスク（２１）に関する情報もパラメータ
として受信する（ステップ１１−２）。この情報には、
正常なディスク（２１）の識別子、およびこのディスク
装置（２１）が属するループ（１）の識別子が含まれ
る。
【００８１】コマンドを受信するとき、ループ制御部
（２）とスペア（２）は、イニシエータとターゲットの
関係にある。そしてこのコマンドを受信した後、スペア
（２）はそのコマンドの実行を開始する前に、正常なデ
ィスク（２１）に対してイニシエータとなる。他方、正
常なディスク（２１）…（２ｊ）は、スペア（２）に対
してターゲットとなる。そしてスペア（２）は、ＥＣＣ
演算して再生後に記憶する論理ブロックのアドレスの値
を初期化する（ステップ１２−３）。
【００８２】次にスペア（２）は、ＥＣＣグループ
（２）に属する他のディスク（２１）、ディスク（２
ｊ）等に対して読み出しコマンドを送信し、閉塞したデ
ィスク（２２）上の論理ブロックをＥＣＣ演算し再生す
るために必要なデータを読み出す（ステップ１１−
４）。その際、ディスク（２１）のデータ転送は、ルー
プ制御部（１）及びループ制御部（２）を通すことな
く、スイッチ６１を通すことで二つのループ（１）及び
ループ（２）に跨って、直接スペア（２）に対して行わ
れる（で示す）。このとき、スペア（２）とＥＣＣグ
ループ（２）に属する正常なディスク（２１）等とは、
イニシエータとターゲットの関係にある。ディスク（２
ｊ）のデータ転送も同様である。
【００８３】スペア（２）は、ステップ１１−２で取得
しているループ識別子とディスク装置識別子によって、
ＥＣＣ演算し論理ブロックを再生するために必要なデー
タを読み出すために指定すべき正常なディスク（２１）
を特定する。そして、ＥＣＣグループ（２）に属する正
常なディスク（２１）、ディスク（２ｊ）等から、同様
に読み出したデータから、スペア（２）はＥＣＣ演算を
行い、閉塞したディスク（２２）上の論理ブロックに記
憶されていたデータを再生する（ステップ１１−５）。
【００８４】そしてスペア（２）は、再生したデータを
自身の論理ブロックに書き込む（ステップ１１−６）。
次にスペア（２）は、次の論理ブロックを再生するため
に、当該論理ブロックのアドレスを更新する（ステップ
１１−７）。
【００８５】最後にスペア（２）は、閉塞しているディ
スク（２２）中の再生対象となる論理ブロックが、全て
再生されたかを確認する（ステップ１１−８）。再生す
べき論理ブロックが残っていれば、スペア（２）は、ス
テップ１１−４からステップ１１−８までの処理を繰り
返す。論理ブロックの再生が完了していれば、スペア
（２）は処理を終了する（ステップ１１−９）。
【００８６】次に、あるディスク装置においてしきい値
を超える回数のエラーが検出がされている場合のコピー
処理の詳細な流れを、図６及び図１２のフローチャート
を用いて説明する。図６はしきい値を超える回数のエラ
ーが検出がされているディスク装置２０中のデータがス
ペアディスク２１に複写される際のデータの流れを、図
１２はループ制御部２４の指示を受けたスペアディスク
２１が、このとき行う処理の流れを示している。
【００８７】ディスク（２２）で、ある設定したしきい
値を超える回数のエラーが検出されると、ループ制御部
（２）はディスク（２２）が接続されているループ
（２）に接続されているスペア（２）に対して、ディス
ク（２２）中のデータを、スペア（２）自身に複写する
ようにループ（２）を介してコマンド（で示す）を送
信する。このコマンドを受信してスペア（２）が、図１
６に示される処理を開始する（ステップ１２−１）。
【００８８】スペア（２）がコマンドを受信するとき、
ループ制御部（２）とスペア（２）は、イニシエータと
ターゲットの関係にある。そしてこのコマンドを受信し
た後、スペア（２）はそのコマンドの実行を開始する前
に、ディスク（２２）に対してイニシエータとなる。ス
ペア（２）は、ループ制御部（２）からコマンドを受信
する際に、ディスク（２２）の情報の他に、ディスク
（２２）が属するＥＣＣグループ（２）に属する他のデ
ィスク（２１），ディスク（２ｊ）等に関する情報も受
け取る（ステップ１２−２）。この情報には、ディスク
装置２０の識別子、およびディスク装置２０が属するル
ープ２４の識別子が含まれる。
【００８９】次にスペア（２）は、ディスク（２２）か
らデータを複写するために、スペアディスク（２）自身
が記憶する論理ブロックのアドレスの値を初期化する
（ステップ１２−３）。
【００９０】そして、スペア（２）は、ディスク（２
２）に対して読み出しコマンドを送信し、ディスク（２
２）上の論理アドレスからデータを読み出す（ステップ
１２−４）。
【００９１】これによりループ制御部（２）を通すこと
なく、ループ（２）を通して直接ディスク（２２）から
スペア（２）へのデータの転送が行われる。このとき、
スペア（２）とディスク（２２）とは、イニシエータと
ターゲットの関係にある。
【００９２】次にスペア（２）は、このデータの読み出
しの成否を判定する（ステップ１２−５）。
【００９３】データの読み出しが成功すれば、スペア
（２）は読み出したデータを、スペアディスク（２）自
身の論理ブロックに書き込む（で示す）（ステップ１
２−８）。
【００９４】読み出しに失敗した場合は、スペア（２）
は書き込むべきデータを、図１１で説明した方式により
再生し、スペア（２）自身に書き込む。すなわち、ディ
スク（２２）が属するＥＣＣグループ（２）から論理ブ
ロックのＥＣＣ演算に必要なデータを取得し（ステップ
１２−６）、これからスペア（２）の論理ブロックに書
き込むデータを再生する（ステップ１２−７）。
【００９５】そしてスペア（２）は、得られたデータを
スペア（２）自身の論理ブロックに書き込む（で示
す）（ステップ１２−８）。
【００９６】次にスペア（２）は、次の論理ブロックを
複写するために、当該論理ブロックのアドレスを更新す
る（ステップ１２−９）。
【００９７】そしてスペア（２）は、ディスク（２２）
中で複写の対象となる論理ブロックの複写が全て完了し
たかを確認する（ステップ１２−１０）。
【００９８】まだ複写すべき論理ブロックが残っていれ
ば、スペア（２）は、ステップ１６−４からステップ１
６−１０までの処理を繰り返す。また複写すべき論理ブ
ロックの複写が完了していれば、スペア（２）は処理を
終了する（ステップ１２−１１）。
【００９９】次に後者のジョブを図１３で示すフローチ
ャートにより説明する。このジョブにより、あるループ
制御部２４とループ２２を通してそのループ制御部２４
と接続されるディスク装置２０との間での、データの読
み込み／書き込みが行われる。前述のように、ディスク
装置２０に対してイニシエータとなるループ制御部２４
中で、このジョブは複数動作している。以下では、この
うちの一つを例にとって動作を説明する。
【０１００】まず始めにジョブに対し、ホストコンピュ
ータ１２からの要求等に起因して、ディスク装置２０に
対してデータの読み出し／書き込み要求が発生する（ス
テップ１３−１）。
【０１０１】その要求が正常なディスク装置２０に対す
るものなのか、それとも閉塞しているディスク装置２
０、或いはあるしきい値を超える回数のエラーが検出さ
れているディスク装置２０（スペアディスク２１にデー
タを複写中のディスク装置２０を含む）に対するものな
のかを、ジョブは判定する（ステップ１３−２）。
【０１０２】これは制御装置２３が持つディスク装置管
理テーブル（表１）を、ディスク装置２０の識別子をキ
ーに、ステータスのフィールドを検索することによって
行われる。閉塞しているディスク装置、或いはあるしき
い値を超える回数のエラーが検出がされているディスク
装置のステータスフィールドには、スペアディスク２１
へのデータの書きこみを指示するフラグが立っている。
【０１０３】要求の対象となるディスク装置２０が正常
だった場合を図６を参照して説明する。制御装置２３か
ら出されたジョブは、要求がデータの読み出しなのか書
き込みかを判定する（ステップ１３−３）。
【０１０４】要求がデータの読み出しだった場合、ジョ
ブは通常の読み出し処理を行う（ステップ１３−４）。
例えば要求がディスク（ｉ１）からデータを読み出すも
のだった場合、ループ２２を通してジョブはディスク
（ｉ１）に対してデータ読み出しコマンド送信する。す
るとディスク（ｉ１）からループ（２）を通してデータ
がループ制御部（１）のバッファ（１）まで転送され
る。（で示す）また要求がデータの書き込みだった場
合、ジョブは通常の書き込み処理を行う（ステップ１３
−５）。
【０１０５】例えば要求がディスク（１２）にデータを
書き込むものだった場合、ループ（２）を通して、制御
装置２３はディスク（１２）に対してデータ書き込みコ
マンドを送信する。するとループ制御部（２）のバッフ
ァ（２）からループ（２）を介してデータがディスク装
置（１２）に転送される（で示す）。読み出しと書き
込みどちらの場合も、ループ制御部（１）、（２）とデ
ィスク装置（ｉ１），（２２）とは、イニシエータとタ
ーゲットの関係にある。
【０１０６】次に、受け付けられた要求の対象となるデ
ィスク装置２０が閉塞しているか、或いはそのディスク
装置２０であるしきい値を超える回数のエラーが検出さ
れた場合を図１４を参照し説明する。この場合もジョブ
は、その要求がデータの読み出しなのか書き込みかをま
ず判定する（ステップ１３−６）。
【０１０７】要求がデータの読み出しだった場合、ジョ
ブはエラー検出時読み出し処理を行う（ステップ１３−
７）。この処理は、最初の実施の形態で説明したエラー
検出時読み出し処理のステップ４−７と同じ処理であ
る。またこの処理は、ディスク装置２０が閉塞している
場合でも。ディスク装置２０であるしきい値を超える回
数のエラーが検出されている場合でも同じである。
【０１０８】次に要求がデータの書き込みだった場合、
ジョブはエラー検出時書き込み処理を行う（ステップ１
３−８）。まずディスク装置２０が閉塞している場合に
ついて説明する。例えばディスク（２１）が閉塞してい
るとする。ディスク（２１）に書き込まれるデータは、
そのディスク（２１）が属するループ（１）に接続され
るスペアディスク（１）に直接書き込まれる（で示
す）。
【０１０９】これと同時にディスク（２１）が属するＥ
ＣＣグループ（２）に属する複数の正常なディスク装置
２０（ディスク（２ｊ）等）に対して、スペア（１）に
書き込まれたデータをＥＣＣ演算し再生できるようにし
ておくためのＥＣＣが書き込まれる（○付きの10で示
す）。
【０１１０】次にディスク装置２０で規定のしきい値を
超える回数のエラーが検出されいる場合について説明す
る。例えばディスク（２２）で規定のしきい値を超える
回数のエラーが検出されいるとする。ディスク（２２）
に書き込まれるデータは、まずディスク（２２）に書き
込まれ（○付きの11で示す）、直後にスペア（２）にも
書き込まれる（○付きの12で示す）。このように二つの
ディスク装置に対して順に書き込むのは、次のような理
由による。ディスク（２２）にデータが書きこまれると
き、スペア（２）が、規定のしきい値を超える回数のエ
ラーが検出されいるディスク（２２）からスペア（２）
にデータの複写を行っている可能性がある。データの複
写は前述の通り、スペア（２）によって行われるため、
ループ制御部（２）上のジョブが、複写処理の進行状況
を知ることができない。このためディスク（２２）及び
スペア（２）の双方に対して書き込みを行わないと、ジ
ョブがデータを書き込んだタイミングによっては、最終
的に書き込んだデータが保持されて欲しいスペアディス
ク（２）上に、書き込んだデータが記録されないことに
なってしまう。二つのディスク装置に対して書き込むこ
とにより、このようなデータの不整合を防ぐことができ
る。
【０１１１】続いてジョブは、読み込み要求や書き込み
要求を処理した後の実行結果を、ディスク装置から受信
し、成功したかエラーが発生したかを確認する（ステッ
プ１３−９）。エラーがなかった場合は、そのまま次の
要求を受けるためにステップ１３−１から処理を繰り返
す。エラーがあった場合には、表１で例示したディスク
装置管理テーブルの当該のディスク識別子を持つエント
リ中のエラーカウントの値をインクリメントする（ステ
ップ１３−１０）。そして次にインクリメントした結果
が、決められているしきい値を超えているか否を確認す
る（ステップ１３−１１）。しきい値を超えていない場
合は、次の要求を受けるためにステップ１３−１から処
理を繰り返す。しきい値を超えている場合は、そのディ
スク装置２０の識別子を持つディスク装置管理テーブル
中のエントリのステータスを示す項目にスペアディスク
へのデータの複写を指示するフラグを立てる（ステップ
１３−１２）。
【０１１２】またスイッチ６１によって複数のループが
相互に接続されることによって、異なるループに接続さ
れるディスク装置２０間での通信が可能になる。その実
施例を図１５及び図１６に示すフローチャートを用いて
説明する。
【０１１３】
【表３】
【０１１４】制御装置２３は、表３に示す状態管理テー
ブルを用い、制御装置２３の中にある各ループ制御部２
４の状態を管理している。ループ（２）は正常に動作で
きるが、ループ制御部（２）が障害を起こしてこれに接
続されるループに対してアクセスできなくなった場合、
表３に示すテーブルの各フィールドの値により、対応す
る各ループ制御部が正常か或いは障害を起こしているか
が分かる。この表３のテーブルを参照して、制御装置２
３は、読み出し或いは書き込みの要求を受ける（ステッ
プ１６−１）。
【０１１５】次に制御装置２３は、表３のテーブルを参
照する（ステップ１６−２）。そして読み出し或いは書
き込みを行うディスク装置２０が接続されているループ
２２がつながっているループ制御部２４が正常に動作し
ているかを調べる（ステップ１６−３）。当該ループ制
御部２４が正常に動作していれば、制御装置２３はその
正常に動いているループ制御部２４に対して読み出し或
いは書き込みの要求を出す（ステップ１６−４）。当該
ループ制御部２４が障害を起こしていれば（ループ制御
部（２））、制御装置２３は表４に示す処理待ち要求数
を表すテーブルを参照する（ステップ１６−５）。
【０１１６】
【表４】
【０１１７】このテーブルの各フィールドには、各ルー
プ制御部２４が実行待ちとして保持している読み出しと
書き込み要求の数が保持される。そして最も空いていて
正常に動作中のループ制御部（１）に対して、障害を起
こしているループ制御部（２）で処理されるはずだった
読み出し或いは書き込み要求を処理させる（ステップ１
６−６）。
【０１１８】図１５ではループ（１）のループ制御部
（１）に対する読み出し或いは書き込み要求が少なかっ
たとする。このため、制御装置２３は、障害を起こして
いるループ制御部（２）で処理される読み出し或いは書
き込み要求を、ループ制御部（１）に送る。そしてこの
要求は、ループ（１）、スイッチ６１、ループ（２）を
経由して、読み出し或いは書き込み要求の対象となるデ
ィスク（２２）に送られる（○付きの13で示す）。
【０１１９】この際、要求を送りたいディスク（２２）
は、図７に示したループ２２に割り当てられているルー
プ識別子７４とディスク装置２０に割り当てられている
ディスク装置識別子７５により識別される。このように
して、あるループ制御部２４が障害を起こしても、他の
ループ制御部２４とスイッチ６１を介することにより、
障害を起こしているループ制御部２４に接続されるルー
プ２２につながるディスク装置２０にアクセスできる
【０１２０】
【発明の効果】規定のしきい値を超える回数のエラーが
検出がされたディスク装置、或いは閉塞してしまったデ
ィスク装置からスペアディスクにデータを複写する際
に、制御装置上にあるマイクロプロセッサやメモリ等の
資源をこの処理のために割当ことを最低限に留めて、こ
の複写処理中のディスクアレイ装置の性能低下を防ぐこ
とが出来る。
【図面の簡単な説明】
【図１】ディスクアレイ装置の構成を示す図である。
【図２】ディスク装置の接続構成を示す図である。
【図３】スペアディスクに対するデータの書き込みを示
すフローチャートである。
【図４】ディスク装置に対するデータの読み込み／書き
込みを示すフローチャートである。
【図５】ループ制御部上のジョブによるデータ転送開始
論理を示すフローチャートである。
【図６】ディスク装置の接続構成を示す図である。
【図７】フレームの構成を示す図である。
【図８】スイッチの構成を示す図である。
【図９】ループ接続部のブロック図である。
【図１０】複写開始指示を表すフローチャートである。
【図１１】ＥＣＣグループからデータ再生時のスペアデ
ィスク処理を示すフローチャートである。
【図１２】ディスク装置からのコピー処理を示すフロー
チャートである。
【図１３】ディスク装置に対するデータの読み込み／書
き込みを示すフローチャートである。
【図１４】エラー検出時の書き込みを示す図である。
【図１５】交代ループによるアクセスを示す図である。
【図１６】交代ループによるアクセスを示すフローチャ
ートである。
【符号の説明】
１１…ディスクアレイ装置、１２…ホストコンピュー
タ、１３，１６…制御装置、１４…キャッシュメモリ、
１５…ディスク装置、２０…ディスク装置、２１…スペ
アディスク装置、２２…ループ、２３…制御装置、２４
…ループ制御部、２５…ＥＣＣグループ、２６…バッフ
ァ、２７…データ再生回路、６１…スイッチ、７１…ヘ
ッダ部、７２…データ部、７３…フッタ部、７４…ルー
プ識別子、７５…ディスク装置識別子、８１…ループ接
続部、９１…フレーム解析部、９２…出力先指示、９３
…スイッチ。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ１１Ｂ 20/10 Ｇ１１Ｂ 20/10 Ｄ (72)発明者 佐藤 孝夫 神奈川県小田原市国府津2880番地 株式会 社日立製作所ストレージシステム事業部内 Ｆターム(参考） 5B018 GA06 HA03 HA04 HA14 HA31 JA26 KA01 KA03 KA14 KA22 MA14 QA16 5B065 BA01 CA30 EA12 EA33 EK05 5D044 BC01 BC04 CC04 CC09 GK19 HL02 HL06

Claims (10)

    【特許請求の範囲】
  1. 【請求項１】複数のディスク装置と、これらディスク装
    置を制御し上位装置と接続する制御装置とを備えたディ
    スクアレイ装置において、 前記ディスク装置のスペアであるスペアディスクと、前
    記ディスク装置と前記スペアディスクと前記制御装置と
    を接続する多重通信路とを備えたディスクアレイ装置。
  2. 【請求項２】複数のディスク装置と、これらディスク装
    置を制御し上位装置と接続する制御装置とを備えたディ
    スクアレイ装置において、 前記ディスク装置と前記制御装置とを多重通信路で接続
    し、第一のディスク装置が前記通信路経由で第二のディ
    スク装置にデータを転送中に、第三のディスク装置が前
    記通信路及び前記制御装置を経由して前記上位装置とデ
    ータを送受信するディスクアレイ装置。
  3. 【請求項３】前記制御装置は、前記ディスク装置と前記
    スペアディスクとの間でコマンドを送受して前記ディス
    ク装置のデータを前記スペアディスクに書き込む請求項
    １または２に記載のディスクアレイ装置。
  4. 【請求項４】前記通信路を複数備え、この複数の通信路
    を相互に接続して各通信路に接続されたディスク装置間
    での通信を行うスイッチを設け、このスイッチを介して
    前記ディスク装置と他の通信路下にある前記スペアディ
    スクとの間で処理を行う請求項１乃至３の何れか１項に
    記載のディスクアレイ装置。
  5. 【請求項５】第一の通信路の第一の制御部が使用出来な
    くなったとき、第二の制御部から前記スイッチを介して
    前記第一のディスク装置にアクセスする請求項４記載の
    ディスクアレイ装置。
  6. 【請求項６】前記通信路を複数備え、他の通信路に接続
    されたディスク装置とパリティグループを作成する請求
    項１乃至５の何れか１項に記載のディスクアレイ装置。
  7. 【請求項７】前記通信路は、時分割多重通信可能なファ
    イバチャネルを用いたループである請求項１乃至６の何
    れか１項に記載のディスクアレイ装置。
  8. 【請求項８】複数のディスク装置と、これらディスク装
    置を制御し上位装置と接続する制御装置と、この制御装
    置と前記複数のディスク装置と接続したディスクアレイ
    装置のデータ読み出し／書き込み方法において、前記制
    御装置は、規定のしきい値を超える回数のエラーが前記
    ディスク装置から発生したか否かを検出し、検出した場
    合はスペアディスクに対し前記ディスク装置のデータを
    書き込むように命令を出し、前記ディスク装置の識別子
    を前記スペアディスクに割当て、それ以降は前記スペア
    ディスクを前記ディスクとして扱うディスクアレイ装置
    のデータ読み出し／書き込み方法。
  9. 【請求項９】前記スペアディスクとの間でコマンドを送
    受することで前記制御装置を経由せずに前記ディスク装
    置のデータを前記スペアディスクに書き込む請求項８記
    載のディスクアレイ装置のデータ読み出し／書き込み方
    法。
  10. 【請求項１０】前記制御装置は、請求項８記載のデータ
    読み出し／書き込み処理に並行して他のディスクに対し
    上位からの読み出し／書き込み処理を行うディスクアレ
    イ装置のデータ読み出し／書き込み方法。
JP16204299A 1999-06-09 1999-06-09 ディスクアレイ装置及びディスク装置へのデータ読み出し／書き込み方式 Expired - Fee Related JP4461511B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP16204299A JP4461511B2 (ja) 1999-06-09 1999-06-09 ディスクアレイ装置及びディスク装置へのデータ読み出し／書き込み方式
US09/382,774 US6615314B1 (en) 1999-06-09 1999-08-25 Disk array and method for reading/writing data from/into disk unit
US10/457,387 US6757782B2 (en) 1999-06-09 2003-06-10 Disk array and method for reading/writing data from/into disk unit
US10/757,936 US7035975B2 (en) 1999-06-09 2004-01-16 Disk array and method for reading/writing data from/into disk unit
US10/759,248 US7120741B2 (en) 1999-06-09 2004-01-20 Disk array and method for reading/writing data from/into disk unit
US10/768,693 US7206900B2 (en) 1999-06-09 2004-02-02 Disk array and method for reading/writing data from/into disk unit
US11/715,903 US7447840B2 (en) 1999-06-09 2007-03-09 Disk array and method for reading/writing data from/into disk unit

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP16204299A JP4461511B2 (ja) 1999-06-09 1999-06-09 ディスクアレイ装置及びディスク装置へのデータ読み出し／書き込み方式

Publications (2)

Publication Number Publication Date
JP2000347816A true JP2000347816A (ja) 2000-12-15
JP4461511B2 JP4461511B2 (ja) 2010-05-12

Family

ID=15746992

Family Applications (1)

Application Number Title Priority Date Filing Date
JP16204299A Expired - Fee Related JP4461511B2 (ja) 1999-06-09 1999-06-09 ディスクアレイ装置及びディスク装置へのデータ読み出し／書き込み方式

Country Status (2)

Country Link
US (6) US6615314B1 (ja)
JP (1) JP4461511B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7353435B2 (en) 2004-07-29 2008-04-01 Hitachi, Ltd. Storage device system and signal transmission method for storage device system
JP2008310489A (ja) * 2007-06-13 2008-12-25 Hitachi Ltd Ｉ／ｏデバイス切り替え方法
US7620740B2 (en) 2004-03-18 2009-11-17 Hitachi Global Storage Technologies Netherlands B.V. Storage devices and method of transferring file between the devices

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4461511B2 (ja) * 1999-06-09 2010-05-12 株式会社日立製作所 ディスクアレイ装置及びディスク装置へのデータ読み出し／書き込み方式
JP2001167040A (ja) 1999-12-14 2001-06-22 Hitachi Ltd 記憶サブシステム及び記憶制御装置
US6732201B2 (en) * 2001-12-17 2004-05-04 Lsi Logic Corporation Hardware speed selection behind a disk array controller
JP4439798B2 (ja) * 2002-10-17 2010-03-24 株式会社日立製作所 ディスクアレイ装置の制御方法、及びディスクアレイ装置
JP2005100259A (ja) * 2003-09-26 2005-04-14 Hitachi Ltd ドライブの２重障害を防止するアレイ型ディスク装置、プログラム、及び方法
JP4426262B2 (ja) * 2003-11-26 2010-03-03 株式会社日立製作所 ディスクアレイ装置及びディスクアレイ装置の障害回避方法
JP2005293363A (ja) * 2004-04-01 2005-10-20 Toshiba Corp ディスクアレイコントローラおよび情報処理装置
US7502954B1 (en) * 2004-05-26 2009-03-10 Emc Corporation High availability data storage system
US20060253729A1 (en) * 2005-05-03 2006-11-09 International Business Machines Corporation Outboard swap of defective device in a storage subsystem
KR100723681B1 (ko) * 2005-08-03 2007-05-30 (주)케이디티 실리콘을 이용한 확산시트 및 그의 제조방법
JP4788528B2 (ja) * 2005-09-22 2011-10-05 富士通株式会社 ディスク制御装置、ディスク制御方法、ディスク制御プログラム
US20070113006A1 (en) * 2005-11-16 2007-05-17 Elliott John C Apparatus and method to configure one or more storage arrays
US20070282967A1 (en) * 2006-06-05 2007-12-06 Fineberg Samuel A Method and system of a persistent memory
JP5014821B2 (ja) * 2007-02-06 2012-08-29 株式会社日立製作所 ストレージシステム及びその制御方法
JP2009211140A (ja) * 2008-02-29 2009-09-17 Hitachi Ltd ストレージシステム及びその記憶媒体管理方法
US8287772B2 (en) * 2009-05-14 2012-10-16 3M Innovative Properties Company Low energy milling method, low crystallinity alloy, and negative electrode composition
US20130159593A1 (en) * 2011-12-20 2013-06-20 Acer Incorporated Apparatus, system, and method for analyzing and managing data flow of interface apapratuses
US9075773B1 (en) 2014-05-07 2015-07-07 Igneous Systems, Inc. Prioritized repair of data storage failures
US9201735B1 (en) 2014-06-25 2015-12-01 Igneous Systems, Inc. Distributed storage data repair air via partial data rebuild within an execution path
US9684367B2 (en) 2014-06-26 2017-06-20 Atmel Corporation Power trace port for tracing states of power domains
US9053114B1 (en) 2014-08-07 2015-06-09 Igneous Systems, Inc. Extensible data path
US9990305B2 (en) * 2014-09-19 2018-06-05 Nxp Usa, Inc. Memory management component having multiple memory management modules and method therefor
US9098451B1 (en) * 2014-11-21 2015-08-04 Igneous Systems, Inc. Shingled repair set for writing data
US9276900B1 (en) 2015-03-19 2016-03-01 Igneous Systems, Inc. Network bootstrapping for a distributed storage system
US10044556B2 (en) * 2015-06-23 2018-08-07 International Business Machines Corporation Identifying performance-degrading hardware components in computer storage systems
US10303637B2 (en) * 2015-08-20 2019-05-28 Toshiba Memory Corporation Storage system including a plurality of storage devices arranged in a holder

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3058743B2 (ja) * 1992-01-21 2000-07-04 株式会社日立製作所 ディスクアレイ制御装置
JP3183719B2 (ja) * 1992-08-26 2001-07-09 三菱電機株式会社 アレイ型記録装置
US5617425A (en) * 1993-05-26 1997-04-01 Seagate Technology, Inc. Disc array having array supporting controllers and interface
JP3078972B2 (ja) * 1993-11-05 2000-08-21 富士通株式会社 ディスクアレイ装置
JPH07210333A (ja) 1994-01-13 1995-08-11 Hitachi Ltd アレイ型ディスクシステムの制御方式
US5566316A (en) * 1994-02-10 1996-10-15 Storage Technology Corporation Method and apparatus for hierarchical management of data storage elements in an array storage device
US5826046A (en) * 1994-12-30 1998-10-20 International Business Machines Corporation Method and apparatus for polling and selecting any paired device in any drawer
US5566216A (en) * 1995-09-22 1996-10-15 General Electric Company Tool for remotely measuring width of downcomer annulus in boiling water reactor
US5898828A (en) * 1995-12-29 1999-04-27 Emc Corporation Reduction of power used by transceivers in a data transmission loop
JP2787911B2 (ja) * 1996-03-29 1998-08-20 三菱電機株式会社 データストレージ管理方式及びデータストレージ管理方法
US5862313A (en) * 1996-05-20 1999-01-19 Cray Research, Inc. Raid system using I/O buffer segment to temporary store striped and parity data and connecting all disk drives via a single time multiplexed network
JP3228182B2 (ja) * 1997-05-29 2001-11-12 株式会社日立製作所 記憶システム及び記憶システムへのアクセス方法
US6442179B2 (en) * 1997-08-15 2002-08-27 Seagate Technology Llc Data storage communication channel and method of transmitting data
US6148414A (en) * 1998-09-24 2000-11-14 Seek Systems, Inc. Methods and systems for implementing shared disk array management functions
US6219753B1 (en) * 1999-06-04 2001-04-17 International Business Machines Corporation Fiber channel topological structure and method including structure and method for raid devices and controllers
JP4461511B2 (ja) * 1999-06-09 2010-05-12 株式会社日立製作所 ディスクアレイ装置及びディスク装置へのデータ読み出し／書き込み方式

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7620740B2 (en) 2004-03-18 2009-11-17 Hitachi Global Storage Technologies Netherlands B.V. Storage devices and method of transferring file between the devices
US7353435B2 (en) 2004-07-29 2008-04-01 Hitachi, Ltd. Storage device system and signal transmission method for storage device system
US7644199B2 (en) 2004-07-29 2010-01-05 Hitachi, Ltd. Storage device system and signal transmission method for storage device system
JP2008310489A (ja) * 2007-06-13 2008-12-25 Hitachi Ltd Ｉ／ｏデバイス切り替え方法

Also Published As

Publication number Publication date
US7206900B2 (en) 2007-04-17
US7120741B2 (en) 2006-10-10
US7035975B2 (en) 2006-04-25
JP4461511B2 (ja) 2010-05-12
US7447840B2 (en) 2008-11-04
US20070162696A1 (en) 2007-07-12
US20030212861A1 (en) 2003-11-13
US20040148545A1 (en) 2004-07-29
US6757782B2 (en) 2004-06-29
US20040148544A1 (en) 2004-07-29
US6615314B1 (en) 2003-09-02
US20040158672A1 (en) 2004-08-12

Similar Documents

Publication Publication Date Title
JP2000347816A (ja) ディスクアレイ装置及びディスク装置へのデータ読み出し／書き込み方式
JP4294142B2 (ja) ディスクサブシステム
JP4041656B2 (ja) ストレージシステム及びストレージシステムにおけるデータ送受信方法
KR100221384B1 (ko) 직접 액세스 저장장치, 머신 판독가능한 데이타 저장시스템,데이타 저장시스템 및 데이타 저장 시스템 동작 방법
JP4818395B2 (ja) ストレージ装置及びデータコピー方法
JP2002334049A (ja) 記憶サブシステムおよび記憶サブシステムの制御方法
JPH09128305A (ja) 外部記憶装置
JPH07248988A (ja) 記憶制御装置及び関連する方法
CN101149667A (zh) 磁盘阵列系统、存储系统及存储系统迁移方法
JP2000099272A (ja) 記憶制御装置及びこれを用いたデータ格納システムの取り扱い方法
JP4783076B2 (ja) ディスクアレイ装置及びその制御方法
JP2010537267A (ja) ストレージ・コントローラと複製エンジンとの間で書き込みを分割する方法、システムおよびプログラム
JP4491330B2 (ja) ディスクアレイ装置とそのデータのリカバリ方法およびデータリカバリプログラム
WO2001082050A1 (fr) Unite de disque magnetique, procedes d'enregistrement et de reproduction de donnees
JPH07281840A (ja) ２重化ディスク記録装置
JP2000187608A (ja) 記憶装置サブシステム
JP2834399B2 (ja) 二重化ディスク装置
JP4433372B2 (ja) データアクセスシステム及び方法
US6925530B2 (en) Initialization of a storage system
JP2003131818A (ja) クラスタ構成ストレージにおけるクラスタ間ｒａｉｄ構成
JP4398596B2 (ja) ディスクアレイ装置
JP3614328B2 (ja) ミラーディスク制御装置
JPH1074129A (ja) ディスクアレイ装置
US6249842B1 (en) Apparatus and method for processing data in a RAID system
JP2007193839A (ja) ストレージシステム、ストレージシステムにおけるデータ送受信方法及びシステム

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20060417

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060606

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090528

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090616

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090812

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100126

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100208

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130226

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130226

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140226

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees