JP2002108571A - ディスクアレイのディスク障害復旧方法 - Google Patents
ディスクアレイのディスク障害復旧方法Info
- Publication number
- JP2002108571A JP2002108571A JP2000297066A JP2000297066A JP2002108571A JP 2002108571 A JP2002108571 A JP 2002108571A JP 2000297066 A JP2000297066 A JP 2000297066A JP 2000297066 A JP2000297066 A JP 2000297066A JP 2002108571 A JP2002108571 A JP 2002108571A
- Authority
- JP
- Japan
- Prior art keywords
- disk
- mirror
- data
- update
- subprogram
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Techniques For Improving Reliability Of Storages (AREA)
Abstract
においては、障害ディスク交換後のパリティ再構築を通
常運用と並行して行う必要がある。パリティ再構築時に
は、交換したディスク以外の同パリティグループの全デ
ィスクからデータを読み出す必要があるため通常アクセ
ス性能が低下する。また、パリティグループを形成する
RAID5などの構成を表すnD+1Pにおいて、デー
タドライブ数nが増加すると性能がさらに悪化する。 【解決手段】障害ディスクの復旧時に行うパリティ再構
築を、パリティ冗長性を用いたパリティ生成に代えて、
スナップショット用ミラー構成の同じ位置にあるディス
クからのデータコピーによって実施する。nD+1Pの
nにかかわらず1台のディスクからデータを読み出すこ
とで、パリティ再構築中の通常アクセス性能低下を抑止
できる効果がある。
Description
ータの外部記憶装置システムにおけるディスク障害復旧
方法に関するものである。
旧方法 ディスクアレイシステムは、RAID(Redundant Array
s of Inexpensive Disks)とも呼ばれ、複数のディスク
装置をアレイ状に配置した構成をとり、ホスト装置(以
下ホストと略する)からのリード要求(データの読み出
し要求)およびライト要求(データの書き込み要求)を
ディスク装置の並列動作によって高速に処理するととも
に、データに冗長データを付加することによって信頼性
を向上させた記憶装置である。ディスクアレイシステム
は、冗長データの種類と構成により5つのレベルに分類
されている(論文:"A Case for Redundant Arrays of
Inexpensive Disks (RAID)", David A.Patterson, Gart
h Gibson, and Randy H.Katz, Computer Science Divis
ion Department of Electrical Engineering and Compu
ter Sciences, University of California Berkele
y)。
めには、ホストからのリード/ライト要求を各ディスク
装置へのリード/ライト要求に変換し、ライト時にはデ
ータを各ディスク装置へ分散し、リード時には各ディス
ク装置からデータを集合するデータ分散・集合制御を行
う必要がある。このような制御をディスクアレイ制御と
呼ぶこととする。
いる例えばRAID5レベルでは、1台のディスク障害
が発生しても他のディスクとのパリティ保証により、デ
ィスクの内容を復旧することができる。ディスクを復旧
する場合、障害があったディスクを交換し、パリティグ
ループを構成する他のディスクからデータを読み出し、
XOR演算(排他的論理和)を施した後、演算結果を交
換したディスクに書き込む。
置に記録されたデータは、装置の障害、ソフトウェアの
欠陥、誤操作などによりデータを喪失した場合に、喪失
したデータを回復できるように定期的にテープなどにコ
ピーして保存しておくバックアップが必要である。その
際、コピー作業中にデータが更新され、データに不整合
が生じるとバックアップとして意味をなさないため、コ
ピー作業中はデータの整合性を保証する必要がある。
するためには、データにアクセスするバックアッププロ
グラム以外のプログラムを停止すればよいが、高可用性
が要求されるシステムではプログラムを長時間停止させ
ることができない。そのため、バックアップ中にプログ
ラムがデータを更新することを妨げず、なおかつバック
アップ開始時点でのデータの記憶イメージを作成する仕
組みを提供する必要がある。ここで、ある時点でのデー
タの記憶イメージをスナップショットと呼び、指定され
た時点のスナップショットを作成しつつデータの更新が
可能な状態を提供する仕組みをスナップショット管理方
法と呼ぶ。また、スナップショット管理方法によりスナ
ップショットを作成することをスナップショットの取得
と呼び、スナップショット取得の対象となったデータを
オリジナルデータと呼ぶ。また、スナップショットを作
成した状態をやめることをスナップショットの削除と呼
ぶ。
して、データの二重化による方法が挙げられる。
ていない通常の状態において、コンピュータ上のプログ
ラムがすべてのデータを2つの記憶領域に二重化(ミラ
ー)する。スナップショットを取得する時は二重化を停
止して2つの記憶領域を独立な領域に分離し、1つの領
域をオリジナルデータ、もう1つの領域をスナップショ
ットとして提供する。
ている間は、オリジナルデータの記憶領域に対するデー
タの更新を許可するとともに、データ更新が発生した場
合は更新した位置を記録しておく。スナップショット削
除時には、データの二重化を再開するとともに、2つの
記憶領域の間で内容が一致していない更新データを更新
位置の記録をもとにオリジナルデータの記憶領域からス
ナップショットとして提供していた記憶領域にコピーす
る(ミラー再同期化)。コンピュータ上のプログラムで
データを二重化する方法は、例えば米国特許5,05
1,887に示されている。
ティ再構築時には、交換したディスク以外の同パリティ
グループの全ディスクからデータを読み出す必要がある
ため通常アクセス性能が低下するという課題がある。ま
た、パリティグループを形成するRAID5などの構成
を表すnD+1Pにおいて、データドライブ数nが増加
すると性能がさらに悪化するという課題がある。
理方法では、ミラー再同期化時において、更新/参照を
する通常アクセスと更新データのコピーアクセスがオリ
ジナルデータの記憶領域に集中し、通常アクセスの性能
が低下する。ミラー再同期化にかかる時間は、スナップ
ショットを取得して二重化を停止している間に更新され
たデータ量に比例するので、更新アクセスが単位時間あ
たり同じ回数発生すると仮定した場合、ミラー再同期化
にかかる時間は二重化の停止時間に比例して大きくな
る。ディスク交換後のパリティ再構築と並行してバック
アップをとる場合、スナップショットを取得して二重化
を停止している時間が長く、通常アクセスの性能が低下
するミラー再同期化時間が長くなるという課題がある。
取得のために二重化運用しているディスクアレイにおい
て、ディスク交換後のパリティ再構築時の通常アクセス
性能低下を抑止するディスク障害復旧方法を提供するこ
とである。
取得のために二重化運用しているディスクアレイにおい
て、二重化を停止している期間におけるディスク交換後
のパリティ再構築時間を短縮することで、ミラー再同期
化中の更新データのコピー量を削減し、性能が低下する
ミラー再同期化時間を短縮するディスク障害復旧方法を
提供することである。
に加えて、パリティグループを形成するRAID5など
のディスク構成を表すnD+1Pにおいて、データドラ
イブ数nの増加による性能低下を抑止するディスク障害
復旧方法を提供することである。
るために本発明は、スナップショット取得のために二重
化運用しているディスクアレイにおいて、障害ディスク
の復旧時に行うパリティ再構築を、パリティ冗長性を用
いたパリティ生成に代えて、スナップショット用ミラー
構成の同じ位置にあるディスクからのデータコピーによ
って実施するディスク障害復旧サブプログラムを設け
る。ディスク交換後のパリティ再構築に関わるディスク
アクセス回数を削減することで、通常アクセス性能の低
下を抑止することができる。
発明は、スナップショット取得のために二重化運用して
いるディスクアレイにおいて、前記同様のディスク障害
復旧サブプログラムを設ける。二重化を停止している期
間におけるディスク交換後のパリティ再構築時間を短縮
することで、ミラー再同期化中の更新データのコピー量
を削減し、性能が低下するミラー再同期化時間を短縮す
ることができる。
発明は、スナップショット取得のために二重化運用して
いるディスクアレイにおいて、前記同様のディスク障害
復旧サブプログラムを設ける。パリティグループを形成
するRAID5などのディスク構成を表すnD+1Pに
おいて、nの数によらず1台のディスクからのコピーと
なるため、データドライブ数nの増加による性能低下を
抑止することができる。
ップショット取得のために二重化運用しているディスク
アレイにおいて、ディスク交換後のパリティ再構築に関
わるディスクアクセス回数を削減することで、通常アク
セス性能の低下を抑止するためのものである。
ディスク交換後のパリティ再構築時間を短縮すること
で、ミラー再同期化中の更新データのコピー量を削減
し、性能が低下するミラー再同期化時間を短縮するため
のものである。
関わるディスクアクセス回数を削減することで、パリテ
ィグループを形成するRAID5などのディスク構成を
表すnD+1Pでのデータドライブ数nの増加による性
能低下を抑止するためのものである。
例として、バックアップをとりあげるが、OLAP(O
nLine Analytical Processi
ng)やシステムテスト等の他の目的においても利用が
可能である。
説明する。図1において、コンピュータ100とディス
クアレイ200が、SCSIインタフェース140、2
40を介してSCSIバス300で接続されている。コ
ンピュータ100のメモリ120には、データベースプ
ログラム126、バックアッププログラム127があ
り、コンピュータ100を制御するCPU110によっ
て実行される。ディスクアレイ200には、ディスクコ
ントローラ250によって制御されるディスク群251
〜252があり、またメモリ220内にはスナップショ
ット管理プログラム221があり、CPU210によっ
て実行される。ディスク群251はディスク271〜2
75を有し、ディスク群252はディスク281〜28
2を有し、各ディスク群は各々がパリティ付きのストラ
イピングされたアレイ構成をとる。本実施形態では、デ
ィスク群251〜252内のディスク数を5としている
が、それぞれ3つ以上のディスクから構成されていれば
よい。
は、SCSIの論理ユニットであるLU(Logica
l Unit)としてコンピュータ100からアクセス
される。各ディスク群251〜252に対応する各記憶
領域をそれぞれLU261〜262とする。各ディスク
群251〜252内のLUはそれぞれ複数であってもよ
い。本実施形態では、ディスクアレイ220内のスナッ
プショット管理プログラム221が、LU261とLU
262を二重化して管理し、LU261をオリジナルデ
ータを持ったミラー元LUとし、LU262をオリジナ
ルデータのミラーであるミラー先LUとする。LU26
2が、スナップショットとして使用するLUである。
について説明する。
にミラー元LUであるLU261にアクセスし、また、
データ更新を制御してLU261内のデータの整合性を
保証するバックアップモードに切替える機能を持つ。バ
ックアップモードへはユーザまたはバックアッププログ
ラム127からの指示により遷移する。バックアッププ
ログラム127は、ユーザからの指示によってスナップ
ショットを保存したLU262からテープ等にバックア
ップするためのデータを読み出す機能と、ディスクアレ
イ200にSCSIのModeSelectコマンドを
発行する機能と、データベースプログラム126にバッ
クアップモードの有効化、無効化を指示する機能を持
つ。
ム、および、管理表について説明する。
管理プログラム221は、コンピュータ100からの要
求に応じてディスクコントローラ250にディスクアク
セスを指示するディスクアクセスサブプログラム230
と、1つのLUに対する更新を二重化してあらかじめ指
定された別のLUにも適用し、2つのLUに同じ内容を
書き込むLUミラーサブプログラム231を持つ。ディ
スクアクセスサブプログラム230は、コンピュータ1
00からのリード/ライト要求を各ディスク271〜2
75、281〜285へのリード/ライト要求に変換す
るディスクアレイ制御を行う。LUミラーサブプログラ
ム231は、LU261に対するアクセスをLU262
に二重化する。
21は、二重化を停止しているとき(非ミラー時)にミ
ラー元LUに対する更新を検出する非ミラー時更新監視
サブプログラム234と、その更新位置を後述する更新
/不整合位置管理表222に記録する非ミラー時更新位
置管理サブプログラム235と、ミラー再同期化を行う
際にミラー元LUの更新部分をミラー先LUにコピーす
るミラー再同期サブプログラム232と、障害ディスク
を交換した後にパリティ付きのストライピングされたア
レイ構成に復旧するディスク障害復旧サブプログラム2
33とを持つ。更新/不整合位置管理表222は、ミラ
ー元LUとミラー先LUのデータ内容の管理に用い、非
ミラー時に更新されたミラー元LUの更新位置と、ディ
スク障害後の交換したディスクにおいて同一LU内での
パリティが不整合となっている位置を記録するものであ
る。
示すようなビットマップとし、ミラー元LU内のすべて
のLBAセット番号、および、LBAセット番号に付随
する更新ビット、ミラー元不整合ビット、ミラー先不整
合ビットから成る。LBAセットは、LUの全領域に対
して、1個以上の同数のLBA(Logical Bl
ock Address)を単位として先頭から分割し
ていったときの個々の集合であり、LBAセット番号
は、LBAの先頭側から各LBAセットに通し番号をつ
けたものである。
Aセットは各ディスクに対し先頭側から1個ずつ分配さ
れていくものとし、各ディスク内の同じ位置におけるL
BAセットの組に対してパリティグループ番号を付記す
る。図2の例では、パリティグループ番号0は、LBA
セット番号0〜4により構成されている。また、本実施
形態ではディスク5台に対してデータ分散を行うものと
し、各ディスクのLBAセットの組を表すディスクセッ
ト番号を付記する。図2の例では、ディスクセット0
は、LBAセット番号0、5、10、15により構成さ
れている。
のLBAセットが更新されたかどうかを示し、「更
新」、「非更新」に応じてそれぞれ1、0を指定する。
更新ビットの初期設定値は0である。図2の例では、L
BAセット番号1の領域のみが非ミラー時に更新されて
いる状態を示す。
交換されたときに同一LU内の他のディスクとパリティ
の整合性がとれているかどうかを示し、「不整合」「整
合」に応じてそれぞれ1、0を指定する。ミラー元不整
合ビットの式設定値は0である。
交換されたときに同一LU内の他のディスクとパリティ
の整合性がとれているかどうかを示し、「不整合」「整
合」に応じてそれぞれ1、0を指定する。ミラー先不整
合ビットの式設定値は0である。図2の例では、ミラー
先LUにおいて、パリティグループ番号1〜3のディス
クセット0の領域が他のディスクとのパリティ不整合と
なっている状態を示す。パリティグループ番号0のディ
スクセット0の領域は、後述するディスク障害復旧方法
により他のディスクとのパリティ整合性がとれているこ
とを示す。
ラー先LUであるLU262として提供する場合を例に
とり、スナップショット取得/削除時におけるバックア
ッププログラム127とスナップショット管理プログラ
ム221の動作を図3のフローチャートを用いて説明す
る。
プログラム127がデータベースプログラム126に指
示を与え、バックアップモードを有効化してスナップシ
ョットを取得するデータの整合性を保証する(ステップ
2000)。次に、バックアッププログラム127は、
ディスクアレイ200にスナップショットを取得するた
めのModeSelectコマンドを発行する(ステッ
プ2001)。ディスクアレイ200のスナップショッ
ト管理プログラム221は、ModeSelectコマ
ンドを受信すると(ステップ3000)、非ミラー時更
新監視サブプログラム234と非ミラー時更新位置管理
サブプログラム235を有効化し、LU261の更新位
置記録を開始する(ステップ3001)。以降、LU2
61が更新されると、更新/不整合位置管理表222に
おける更新されたLBAを含むLBAセットの更新ビッ
トに1を設定し、更新があったことを記録する。次に、
スナップショット管理プログラム221は、LUミラー
サブプログラム231を無効化し、LU261とLU2
62の二重化を停止する(ステップ3002)。これに
より、ミラー元LUであるLU261に対する更新がミ
ラー先LUであるLU262に反映されなくなる。次
に、スナップショット管理プログラム221は、Mod
eSelectコマンドの終了ステータスをコンピュー
タ100のバックアッププログラム127に送信する
(ステップ3003)。バックアッププログラム127
は、ModeSelectコマンドの終了ステータスを
受信すると(ステップ2002)、データベースプログ
ラム126に指示を与え、バックアップモードを無効化
する(ステップ2003)。
ディスクアレイ200に対し、LU263にスナップシ
ョット削除を指示するModeSelectコマンドを
発行する(ステップ2004)。ディスクアレイ200
のスナップショット管理プログラム221は、Mode
Selectコマンドを受信すると(ステップ300
5)、LUミラーサブプログラム231を有効化し、L
U261とLU262の二重化を再開する(ステップ3
006)。これにより、LU261に対する更新がLU
262にも反映される。次に、スナップショット管理プ
ログラム221は、非ミラー時更新監視サブプログラム
234と非ミラー時更新位置管理サブプログラム235
を無効化し、LU261の更新位置記録を停止する(ス
テップ3007)。以降、更新/不整合位置管理表22
2の更新ビットを非ミラー時更新位置管理サブプログラ
ム235が変更しなくなる。次に、スナップショット管
理プログラム221は、ミラー再同期サブプログラム2
32を有効化し、更新/不整合位置管理表222を参照
して、LU261とLU262で内容が一致しない部分
をLU261からLU262にコピーする(ステップ3
008)。次に、スナップショット管理プログラム22
1は、ミラー再同期サブプログラム232を無効化し
(3009)、ModeSelectコマンドの終了ス
テータスをコンピュータ100のバックアッププログラ
ム127に送信する(ステップ3010)。バックアッ
ププログラム127は、ModeSelectコマンド
の終了ステータスを受信し動作を終了する(ステップ2
005)。
らLU262へのデータコピーを行うミラー再同期サブ
プログラム232の動作を図4のフローチャートを用い
て説明する。まず、ミラー再同期サブプログラム232
が、更新/不整合位置管理表222の更新ビットに更新
記録として1があるかどうかを調べる(ステップ100
1)。もし、更新記録である1がなければミラー再同期
化が完了したので処理を終了する(ステップ100
2)。更新記録があれば、該当記録位置の更新を抑止し
(ステップ1003)、該当記録位置のデータをミラー
元LUであるLU261からミラー先LUであるLU2
62にコピーする(ステップ1004)。データのコピ
ーは、LU261を含むディスク群251のディスク2
71〜275のいずれかにREADコマンドを発行して
指定したLBAのデータを読み出し、LU262を含む
ディスク群252のうちディスク群251のREADコ
マンドを発行したディスクに対応するディスク281〜
285のいずれかにWRITEコマンドを発行してLU
261に指定したLBAと同じLBAに読み出したデー
タを書きこむことで実施する。データのコピーは、CO
PYコマンドを用いてもよい。次に、ミラー再同期サブ
プログラム232は、該当記録位置の更新抑止を解除し
(ステップ1005)、更新/不整合位置管理表222
の該当する更新ビットに0を設定して更新記録を削除し
(ステップ1006)、ステップ1001に戻る。
おけるバックアッププログラム127とスナップショッ
ト管理プログラム221の動作である。コンピュータ1
00のバックアッププログラム127は、ステップ20
03〜ステップ2004の間でスナップショットを取得
したLU262の読み出しを行うことができる。
ディスクに対するパリティ再構築を、パリティの冗長性
を利用して行うことに代えて、ミラー化された対となる
ディスクからコピーすることで行う。対となるディスク
とは、例えば、図1のディスク271〜275とディス
ク281〜285がこの順番でディスク群を形成してい
ると想定するとディスク271とディスク281の関係
が該当する。
後のパリティ再構築について、スナップショット取得/
削除動作のどの段階で行ったかにより、ミラーフェー
ズ、非ミラーフェーズ、再同期化フェーズの3フェーズ
に分けて説明する。非ミラーフェーズは、ミラー化がさ
れていない図3のステップ3002開始からステップ3
007終了までとする。再同期化フェーズは、更新され
たデータをミラー元LUからミラー先LUにコピーして
いる図3のステップ3008開始からステップ3009
終了までとする。ミラーフェーズは、ミラー化されてい
る段階とし、非ミラーフェーズと再同期化フェーズ以外
の全範囲とする。
ミラー先LUのどちらのディスクを交換したかについて
も場合分けする。
ィ再構築は、ディスクアレイ200のスナップショット
管理プログラム221がディスク障害復旧サブプログラ
ム233を有効化することによって行い、コンピュータ
100からの指示とは独立して実施することができる。
ム233の動作を図5のフローチャートを用いて説明す
る。ミラーフェーズにおいては、ミラー元LUとミラー
先LUの内容が同じであり、ミラー元LUとミラー先L
Uのどちらのディスクを交換した場合でもディスク障害
復旧サブプログラム233の動作が同じであるので、ミ
ラー先LUのディスクを交換した場合を例にとる。ここ
で、障害で交換したディスクを図1のミラー先LUであ
るディスク群252のディスク281と想定する。ミラ
ー化されている場合は、ミラー元LUであるディスク群
251のディスク271と同じデータがディスク281
に格納されることになる。まず、ディスクが交換される
と、ディスク障害復旧サブプログラム233が、交換し
たディスク281に対応する更新/不整合位置管理表2
22のミラー先不整合ビットをすべて1に設定する(ス
テップ4001)。次に、ディスク障害復旧サブプログ
ラム233は、更新/不整合位置管理表222のミラー
先不整合ビットに不整合記録として1があるかどうかを
調べる(ステップ4002)。もし、不整合記録である
1がなければディスク281の障害復旧が完了しディス
ク群252のパリティは整合性がとれたので処理を終了
する(ステップ4003)。不整合記録があれば、該当
記録位置の更新を抑止し(ステップ4004)、更新/
不整合位置管理表222のミラー元不整合ビットに不整
合記録として1があるかどうかを調べる(ステップ40
05)。もし、不整合記録である1がなければミラー元
LUのパリティ整合性はとれているので、該当位置のデ
ータをディスク271からディスク281にコピーする
(ステップ4007)。不整合記録である1があればミ
ラー元LUも障害復旧中でありパリティの整合性はとれ
ていないので、ディスク281と同一ディスク群252
の他のディスク282〜285からデータを読み出しパ
リティ演算によってデータを復元し、ディスク281の
該当位置に書き込む(ステップ4006)。ステップ4
007、または、ステップ4006終了後、ディスク障
害復旧サブプログラム233は、更新/不整合位置管理
表222のディスク281に該当する不整合ビットを0
に設定して不整合記録を削除し(ステップ4008)、
該当記録位置の更新抑止を解除し(ステップ400
9)、ステップ4002に戻る。
障害復旧サブプログラム233の動作である。
コピーは、ディスク271にREADコマンドを発行し
て指定したLBAのデータを読み出し、ディスク281
にWRITEコマンドを発行してディスク271に指定
したLBAと同じLBAに読み出したデータを書きこむ
ことで実施する。データのコピーは、COPYコマンド
を用いてもよい。
は、ディスク障害復旧サブプログラム233動作中にコ
ンピュータ100からデータ更新要求が来た場合、ミラ
ー元LUとミラー先LUの両方に反映させるものとし、
交換したディスクの不整合ビットを0にする。また、コ
ンピュータ100からデータ読み出し要求が来た場合
は、不整合ビットが0であるLUからデータを読み出
す。両方のLUの不整合ビットが1である場合は、交換
したディスク以外の全ディスクからデータを読み出しパ
リティ演算によって要求されたデータを復元し、コンピ
ュータ100に送信する。
ラム233の動作を図6のフローチャートを用いて説明
する。非ミラーフェーズにおいては、ミラー元LUとミ
ラー先LUの内容は一致していないが、ミラー元LUと
ミラー先LUのどちらのディスクを交換した場合でもデ
ィスク障害復旧サブプログラム233の動作が同じであ
るので、ミラー元LUのディスクを交換した場合を例に
とる。ここで、障害で交換したディスクを図1のミラー
元LUであるディスク群251のディスク271と想定
する。
障害復旧サブプログラム233が、交換したディスク2
71に対応する更新/不整合位置管理表222のミラー
元不整合ビットをすべて1に設定する(ステップ500
1)。次に、ディスク障害復旧サブプログラム233
は、更新/不整合位置管理表222のミラー元不整合ビ
ットに不整合記録として1があるかどうかを調べる(ス
テップ5002)。もし、不整合記録である1がなけれ
ばディスク271の障害復旧が完了しディスク群251
のパリティは整合性がとれたので処理を終了する(ステ
ップ5003)。不整合記録があれば、該当記録位置の
更新を抑止し(ステップ5004)、更新/不整合位置
管理表222のミラー先不整合ビットに不整合記録とし
て1があるかどうかを調べる(ステップ5005)。も
し、不整合記録である1があればミラー先LUも障害復
旧中でありパリティの整合性はとれていないので、ディ
スク271と同一ディスク群251の他のディスク27
2〜275からデータを読み出しパリティ演算によって
データを復元し、ディスク271の該当位置に書き込む
(ステップ5006)。もし、不整合記録である1がな
ければ、更新/不整合位置管理表222の該当する更新
ビットに更新記録として1があるかどうかを調べる(ス
テップ5007)。もし、更新記録である1があれば、
該当位置のディスク271とディスク281のデータは
異なるので、ディスク障害復旧サブプログラム233は
ディスク271と同一ディスク群251の他のディスク
272〜275からデータを読み出しパリティ演算によ
ってデータを復元し、ディスク271の該当位置に書き
込む(ステップ5006)。もし、更新記録である1が
なければ、該当位置のディスク271とディスク281
のデータは同一となるべきなので、該当位置のデータを
ディスク281からディスク271にコピーする(ステ
ップ5008)。
08終了後、ディスク障害復旧サブプログラム233
は、更新/不整合位置管理表222のディスク271に
該当する不整合ビットを0に設定して不整合記録を削除
し(ステップ5009)、該当記録位置の更新抑止を解
除し(ステップ5010)、ステップ5002に戻る。
以上が、非ミラーフェーズにおけるディスク障害復旧サ
ブプログラム233の動作である。
コピーは、ディスク281にREADコマンドを発行し
て指定したLBAのデータを読み出し、ディスク271
にWRITEコマンドを発行してディスク281に指定
したLBAと同じLBAに読み出したデータを書きこむ
ことで実施する。データのコピーは、COPYコマンド
を用いてもよい。
は、ディスク障害復旧サブプログラム233動作中にコ
ンピュータ100からデータ読み出し要求が来た場合、
通常はミラー元LUからデータを読み出すが、更新ビッ
トが0、ミラー先不整合ビットが0であるLBAセット
に関してはミラー先LUから読み出してもよい。
ク障害復旧サブプログラム233の動作を図7のフロー
チャートを用いて説明する。ここで、障害で交換したデ
ィスクを図1のミラー先LUであるディスク群252の
ディスク281と想定する。
障害復旧サブプログラム233が、交換したディスク2
81に対応する更新/不整合位置管理表222のミラー
先不整合ビットをすべて1に設定する(ステップ600
1)。次に、ディスク障害復旧サブプログラム233
は、更新/不整合位置管理表222のミラー先不整合ビ
ットに不整合記録として1があるかどうかを調べる(ス
テップ6002)。もし、不整合記録である1がなけれ
ばディスク281の障害復旧が完了しディスク群252
のパリティは整合性がとれたので処理を終了する(ステ
ップ6003)。不整合記録があれば、該当記録位置の
更新を抑止し(ステップ6004)、更新/不整合位置
管理表222のミラー元不整合ビットに不整合記録とし
て1があるかどうかを調べる(ステップ6005)。も
し、不整合記録である1がなければミラー元LUのパリ
ティ整合性はとれているので、該当位置のデータをディ
スク271からディスク281にコピーし(ステップ6
007)、更新/不整合位置管理表222の該当する更
新ビットに0を設定して更新の有無にかかわらず更新記
録を削除する(ステップ6008)。もし、不整合記録
である1があればミラー元LUも障害復旧中でありパリ
ティの整合性はとれていないので、ディスク281と同
一ディスク群252の他のディスク282〜285から
データを読み出しパリティ演算によってデータを復元
し、ディスク281の該当位置に書き込む(ステップ6
006)。ステップ6008、または、ステップ600
6終了後、ディスク障害復旧サブプログラム233は、
更新/不整合位置管理表222のディスク281に該当
する不整合ビットを0に設定して不整合記録を削除し
(ステップ6006)、該当記録位置の更新抑止を解除
し(ステップ6010)、ステップ6002に戻る。
先LUに関わるディスク障害復旧サブプログラム233
の動作である。
コピーは、ディスク271にREADコマンドを発行し
て指定したLBAのデータを読み出し、ディスク281
にWRITEコマンドを発行してディスク271に指定
したLBAと同じLBAに読み出したデータを書きこむ
ことで実施する。データのコピーは、COPYコマンド
を用いてもよい。
ク障害復旧サブプログラム233の動作を図8のフロー
チャートを用いて説明する。ここで、障害で交換したデ
ィスクを図1のミラー元LUであるディスク群251の
ディスク271と想定する。
障害復旧サブプログラム233が、交換したディスク2
71に対応する更新/不整合位置管理表222のミラー
元不整合ビットをすべて1に設定する(ステップ700
1)。次に、ディスク障害復旧サブプログラム233
は、更新/不整合位置管理表222のミラー元不整合ビ
ットに不整合記録として1があるかどうかを調べる(ス
テップ7002)。もし、不整合記録である1がなけれ
ばディスク271の障害復旧が完了しディスク群251
のパリティは整合性がとれたので処理を終了する(ステ
ップ7003)。不整合記録があれば、該当記録位置の
更新を抑止し(ステップ7004)、更新/不整合位置
管理表222のミラー先不整合ビットに不整合記録とし
て1があるかどうかを調べる(ステップ7005)。も
し、不整合記録である1があればミラー先LUも障害復
旧中でありパリティの整合性はとれていないので、ディ
スク271と同一ディスク群251の他のディスク27
2〜275からデータを読み出しパリティ演算によって
データを復元し、ディスク271の該当位置に書き込む
(ステップ7006)。もし、不整合記録である1がな
ければ、更新/不整合位置管理表222の該当する更新
ビットに更新記録として1があるかどうかを調べる(ス
テップ7007)。もし、更新記録である1があれば、
該当位置のディスク271とディスク281のデータは
異なるので、ディスク障害復旧サブプログラム233は
ディスク271と同一ディスク群251の他のディスク
272〜275からデータを読み出しパリティ演算によ
ってデータを復元し、ディスク271の該当位置に書き
込む(ステップ7006)。もし、更新記録である1が
なければ、該当位置のディスク271とディスク281
のデータは同一でよいので、該当位置のデータをディス
ク281からディスク271にコピーする(ステップ7
008)。
08終了後、ディスク障害復旧サブプログラム233
は、更新/不整合位置管理表222のディスク271に
該当する不整合ビットを0に設定して不整合記録を削除
し(ステップ7009)、該当記録位置の更新抑止を解
除し(ステップ7010)、ステップ7002に戻る。
以上が、再同期化フェーズにおけるミラー元LUに関わ
るディスク障害復旧サブプログラム233の動作であ
る。
コピーは、ディスク281にREADコマンドを発行し
て指定したLBAのデータを読み出し、ディスク271
にWRITEコマンドを発行してディスク281に指定
したLBAと同じLBAに読み出したデータを書きこむ
ことで実施する。データのコピーは、COPYコマンド
を用いてもよい。
は、ディスク障害復旧サブプログラム233動作中にコ
ンピュータ100からデータ読み出し要求が来た場合、
通常はミラー元LUからデータを読み出すが、更新ビッ
トが0、ミラー先不整合ビットが0であるLBAセット
に関してはミラー先LUから読み出してもよい。
び、スナップショット読み出しの際のコンピュータ動作 まず、コンピュータ100が、ディスクアレイ200に
あるLU261のデータにアクセスする場合のデータベ
ースプログラム126の動作を説明する。データベース
プログラム126は、スナップショット取得の有無に関
係なく、同じ動作を行う。
1のデータを読み出す場合、データベースプログラム1
26はディスクアレイ200に対し、LU261のデー
タを読み出すREADコマンドを発行する。最後に、デ
ータベースプログラム126は、ディスクアレイ200
からデータとステータスを受信し動作を終了する。ま
た、データベースプログラム126がLU261にデー
タを書きこむ場合、データベースプログラム126はデ
ィスクアレイ200に対し、LU261にデータを書き
こむWRITEコマンドを発行し、データを送信する。
最後に、データベースプログラム126は、ディスクア
レイ200からステータスを受信し動作を終了する。
レイ200にあるLU261のスナップショットを読み
出す場合のバックアッププログラム127の動作を説明
する。
1のスナップショットを読み出す場合、バックアッププ
ログラム127はディスクアレイ200に対し、LU2
61のミラー先LUであるLU262のデータを読み出
すREADコマンドを発行する。最後に、バックアップ
プログラム127は、ディスクアレイ200からデータ
とステータスを受信し動作を終了する。
び、スナップショット読み出しの際のディスクアレイ動
作 まず、コンピュータ100が、ディスクアレイ200に
あるLU261のデータにアクセスする場合のスナップ
ショット管理プログラム221の動作を説明する。
を読み出す場合、スナップショット管理プログラム22
1がLU261に対するREADコマンドを受信する。
次に、LUミラーサブプログラム231が有効で、か
つ、ミラー再同期サブプログラム232による更新部分
のコピーが終了していれば、LU261、もしくは、ミ
ラー先LUであるLU262からデータを読み出す。そ
うでなければ、LU261からデータを読み出す。最後
に、読み出したデータとステータスをコンピュータ10
0に送信する。LU261とミラー先LUであるLU2
62の内容が一致している場合は、両者のいずれかから
データを読み出すことにより負荷を分散させることがで
きる。
を書きこみ記憶内容を更新する場合、スナップショット
管理プログラム221がLU261に対するWRITE
コマンドとデータを受信する。次に、LUミラーサブプ
ログラム231が有効であればLU261とミラー先L
UであるLU262にデータを書きこみ、無効であれば
LU261にデータを書きこむ。次に、非ミラー時更新
監視サブプログラム234と非ミラー時更新位置管理サ
ブプログラム235が有効であれば、LU261の更新
/不整合位置管理表222に対して更新したLBAを含
むLBAセットの更新ビットを1に設定し、無効であれ
ば何もしない。最後に、ステータスをコンピュータ10
0に送信する。
レイ200にあるLU261のスナップショットを読み
出す場合のスナップショット管理プログラム221の動
作を説明する。
プショットを読み出す場合、スナップショット管理プロ
グラム221がLU261のミラー先LUであるLU2
62に対するREADコマンドを受信する。次に、スナ
ップショット管理プログラム221は、ミラー先LUで
あるLU262からデータを読み出す。最後に、読み出
したデータとステータスをコンピュータ100に送信す
る。
による更新部分のコピー中は、コピー処理とコンピュー
タ100によるLU261へのデータアクセス処理が同
じLU261に集中するため、データアクセス性能が低
下する。
重化運用しているディスクアレイにおいて、ディスク交
換後のパリティ再構築に関わるディスクアクセス回数を
削減することで、通常アクセス性能の低下を抑止するこ
とができるという効果がある。
している期間におけるディスク交換後のパリティ再構築
時間を短縮することで、ミラー再同期化中の更新データ
のコピー量を削減し、性能が低下するミラー再同期化時
間を短縮できるという効果がある。
を想定し、ミラーフェーズにおいてディスク障害を復旧
する場合、パリティの冗長性によるディスク復旧をした
場合、4回のディスク読み出しと1回のディスク書き込
みが発生する。本発明を適用することで、1回のディス
ク読み出しと1回のディスク書き込みにすることがで
き、通常のアクセス性能の低下を抑止できる。非ミラー
フェーズにおいても同様のディスクアクセス回数の削減
効果が期待でき、スナップショットを取得してバックア
ップ等をとる際の読み出し性能低下を抑止でき、読み出
し時間の増加も抑止できることから二重化停止時間、お
よび、性能が低下するミラー再同期化時間を短縮でき
る。
関わるディスクアクセス回数を削減することで、パリテ
ィグループを形成するRAID5などのディスク構成を
表すnD+1Pでのデータドライブ数nの増加による性
能低下を抑止できるという効果がある。nD+1Pの場
合、パリティの冗長性によるディスク復旧をした場合、
n回のディスク読み出しと1回のディスク書き込みが発
生する。本発明を適用することで、1回のディスク読み
出しと1回のディスク書き込みにすることができる。
ィスクアレイ200を接続するインターフェースをSC
SIバス300としたが、FibreChannel等
の他のインターフェースであってもよい。
取得のためミラー元LUとミラー先LUで二重化してい
るが、ミラー先LUを複数設けた多重ミラーにおいても
本発明は適用可能である。この場合、更新/不整合位置
管理表222のミラー先不整合ビットをミラー先LU分
だけ設け、ディスク障害復旧サブプログラム233がそ
れぞれのミラー先LUとミラー元LUに対し二重化の場
合と同様の動作をし、LUミラーサブプログラム231
がミラー元LUに対するアクセスを複数のミラー先LU
に多重化する動作をすればよい。
ナップショット取得のために二重化運用しているディス
クアレイにおいて、ディスク交換後のパリティ再構築に
関わるディスクアクセス回数を削減することで、通常ア
クセス性能の低下を抑止することができるという効果が
ある。
している期間におけるディスク交換後のパリティ再構築
時間を短縮することで、ミラー再同期化中の更新データ
のコピー量を削減し、性能が低下するミラー再同期化時
間を短縮できるという効果がある。
関わるディスクアクセス回数を削減することで、パリテ
ィグループを形成するRAID5などのディスク構成を
表すnD+1Pでのデータドライブ数nの増加による性
能低下を抑止できるという効果がある。
る。
表の説明図である。
/削除フローである。
グラムの動作フローである。
スク障害復旧サブプログラム動作フローである。
ィスク障害復旧サブプログラム動作フローである。
ラー先LU復旧に関わるディスク障害復旧サブプログラ
ム動作フローである。
ラー元LU復旧に関わるディスク障害復旧サブプログラ
ム動作フローである。
1…スナップショット管理プログラム、222…更新/
不整合位置管理表、233…ディスク障害復旧サブプロ
グラム、271〜275、281〜285…ディスク。
Claims (4)
- 【請求項1】 コンピュータと、複数の記憶媒体を持つ
外部記憶装置とを備える計算機システムであって、 外部記憶装置が、 ミラー元LUと、ミラー先LUと、 コンピュータがデータ書き込みを要求したときにミラー
元LUとミラー先LUに書き込んで二重化するLUミラ
ーサブプログラムと、 ミラー元LUとミラー先LUの二重化を停止していると
きにミラー元LUに対するデータ更新を監視する非ミラ
ー時更新監視サブプログラムと、 ミラー元LUに対する前記データ更新の更新位置を記録
する非ミラー時更新位置管理サブプログラムと、 障害ディスクの復旧を行うディスク障害復旧サブプログ
ラムと、 前記記録された更新位置のデータをミラー元LUからミ
ラー先LUにコピーすることで内容を一致させるミラー
再同期サブプログラムとを備え、 ディスク障害復旧サブプログラムは、ミラー先LUのデ
ィスク交換時にはミラー元LUの同じ位置にあるディス
クからのデータコピーによって交換したディスクの内容
を復元するよう動作することを特徴とする計算機システ
ム。 - 【請求項2】 コンピュータと、複数の記憶媒体を持つ
外部記憶装置とを備える計算機システムであって、 外部記憶装置が、 ミラー元LUと、ミラー先LUと、 コンピュータがデータ書き込みを要求したときにミラー
元LUとミラー先LUに書き込んで二重化するLUミラ
ーサブプログラムと、 ミラー元LUとミラー先LUの二重化を停止していると
きにミラー元LUに対するデータ更新を監視する非ミラ
ー時更新監視サブプログラムと、 ミラー元LUに対する前記データ更新の更新位置を記録
する非ミラー時更新位置管理サブプログラムと、 障害ディスクの復旧を行うディスク障害復旧サブプログ
ラムと、 前記記録された更新位置のデータをミラー元LUからミ
ラー先LUにコピーすることで内容を一致させるミラー
再同期サブプログラムとを備え、 ディスク障害復旧サブプログラムは、ミラー元LUのデ
ィスク交換時にはミラー先LUの同じ位置にあるディス
クからのデータコピーによって交換したディスクの内容
を復元するよう動作することを特徴とする計算機システ
ム。 - 【請求項3】 請求項1記載において、ミラー先LUは
複数であることを特徴とする計算機システム。 - 【請求項4】 請求項2記載において、ミラー先LUは
複数であることを特徴とする計算機システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000297066A JP3832223B2 (ja) | 2000-09-26 | 2000-09-26 | ディスクアレイのディスク障害復旧方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000297066A JP3832223B2 (ja) | 2000-09-26 | 2000-09-26 | ディスクアレイのディスク障害復旧方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002108571A true JP2002108571A (ja) | 2002-04-12 |
JP3832223B2 JP3832223B2 (ja) | 2006-10-11 |
Family
ID=18779237
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000297066A Expired - Fee Related JP3832223B2 (ja) | 2000-09-26 | 2000-09-26 | ディスクアレイのディスク障害復旧方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3832223B2 (ja) |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004326244A (ja) * | 2003-04-22 | 2004-11-18 | Nec System Technologies Ltd | ディスクアレイシステム |
US6883112B2 (en) | 2001-11-22 | 2005-04-19 | Kabushiki Kaisha Toshiba | Storage device, backup and fault tolerant redundant method and computer program code of plurality storage devices |
JP2006508458A (ja) * | 2002-11-29 | 2006-03-09 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 災害時回復コンピュータ・システムにおける改善された遠隔コピー同期化 |
JP2006252126A (ja) * | 2005-03-10 | 2006-09-21 | Nec Corp | ディスクアレイ装置及びその再構築方法 |
US7133967B2 (en) | 2003-05-09 | 2006-11-07 | International Business Machines Corporation | Storage system, controller, control method and program product therefor |
CN100356296C (zh) * | 2003-11-26 | 2007-12-19 | 株式会社日立制作所 | 抑制驱动器工作时间的磁盘阵列 |
JP2008516343A (ja) * | 2004-10-08 | 2008-05-15 | ヒューレット−パッカード デベロップメント カンパニー エル.ピー. | 冗長データストレージの再構成 |
US7565574B2 (en) | 2002-05-07 | 2009-07-21 | Hitachi, Ltd. | System and method of volume health checking and recovery |
JP2010511963A (ja) * | 2006-12-08 | 2010-04-15 | サンドフォース インコーポレイテッド | 複数のストレージデバイスでのデータ冗長性 |
JP2011222030A (ja) * | 2004-02-04 | 2011-11-04 | Sandisk Corp | デュアルメディアストレージデバイス |
JP2012504794A (ja) * | 2009-02-26 | 2012-02-23 | 株式会社日立製作所 | Raidグループを備えたストレージシステム |
US8671233B2 (en) | 2006-11-24 | 2014-03-11 | Lsi Corporation | Techniques for reducing memory write operations using coalescing memory buffers and difference information |
US8725960B2 (en) | 2006-12-08 | 2014-05-13 | Lsi Corporation | Techniques for providing data redundancy after reducing memory writes |
US8943358B2 (en) | 2011-08-17 | 2015-01-27 | Fujitsu Limited | Storage system, apparatus, and method for failure recovery during unsuccessful rebuild process |
US9053075B2 (en) | 2012-09-26 | 2015-06-09 | Fujitsu Limited | Storage control device and method for controlling storages |
US10310954B2 (en) | 2014-06-16 | 2019-06-04 | Fujitsu Limited | Control device and method for controlling storage devices |
-
2000
- 2000-09-26 JP JP2000297066A patent/JP3832223B2/ja not_active Expired - Fee Related
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6883112B2 (en) | 2001-11-22 | 2005-04-19 | Kabushiki Kaisha Toshiba | Storage device, backup and fault tolerant redundant method and computer program code of plurality storage devices |
US7152184B2 (en) | 2001-11-22 | 2006-12-19 | Kabushiki Kaisha Toshiba | Storage device, backup method and computer program code of this storage device |
US7565574B2 (en) | 2002-05-07 | 2009-07-21 | Hitachi, Ltd. | System and method of volume health checking and recovery |
JP2006508458A (ja) * | 2002-11-29 | 2006-03-09 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 災害時回復コンピュータ・システムにおける改善された遠隔コピー同期化 |
JP4564721B2 (ja) * | 2003-04-22 | 2010-10-20 | Necシステムテクノロジー株式会社 | ディスクアレイシステム |
JP2004326244A (ja) * | 2003-04-22 | 2004-11-18 | Nec System Technologies Ltd | ディスクアレイシステム |
US7133967B2 (en) | 2003-05-09 | 2006-11-07 | International Business Machines Corporation | Storage system, controller, control method and program product therefor |
CN100356296C (zh) * | 2003-11-26 | 2007-12-19 | 株式会社日立制作所 | 抑制驱动器工作时间的磁盘阵列 |
JP2011222030A (ja) * | 2004-02-04 | 2011-11-04 | Sandisk Corp | デュアルメディアストレージデバイス |
JP2008516343A (ja) * | 2004-10-08 | 2008-05-15 | ヒューレット−パッカード デベロップメント カンパニー エル.ピー. | 冗長データストレージの再構成 |
US7739544B2 (en) | 2005-03-10 | 2010-06-15 | Nec Corporation | Disk array system and rebuild method thereof |
JP2006252126A (ja) * | 2005-03-10 | 2006-09-21 | Nec Corp | ディスクアレイ装置及びその再構築方法 |
US8671233B2 (en) | 2006-11-24 | 2014-03-11 | Lsi Corporation | Techniques for reducing memory write operations using coalescing memory buffers and difference information |
JP2010511963A (ja) * | 2006-12-08 | 2010-04-15 | サンドフォース インコーポレイテッド | 複数のストレージデバイスでのデータ冗長性 |
US8725960B2 (en) | 2006-12-08 | 2014-05-13 | Lsi Corporation | Techniques for providing data redundancy after reducing memory writes |
JP2012504794A (ja) * | 2009-02-26 | 2012-02-23 | 株式会社日立製作所 | Raidグループを備えたストレージシステム |
US8943358B2 (en) | 2011-08-17 | 2015-01-27 | Fujitsu Limited | Storage system, apparatus, and method for failure recovery during unsuccessful rebuild process |
US9053075B2 (en) | 2012-09-26 | 2015-06-09 | Fujitsu Limited | Storage control device and method for controlling storages |
US10310954B2 (en) | 2014-06-16 | 2019-06-04 | Fujitsu Limited | Control device and method for controlling storage devices |
Also Published As
Publication number | Publication date |
---|---|
JP3832223B2 (ja) | 2006-10-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3655963B2 (ja) | 記憶制御装置、それを含むデータ記憶システムおよび二重ペア抑止方法 | |
AU710907B2 (en) | Expansion of the number of drives in a raid set while maintaining integrity of migrated data | |
US6408400B2 (en) | Disk array device | |
US6886075B2 (en) | Memory device system and method for copying data in memory device system | |
JP4800031B2 (ja) | ストレージシステム及びスナップショット管理方法 | |
JP3868708B2 (ja) | スナップショット管理方法及び計算機システム | |
US7856425B2 (en) | Article of manufacture and system for fast reverse restore | |
JP5124183B2 (ja) | 非同期リモートコピーシステムの制御方法及び非同期リモートコピーシステム | |
KR101054962B1 (ko) | 페일오버 및 페일백 환경에서 버추얼 카피의 사용 | |
US9600375B2 (en) | Synchronized flashcopy backup restore of a RAID protected array | |
JP4152373B2 (ja) | リモートミラーキャッシュ内の論理オブジェクトの完全性を保つシステム | |
JP3832223B2 (ja) | ディスクアレイのディスク障害復旧方法 | |
JP2004118837A (ja) | 耐故障性の記憶サブシステムにデータを格納するための方法、記憶サブシステムおよびそのシステムのためのデータ編成管理プログラム | |
US20030177306A1 (en) | Track level snapshot | |
JPH07239799A (ja) | 遠隔データ・シャドーイングを提供する方法および遠隔データ二重化システム | |
US20090177916A1 (en) | Storage system, controller of storage system, control method of storage system | |
JP3882467B2 (ja) | 記憶装置システムのスナップショット管理方法 | |
JP6494787B2 (ja) | 分散ストレージシステム | |
CN112380049A (zh) | 一种存储快照技术在镜像中的应用方法 | |
JP2007334913A (ja) | 記憶装置システム及び記憶装置システムにおけるデータの複写方法 | |
JP2021174392A (ja) | リモートコピーシステム及びリモートコピー管理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060119 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060124 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060322 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060411 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20060418 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060609 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060627 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060710 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090728 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100728 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100728 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110728 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110728 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120728 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130728 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |