JP2001100930A - ミラーディスク制御装置 - Google Patents
ミラーディスク制御装置Info
- Publication number
- JP2001100930A JP2001100930A JP27506799A JP27506799A JP2001100930A JP 2001100930 A JP2001100930 A JP 2001100930A JP 27506799 A JP27506799 A JP 27506799A JP 27506799 A JP27506799 A JP 27506799A JP 2001100930 A JP2001100930 A JP 2001100930A
- Authority
- JP
- Japan
- Prior art keywords
- extent
- disk
- relocation
- data
- mirror
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
(57)【要約】
【課題】 論理ボリューム単位でミラーディスク管理が
なされる場合にシステム運転中での物理ディスクの切り
離しを可能にする。 【解決手段】 全ディスク4,5には、論理エクステン
トと各ディスク4,5上の物理エクステントとの対応づ
けを論理ボリューム毎に保持するエクステント対応テー
ブル10と、各再配置エクステントの使用状態を保持す
る再配置エクステントテーブル11とを論理ボリューム
毎に持つ論理ボリューム管理テーブル7と、データエク
ステントエリア8と再配置エクステントエリア9から構
成される論理ボリュームが含まれている。再配置処理部
13は、一方のディスクへの書込みエラーが発生する
と、障害発生の物理エクステントの代わりに再配置エク
ステントを割り当て、そこに正常ディスク書込みができ
たデータを当該ディスクから読み出して障害発生ディス
ク側の再配置エクステントにデータコピーをする。
なされる場合にシステム運転中での物理ディスクの切り
離しを可能にする。 【解決手段】 全ディスク4,5には、論理エクステン
トと各ディスク4,5上の物理エクステントとの対応づ
けを論理ボリューム毎に保持するエクステント対応テー
ブル10と、各再配置エクステントの使用状態を保持す
る再配置エクステントテーブル11とを論理ボリューム
毎に持つ論理ボリューム管理テーブル7と、データエク
ステントエリア8と再配置エクステントエリア9から構
成される論理ボリュームが含まれている。再配置処理部
13は、一方のディスクへの書込みエラーが発生する
と、障害発生の物理エクステントの代わりに再配置エク
ステントを割り当て、そこに正常ディスク書込みができ
たデータを当該ディスクから読み出して障害発生ディス
ク側の再配置エクステントにデータコピーをする。
Description
【0001】
【発明の属する技術分野】本発明はミラーディスク制御
装置、特に論理ボリューム単位にミラー管理を行う場合
に適したミラーディスク制御に関する。
装置、特に論理ボリューム単位にミラー管理を行う場合
に適したミラーディスク制御に関する。
【0002】
【従来の技術】データの信頼性向上あるいはディスクア
クセス処理の高速化を図るために同一内容のディスクを
多重化させて管理するミラーディスク管理方式がある。
従来のミラーディスク管理方式では、物理ディスクをミ
ラー管理単位とし、ディスクアクセス時にエラーが発生
したときにはエラーが発生した物理ディスク全体を切り
離して縮退運転に移行させていた。このような方法だ
と、ほんの一部分の格納領域で障害が発生しただけでも
1台の物理ディスクを切り離すことになり非効率であ
る。そこで、近年では、障害箇所を論理エクステント単
位に切り離す論理ボリュームミラー管理方式が採用され
ている。
クセス処理の高速化を図るために同一内容のディスクを
多重化させて管理するミラーディスク管理方式がある。
従来のミラーディスク管理方式では、物理ディスクをミ
ラー管理単位とし、ディスクアクセス時にエラーが発生
したときにはエラーが発生した物理ディスク全体を切り
離して縮退運転に移行させていた。このような方法だ
と、ほんの一部分の格納領域で障害が発生しただけでも
1台の物理ディスクを切り離すことになり非効率であ
る。そこで、近年では、障害箇所を論理エクステント単
位に切り離す論理ボリュームミラー管理方式が採用され
ている。
【0003】この論理ボリュームミラー管理方式は、物
理ディスクを論理ボリュームという任意のエリアに分割
して形成した仮想的なディスク単位、すなわち論理ボリ
ューム単位にミラー管理を行う。論理ボリュームを物理
ディスク上に確保するとき実際に使用される物理ディス
クエリアが任意の割付単位(例えば4MB)の整数倍で割
り付けられる。以降、この割付単位を論理ボリュームに
おいては論理エクステント、それに対応する物理ディス
クにおいては物理エクステントと記述する。
理ディスクを論理ボリュームという任意のエリアに分割
して形成した仮想的なディスク単位、すなわち論理ボリ
ューム単位にミラー管理を行う。論理ボリュームを物理
ディスク上に確保するとき実際に使用される物理ディス
クエリアが任意の割付単位(例えば4MB)の整数倍で割
り付けられる。以降、この割付単位を論理ボリュームに
おいては論理エクステント、それに対応する物理ディス
クにおいては物理エクステントと記述する。
【0004】ここで、論理ボリュームミラー管理方式に
おけるミラー管理単位を論理ボリュームではなくディス
クアクセス単位である論理エクステントとする。エクス
テントをミラー管理単位とした場合は、エクステント単
位で障害状況を管理することになる。ミラー書込みの
際、片方のディスクに書込み障害が発生したとすると、
ミラーディスク制御では、障害が発生した論理エクステ
ントに対応した物理エクステントを障害中とする。これ
により、障害が発生した物理エクステントは、ミラー管
理上、障害とみなされ切り離される。つまり、以降のア
クセスから除外される。この結果、当該論理エクステン
トに対する読込み及び書込み処理は、正常な一方のディ
スクのみに行われる。
おけるミラー管理単位を論理ボリュームではなくディス
クアクセス単位である論理エクステントとする。エクス
テントをミラー管理単位とした場合は、エクステント単
位で障害状況を管理することになる。ミラー書込みの
際、片方のディスクに書込み障害が発生したとすると、
ミラーディスク制御では、障害が発生した論理エクステ
ントに対応した物理エクステントを障害中とする。これ
により、障害が発生した物理エクステントは、ミラー管
理上、障害とみなされ切り離される。つまり、以降のア
クセスから除外される。この結果、当該論理エクステン
トに対する読込み及び書込み処理は、正常な一方のディ
スクのみに行われる。
【0005】論理ボリュームミラー管理方式では、以上
のようにディスクアクセス処理において障害が発生した
場合でもその障害発生部分(物理エクステント)だけを
切り離せばよいので、ディスク全体を切り離すことなく
ミラーディスクの構成のまま運転を継続することができ
る。
のようにディスクアクセス処理において障害が発生した
場合でもその障害発生部分(物理エクステント)だけを
切り離せばよいので、ディスク全体を切り離すことなく
ミラーディスクの構成のまま運転を継続することができ
る。
【0006】
【発明が解決しようとする課題】しかしながら、この方
式だと、障害中の物理エクステントが各物理ディスクに
分散する場合が発生しうるので、システム運用に際し
て、下記のような弊害が発生する。まず、ミラーディス
クを構成するディスクそれぞれに障害中の物理エクステ
ントが存在しているときに一方のディスクを交換しよう
とした場合、交換対象のディスクには正常な物理エクス
テントとして格納されているが、当該物理エクステント
に対応した他方のディスクの物理エクステントが障害中
である場合、交換対象のディスクを交換してしまうと当
該物理エクステントに格納されている正常なデータは消
失してしまう。従って、システム運転中にはディスク交
換を単純にすることができない。
式だと、障害中の物理エクステントが各物理ディスクに
分散する場合が発生しうるので、システム運用に際し
て、下記のような弊害が発生する。まず、ミラーディス
クを構成するディスクそれぞれに障害中の物理エクステ
ントが存在しているときに一方のディスクを交換しよう
とした場合、交換対象のディスクには正常な物理エクス
テントとして格納されているが、当該物理エクステント
に対応した他方のディスクの物理エクステントが障害中
である場合、交換対象のディスクを交換してしまうと当
該物理エクステントに格納されている正常なデータは消
失してしまう。従って、システム運転中にはディスク交
換を単純にすることができない。
【0007】また、ディスク交換をしないまでも一方の
ディスクを切り離してバックアップを取ろうとすると
き、バックアップ対象のディスクには障害中の物理エク
ステントとして格納されているが、当該物理エクステン
トに対応した他方のディスクの物理エクステントが正常
である場合、当該物理エクステントに格納されるべき正
常なデータはバックアップされないので、バックアップ
自体に意味がない。
ディスクを切り離してバックアップを取ろうとすると
き、バックアップ対象のディスクには障害中の物理エク
ステントとして格納されているが、当該物理エクステン
トに対応した他方のディスクの物理エクステントが正常
である場合、当該物理エクステントに格納されるべき正
常なデータはバックアップされないので、バックアップ
自体に意味がない。
【0008】以上のように、従来においては、論理ボリ
ュームあるいは論理エクステントをミラー管理単位とす
る場合において障害中の物理エクステントが複数のディ
スクに分散している場合、システム運転中には物理ディ
スクを切り離すことはできない。
ュームあるいは論理エクステントをミラー管理単位とす
る場合において障害中の物理エクステントが複数のディ
スクに分散している場合、システム運転中には物理ディ
スクを切り離すことはできない。
【0009】本発明は以上のような問題を解決するため
になされたものであり、その目的は、論理ボリューム単
位でミラーディスク管理がなされる場合にシステム運転
中での物理ディスクの切り離しを可能にするミラーディ
スク制御装置を提供することにある。
になされたものであり、その目的は、論理ボリューム単
位でミラーディスク管理がなされる場合にシステム運転
中での物理ディスクの切り離しを可能にするミラーディ
スク制御装置を提供することにある。
【0010】
【課題を解決するための手段】以上のような目的を達成
するために、本発明に係るミラーディスク制御装置は、
ディスクに確保される論理ボリューム単位でミラーディ
スク管理を行うミラーディスク制御装置において、一方
のディスクへのデータ書込み時に障害が発生した場合、
当該データの書込み箇所を障害発生箇所に代えて論理ボ
リューム毎に予め用意した再配置用エリア内にミラー管
理単位で再配置することで、障害が発生したディスク側
のデータを復旧させるものである。
するために、本発明に係るミラーディスク制御装置は、
ディスクに確保される論理ボリューム単位でミラーディ
スク管理を行うミラーディスク制御装置において、一方
のディスクへのデータ書込み時に障害が発生した場合、
当該データの書込み箇所を障害発生箇所に代えて論理ボ
リューム毎に予め用意した再配置用エリア内にミラー管
理単位で再配置することで、障害が発生したディスク側
のデータを復旧させるものである。
【0011】また、ミラーディスクを構成する各ディス
クに対して、生成した1乃至複数の論理ボリュームの割
付単位でありかつミラー管理単位である論理エクステン
ト単位にデータアクセスをするミラーディスク制御装置
において、論理ボリューム毎に当該ディスク内に予め設
けられた再配置エクステントエリアと、論理エクステン
トと前記各ディスク上の物理エクステントとの対応づけ
を論理ボリューム毎に保持するエクステント対応管理情
報記憶手段と、前記再配置エクステントエリアに含まれ
る各再配置物理エクステントの使用状態を保持する再配
置エクステント管理情報記憶手段と、前記ミラーディス
クへのアクセス制御を行うディスクアクセス制御手段
と、データを書き込む物理エクステントの再配置を行う
再配置処理手段とを有し、前記再配置処理手段は、デー
タ書込みに障害が発生したディスクへのデータ書込み箇
所を、障害発生箇所に代えて前記再配置エクステントエ
リア内にミラー管理単位で再配置する再配置処理を実行
することで、障害が発生したディスク側のデータを復旧
させるものである。
クに対して、生成した1乃至複数の論理ボリュームの割
付単位でありかつミラー管理単位である論理エクステン
ト単位にデータアクセスをするミラーディスク制御装置
において、論理ボリューム毎に当該ディスク内に予め設
けられた再配置エクステントエリアと、論理エクステン
トと前記各ディスク上の物理エクステントとの対応づけ
を論理ボリューム毎に保持するエクステント対応管理情
報記憶手段と、前記再配置エクステントエリアに含まれ
る各再配置物理エクステントの使用状態を保持する再配
置エクステント管理情報記憶手段と、前記ミラーディス
クへのアクセス制御を行うディスクアクセス制御手段
と、データを書き込む物理エクステントの再配置を行う
再配置処理手段とを有し、前記再配置処理手段は、デー
タ書込みに障害が発生したディスクへのデータ書込み箇
所を、障害発生箇所に代えて前記再配置エクステントエ
リア内にミラー管理単位で再配置する再配置処理を実行
することで、障害が発生したディスク側のデータを復旧
させるものである。
【0012】また、前記再配置処理手段は、復旧すべき
データをデータ書込みが正常にできたディスクから読み
出して障害が発生したディスク側の該当する再配置エク
ステントに書き込むものである。
データをデータ書込みが正常にできたディスクから読み
出して障害が発生したディスク側の該当する再配置エク
ステントに書き込むものである。
【0013】また、前記再配置処理手段による再配置処
理の実行タイミングを制御する再配置処理制御管理手段
を有し、再配置処理を障害発生時又はオペレータからの
指示によって選択的に行うものである。
理の実行タイミングを制御する再配置処理制御管理手段
を有し、再配置処理を障害発生時又はオペレータからの
指示によって選択的に行うものである。
【0014】また、前記再配置処理手段は、オペレータ
からの指示に応じて再配置エクステントに割り当てられ
ていたデータを、当該データが格納されている論理ボリ
ューム内であって当該データの書込みが正常にできた他
方のディスクにおける当該データの物理エクステントと
同一位置に再配置するものである。
からの指示に応じて再配置エクステントに割り当てられ
ていたデータを、当該データが格納されている論理ボリ
ューム内であって当該データの書込みが正常にできた他
方のディスクにおける当該データの物理エクステントと
同一位置に再配置するものである。
【0015】また、前記再配置処理手段は、オペレータ
からの指示に応じて再配置エクステントに割り当てられ
ていたデータを、当該データが格納されている論理ボリ
ューム内のオペレータにより指定された物理エクステン
ト位置に再配置するものである。
からの指示に応じて再配置エクステントに割り当てられ
ていたデータを、当該データが格納されている論理ボリ
ューム内のオペレータにより指定された物理エクステン
ト位置に再配置するものである。
【0016】また、前記再配置エクステントエリアは、
対応する論理ボリューム内に設けられるものである。
対応する論理ボリューム内に設けられるものである。
【0017】
【発明の実施の形態】以下、図面に基づいて、本発明の
好適な実施の形態について説明する。
好適な実施の形態について説明する。
【0018】図1は、本発明に係るミラーディスク装置
の一実施の形態を搭載したシステム全体の構成図であ
る。本実施の形態におけるシステムは、複数のサーバ
1,2それぞれに同等のミラーディスク制御装置3を搭
載し、稼働系のサーバ1がダウンしたときでも待機系の
サーバ2がミラーディスク制御を継続して行えるように
ホットスタンバイ型の多重系として構成されている。
の一実施の形態を搭載したシステム全体の構成図であ
る。本実施の形態におけるシステムは、複数のサーバ
1,2それぞれに同等のミラーディスク制御装置3を搭
載し、稼働系のサーバ1がダウンしたときでも待機系の
サーバ2がミラーディスク制御を継続して行えるように
ホットスタンバイ型の多重系として構成されている。
【0019】図2は、本実施の形態におけるミラーディ
スク制御装置の構成図である。本実施の形態におけるミ
ラーディスク制御装置3には、ミラーディスクを構成す
る2台のディスク4,5が接続されている。本実施の形
態では、ディスク4をプライマリ側、ディスク5をミラ
ー側とする。各ディスク4,5には、本実施の形態にお
いてミラーディスク管理単位とする複数の論理ボリュー
ム(LV)6と、各論理ボリューム6を構成する論理エ
クステント(LE)に対応づけられた各ディスク4,5
の物理エクステント(PE)の状態、使用状況等を管理
する論理ボリューム管理テーブル7が形成される。ミラ
ーディスクを構成する各論理ボリュームの正常、異常の
状態は、任意の単位(例えば256バイト)で管理さ
れ、この管理単位すなわちミラー単位で保持される。ミ
ラー管理単位は、通常エクステントより小さい単位で管
理されるが、本実施の形態では、便宜上、エクステント
をミラー管理単位とする。各エクステントの状態は、論
理ボリューム管理テーブル7で保持管理される。各論理
ボリュームには、実際にデータを格納するデータ物理エ
クステント(以下、単に「データエクステント」ともい
う)を含むデータエクステントエリア8及び本実施の形
態において特徴的な再配置用の物理エクステント(以
下、「再配置エクステント」という)を含む再配置エク
ステントエリア9が確保されている。図2の“P−PE
1”、“M−PE1”、“P−RPE1”、“M−RP
E1”等は、それぞれ物理エクステント番号を示してい
る。本実施の形態では、例えば“P−PE1”のハイフ
ン前の“P”はプライマリ側ディスクを意味し、ハイフ
ン後の“PE”はデータ物理エクステントを意味し、
“1”は昇順に並べたときの通しエクステント番号(1
〜n)である。
スク制御装置の構成図である。本実施の形態におけるミ
ラーディスク制御装置3には、ミラーディスクを構成す
る2台のディスク4,5が接続されている。本実施の形
態では、ディスク4をプライマリ側、ディスク5をミラ
ー側とする。各ディスク4,5には、本実施の形態にお
いてミラーディスク管理単位とする複数の論理ボリュー
ム(LV)6と、各論理ボリューム6を構成する論理エ
クステント(LE)に対応づけられた各ディスク4,5
の物理エクステント(PE)の状態、使用状況等を管理
する論理ボリューム管理テーブル7が形成される。ミラ
ーディスクを構成する各論理ボリュームの正常、異常の
状態は、任意の単位(例えば256バイト)で管理さ
れ、この管理単位すなわちミラー単位で保持される。ミ
ラー管理単位は、通常エクステントより小さい単位で管
理されるが、本実施の形態では、便宜上、エクステント
をミラー管理単位とする。各エクステントの状態は、論
理ボリューム管理テーブル7で保持管理される。各論理
ボリュームには、実際にデータを格納するデータ物理エ
クステント(以下、単に「データエクステント」ともい
う)を含むデータエクステントエリア8及び本実施の形
態において特徴的な再配置用の物理エクステント(以
下、「再配置エクステント」という)を含む再配置エク
ステントエリア9が確保されている。図2の“P−PE
1”、“M−PE1”、“P−RPE1”、“M−RP
E1”等は、それぞれ物理エクステント番号を示してい
る。本実施の形態では、例えば“P−PE1”のハイフ
ン前の“P”はプライマリ側ディスクを意味し、ハイフ
ン後の“PE”はデータ物理エクステントを意味し、
“1”は昇順に並べたときの通しエクステント番号(1
〜n)である。
【0020】論理ボリューム管理テーブル7は、全ディ
スク4,5に保持され全て同一内容であり、常に同時に
更新される。論理ボリューム管理テーブル7には、論理
・物理エクステント対応管理テーブル(以下、単に「エ
クステント対応テーブル」という)10と、再配置エク
ステントテーブル11との組が論理ボリューム毎に設け
られている。エクステント対応テーブル10は、エクス
テント対応管理情報記憶手段として設けられており、論
理エクステントと各ディスク4,5の物理エクステント
との対応付け及び各物理エクステントの障害状況を管理
するためのテーブルである。図2に示したエクステント
対応テーブル10の例によると、番号“LE1”で表さ
れる論理エクステントには、物理エクステント“P−P
E1”,“M−PE1”が対応づけられていることがわ
かる。各物理エクステントの状態(ステータス)として
は、アクセス可能な物理エクステントが割り付けられて
いることを示す「正常」、対応物理エクステントが障害
中であることを示す「障害中」及び対応する物理エクス
テントは割り付けられていないことを示す「未割付」が
ある。再配置エクステントテーブル11は、再配置エク
ステント管理情報記憶手段として設けられており、各再
配置エクステントの使用状況を管理するためのテーブル
である。各再配置エクステントのフラグ値としては、割
付可能状態である「未使用」、対応論理エクステントに
割り付けている「使用中」及び再配置エクステント自体
が使用不可状態である「障害中」がある。再配置エクス
テントが使用されている場合には当該再配置エクステン
トを使用している対応した論理エクステント番号が対応
論理エクステントに設定される。
スク4,5に保持され全て同一内容であり、常に同時に
更新される。論理ボリューム管理テーブル7には、論理
・物理エクステント対応管理テーブル(以下、単に「エ
クステント対応テーブル」という)10と、再配置エク
ステントテーブル11との組が論理ボリューム毎に設け
られている。エクステント対応テーブル10は、エクス
テント対応管理情報記憶手段として設けられており、論
理エクステントと各ディスク4,5の物理エクステント
との対応付け及び各物理エクステントの障害状況を管理
するためのテーブルである。図2に示したエクステント
対応テーブル10の例によると、番号“LE1”で表さ
れる論理エクステントには、物理エクステント“P−P
E1”,“M−PE1”が対応づけられていることがわ
かる。各物理エクステントの状態(ステータス)として
は、アクセス可能な物理エクステントが割り付けられて
いることを示す「正常」、対応物理エクステントが障害
中であることを示す「障害中」及び対応する物理エクス
テントは割り付けられていないことを示す「未割付」が
ある。再配置エクステントテーブル11は、再配置エク
ステント管理情報記憶手段として設けられており、各再
配置エクステントの使用状況を管理するためのテーブル
である。各再配置エクステントのフラグ値としては、割
付可能状態である「未使用」、対応論理エクステントに
割り付けている「使用中」及び再配置エクステント自体
が使用不可状態である「障害中」がある。再配置エクス
テントが使用されている場合には当該再配置エクステン
トを使用している対応した論理エクステント番号が対応
論理エクステントに設定される。
【0021】ミラーディスク制御装置3は、ディスクア
クセス制御部12、再配置処理部13及び再配置処理制
御管理部14を有している。ディスクアクセス制御部1
2は、アプリケーション等からの要求に応じてディスク
アクセスを行うが、この際、ミラーディスク制御、すな
わち、一データ書込み要求に対して複数のミラーディス
ク4,5にデータ書込みを行う。再配置処理部13は、
ディスクアクセス制御部12又はオペレータ(操作員)
からのコマンドによる指示に応じてデータ復旧、移動等
のために物理エクステントの再配置を行う。再配置処理
制御管理部14は、再配置処理部13による再配置処理
の実行タイミングを制御する。すなわち、ディスクアク
セス制御部12が障害発生時に発した再配置要求メッセ
ージをそのまま再配置処理部13へ渡したり、再配置要
求メッセージを一時保持し、操作員からの指示に応じて
再配置要求メッセージを再配置処理部13へ渡すこと
を、環境設定された条件に従い選択的に行う。
クセス制御部12、再配置処理部13及び再配置処理制
御管理部14を有している。ディスクアクセス制御部1
2は、アプリケーション等からの要求に応じてディスク
アクセスを行うが、この際、ミラーディスク制御、すな
わち、一データ書込み要求に対して複数のミラーディス
ク4,5にデータ書込みを行う。再配置処理部13は、
ディスクアクセス制御部12又はオペレータ(操作員)
からのコマンドによる指示に応じてデータ復旧、移動等
のために物理エクステントの再配置を行う。再配置処理
制御管理部14は、再配置処理部13による再配置処理
の実行タイミングを制御する。すなわち、ディスクアク
セス制御部12が障害発生時に発した再配置要求メッセ
ージをそのまま再配置処理部13へ渡したり、再配置要
求メッセージを一時保持し、操作員からの指示に応じて
再配置要求メッセージを再配置処理部13へ渡すこと
を、環境設定された条件に従い選択的に行う。
【0022】本実施の形態において特徴的なことは、ミ
ラーディスク管理単位である論理ボリューム毎に再配置
エクステントエリア9を設けたことである。これによ
り、障害発生箇所(データ物理エクステント)の代わり
に再配置エクステントを利用することで各論理ボリュー
ムには正常なデータが必ず書き込まれていることになる
ので、論理ボリューム単位にミラーディスク管理を行う
場合でもシステム運転中にディスクを切り離すことがで
きる。
ラーディスク管理単位である論理ボリューム毎に再配置
エクステントエリア9を設けたことである。これによ
り、障害発生箇所(データ物理エクステント)の代わり
に再配置エクステントを利用することで各論理ボリュー
ムには正常なデータが必ず書き込まれていることになる
ので、論理ボリューム単位にミラーディスク管理を行う
場合でもシステム運転中にディスクを切り離すことがで
きる。
【0023】次に、本実施の形態の動作について説明す
るが、最初に、本実施の形態におけるミラーディスク制
御を行う際の環境設定について説明する。
るが、最初に、本実施の形態におけるミラーディスク制
御を行う際の環境設定について説明する。
【0024】まず、操作員は、プライマリディスクアド
レス、ミラーディスクアドレス、各論理ボリュームサイ
ズ及び再配置エクステントエリア9を構成する物理エク
ステントの割付個数を予め指定する。これにより、各デ
ィスク4,5の論理ボリューム及び論理ボリューム管理
テーブル7を生成することができる。なお、エクステン
ト対応テーブル10のステータスには「正常」が、再配
置エクステントテーブル11のフラグには「未使用」が
通常は初期値として設定される。また、詳細は後述する
が、本実施の形態では、再配置処理を障害発生時点ある
いは操作員からコマンド指示によって選択的に行えるよ
うにしているので、いずれのタイミングで行うかの設定
も予め指定しておく。
レス、ミラーディスクアドレス、各論理ボリュームサイ
ズ及び再配置エクステントエリア9を構成する物理エク
ステントの割付個数を予め指定する。これにより、各デ
ィスク4,5の論理ボリューム及び論理ボリューム管理
テーブル7を生成することができる。なお、エクステン
ト対応テーブル10のステータスには「正常」が、再配
置エクステントテーブル11のフラグには「未使用」が
通常は初期値として設定される。また、詳細は後述する
が、本実施の形態では、再配置処理を障害発生時点ある
いは操作員からコマンド指示によって選択的に行えるよ
うにしているので、いずれのタイミングで行うかの設定
も予め指定しておく。
【0025】次に、本実施の形態におけるミラーディス
ク制御について図3に示したフローチャートを用いて説
明する。
ク制御について図3に示したフローチャートを用いて説
明する。
【0026】障害が発生しない通常時のミラーディスク
アクセスは、基本的には従来と同じである。すなわち、
論理ボリュームに対するアクセスが行われると、利用者
からのアクセス要求箇所を最終的に論理エクステントに
変換し、更に論理ボリューム管理テーブル7を検索し、
対応する各ディスク4,5の物理エクステントを取得
し、物理エクステントをディスク4,5の物理アドレス
に変換し、直接の入出力要求をOS(オペレーティング
システム)に対し行う。通常、データ読込みはプライマ
リ側のディスク4へ、データ書込みは双方のディスク
4,5へ行う。このときの内部処理として、ディスクア
クセス制御部12は、アクセス対象の論理ボリュームに
対し、再配置処理部13との排他を行い(ステップ10
1)、論理エクステントに対応する両ディスク4,5の
物理エクステントに入出力要求を行う(ステップ10
2)。この際、物理エクステントのステータスが“障害
中”でないことを確認する。障害が発生せずに正常終了
したときには(ステップ103,104)、その後論理
ボリュームの排他を解除する(ステップ109)。排他
を解除することによって再配置処理部13は論理ボリュ
ームへのアクセスが可能となる。そして、データアクセ
ス要求元へ正常終了した旨をOSを介して返す(ステッ
プ110,111)。
アクセスは、基本的には従来と同じである。すなわち、
論理ボリュームに対するアクセスが行われると、利用者
からのアクセス要求箇所を最終的に論理エクステントに
変換し、更に論理ボリューム管理テーブル7を検索し、
対応する各ディスク4,5の物理エクステントを取得
し、物理エクステントをディスク4,5の物理アドレス
に変換し、直接の入出力要求をOS(オペレーティング
システム)に対し行う。通常、データ読込みはプライマ
リ側のディスク4へ、データ書込みは双方のディスク
4,5へ行う。このときの内部処理として、ディスクア
クセス制御部12は、アクセス対象の論理ボリュームに
対し、再配置処理部13との排他を行い(ステップ10
1)、論理エクステントに対応する両ディスク4,5の
物理エクステントに入出力要求を行う(ステップ10
2)。この際、物理エクステントのステータスが“障害
中”でないことを確認する。障害が発生せずに正常終了
したときには(ステップ103,104)、その後論理
ボリュームの排他を解除する(ステップ109)。排他
を解除することによって再配置処理部13は論理ボリュ
ームへのアクセスが可能となる。そして、データアクセ
ス要求元へ正常終了した旨をOSを介して返す(ステッ
プ110,111)。
【0027】次に、本実施の形態において特徴とする障
害発生時における処理について同じく図3を用いて説明
する。
害発生時における処理について同じく図3を用いて説明
する。
【0028】両ディスク4,5へのデータ書込み時にエ
ラーが発生した場合(ステップ101〜104)、エク
ステント対応テーブル10の障害が発生したディスクの
当該物理エクステントの状態を“正常”から“障害中”
に変更して(ステップ105)、全ディスク4,5に格
納されている全論理ボリューム管理テーブル7を更新す
る(ステップ106)。つまり、ディスクアクセス制御
部12は、図示しない内部メモリに読み込んだ論理ボリ
ューム管理テーブルのエクステント対応テーブルを上記
のように変更した後、全ディスク4,5へ書き込む。正
常に書込みができたとき、ディスクアクセス制御部12
は、挙動指示を“再配置”、パラメータに障害が発生し
た論理ボリューム、ディスク及び論理エクステントを指
定して再配置処理部13へ再配置要求メッセージを送付
する(ステップ107,108)。再配置要求メッセー
ジに関する詳細は追って説明する。その後、論理ボリュ
ームの排他を解除し(ステップ109)、データアクセ
ス要求元へ正常終了した旨を返す(ステップ110,1
11)。
ラーが発生した場合(ステップ101〜104)、エク
ステント対応テーブル10の障害が発生したディスクの
当該物理エクステントの状態を“正常”から“障害中”
に変更して(ステップ105)、全ディスク4,5に格
納されている全論理ボリューム管理テーブル7を更新す
る(ステップ106)。つまり、ディスクアクセス制御
部12は、図示しない内部メモリに読み込んだ論理ボリ
ューム管理テーブルのエクステント対応テーブルを上記
のように変更した後、全ディスク4,5へ書き込む。正
常に書込みができたとき、ディスクアクセス制御部12
は、挙動指示を“再配置”、パラメータに障害が発生し
た論理ボリューム、ディスク及び論理エクステントを指
定して再配置処理部13へ再配置要求メッセージを送付
する(ステップ107,108)。再配置要求メッセー
ジに関する詳細は追って説明する。その後、論理ボリュ
ームの排他を解除し(ステップ109)、データアクセ
ス要求元へ正常終了した旨を返す(ステップ110,1
11)。
【0029】また、いずれかのディスク4,5に論理ボ
リューム管理テーブル7が書き込めないときには今後ミ
ラーディスク構成が維持できないものとして論理ボリュ
ームの排他を解除し(ステップ107,109)、デー
タアクセス要求元へ異常終了した旨をOSを介して返す
(ステップ110,112)。
リューム管理テーブル7が書き込めないときには今後ミ
ラーディスク構成が維持できないものとして論理ボリュ
ームの排他を解除し(ステップ107,109)、デー
タアクセス要求元へ異常終了した旨をOSを介して返す
(ステップ110,112)。
【0030】次に、本実施の形態における再配置処理部
13が行う再配置処理について図4,5に示したフロー
チャートを用いて説明する。
13が行う再配置処理について図4,5に示したフロー
チャートを用いて説明する。
【0031】再配置処理部13は、予め起動され、常時
処理要求メッセージの待ち状態となる。そして、処理要
求メッセージが送られてくると後述する一連の処理を実
行した後、処理要求メッセージの待ち状態に戻る。処理
要求メッセージは、ディスクアクセス制御部12の上記
ステップ108における再配置要求メッセージの送付処
理及び後述する操作員からのコマンド指示によって再配
置処理制御管理部14を介して送られてくる。
処理要求メッセージの待ち状態となる。そして、処理要
求メッセージが送られてくると後述する一連の処理を実
行した後、処理要求メッセージの待ち状態に戻る。処理
要求メッセージは、ディスクアクセス制御部12の上記
ステップ108における再配置要求メッセージの送付処
理及び後述する操作員からのコマンド指示によって再配
置処理制御管理部14を介して送られてくる。
【0032】ところで、処理要求メッセージには、挙動
指示及びパラメータが指定されている。挙動指示には、
再配置処理部13が行うべき指示内容が指定されてお
り、その種別として“再配置”、“一致”及び“エクス
テント指示”がある。操作員からのコマンド指示には、
全ての挙動指示が指定されてくるが、ディスクアクセス
制御部12からの処理要求メッセージには、“再配置”
のみが指定されてくる。パラメータには、再配置対象と
なる論理ボリューム、ディスク及び論理エクステントが
固定的に指定される。また、挙動指示として“エクステ
ント指示”が指定された場合には更に割付物理エクステ
ント番号が指定される。通知には、OSが持つメッセー
ジ通信機能を利用する。
指示及びパラメータが指定されている。挙動指示には、
再配置処理部13が行うべき指示内容が指定されてお
り、その種別として“再配置”、“一致”及び“エクス
テント指示”がある。操作員からのコマンド指示には、
全ての挙動指示が指定されてくるが、ディスクアクセス
制御部12からの処理要求メッセージには、“再配置”
のみが指定されてくる。パラメータには、再配置対象と
なる論理ボリューム、ディスク及び論理エクステントが
固定的に指定される。また、挙動指示として“エクステ
ント指示”が指定された場合には更に割付物理エクステ
ント番号が指定される。通知には、OSが持つメッセー
ジ通信機能を利用する。
【0033】処理要求メッセージ受信待ち状態にある再
配置処理部13は、要求メッセージが送られてくると
(ステップ201)、メッセージに含まれているパラメ
ータを解析し(ステップ202)、特定された処理対象
となるディスクから論理ボリューム管理テーブル7を読
み込む(ステップ203)。もし、読み込めない場合
は、ディスク全域がアクセス不能(例えば、電源断)とみ
なし、変更した内容があれば元の状態に戻して全処理を
スキップする(ステップ204,230)。物理エクス
テントのみの障害かアクセス不能か否かのチェックがで
きる点で障害が発生したディスクから論理ボリューム管
理テーブル7を読み込むことに意義がある。
配置処理部13は、要求メッセージが送られてくると
(ステップ201)、メッセージに含まれているパラメ
ータを解析し(ステップ202)、特定された処理対象
となるディスクから論理ボリューム管理テーブル7を読
み込む(ステップ203)。もし、読み込めない場合
は、ディスク全域がアクセス不能(例えば、電源断)とみ
なし、変更した内容があれば元の状態に戻して全処理を
スキップする(ステップ204,230)。物理エクス
テントのみの障害かアクセス不能か否かのチェックがで
きる点で障害が発生したディスクから論理ボリューム管
理テーブル7を読み込むことに意義がある。
【0034】挙動指示として“再配置”が指定されてい
た場合(ステップ205)、再配置処理部13は、パラ
メータに指定されたディスクの再配置エクステントテー
ブル11を検索し(ステップ206)、フラグが“未使
用”の再配置エクステントを得る(ステップ208)。
もし、“未使用”の再配置エクステントがなければ、利
用可能な物理エクステントが再配置エクステントエリア
9内に存在しないため処理の継続が不可能と判断し、変
更した内容があれば元の状態に戻して全処理をスキップ
する(ステップ207,230)。
た場合(ステップ205)、再配置処理部13は、パラ
メータに指定されたディスクの再配置エクステントテー
ブル11を検索し(ステップ206)、フラグが“未使
用”の再配置エクステントを得る(ステップ208)。
もし、“未使用”の再配置エクステントがなければ、利
用可能な物理エクステントが再配置エクステントエリア
9内に存在しないため処理の継続が不可能と判断し、変
更した内容があれば元の状態に戻して全処理をスキップ
する(ステップ207,230)。
【0035】このように、挙動指示として“再配置”が
指定されている場合、障害が発生したデータエクステン
トエリア8内の物理エクステントに代わって再配置エク
ステントエリア9内に予め確保しておいた再配置エクス
テントを割り当てることになる。つまり、当該論理エク
ステントに対応づけした物理エクステントを再配置する
ことになる。
指定されている場合、障害が発生したデータエクステン
トエリア8内の物理エクステントに代わって再配置エク
ステントエリア9内に予め確保しておいた再配置エクス
テントを割り当てることになる。つまり、当該論理エク
ステントに対応づけした物理エクステントを再配置する
ことになる。
【0036】その後、再配置処理部13は、アクセス対
象の論理ボリュームに対し、ディスクアクセス制御部1
2との排他を行う(ステップ218)。そして、再配置
処理部13は、正常にデータを書き込むことのできたデ
ィスクの物理エクステントからデータを読み込み(ステ
ップ219)、ステップ208において獲得した再配置
エクステントに当該データを書き込む(ステップ22
1)。これにより、障害が発生したディスク側にもデー
タが格納されたことになる。特に、本実施の形態では、
再配置エクステントに、データ書込み要求に含まれてい
るデータではなく正常にディスクに書き込めたデータを
読み出して書き込む処理とした。これにより、後述する
操作員からのコマンド指示のタイミングで再配置処理を
非同期に行うことができる。以上の処理中にエラーが生
じた場合は、変更した内容を元の状態に戻す(ステップ
220,222,230)。
象の論理ボリュームに対し、ディスクアクセス制御部1
2との排他を行う(ステップ218)。そして、再配置
処理部13は、正常にデータを書き込むことのできたデ
ィスクの物理エクステントからデータを読み込み(ステ
ップ219)、ステップ208において獲得した再配置
エクステントに当該データを書き込む(ステップ22
1)。これにより、障害が発生したディスク側にもデー
タが格納されたことになる。特に、本実施の形態では、
再配置エクステントに、データ書込み要求に含まれてい
るデータではなく正常にディスクに書き込めたデータを
読み出して書き込む処理とした。これにより、後述する
操作員からのコマンド指示のタイミングで再配置処理を
非同期に行うことができる。以上の処理中にエラーが生
じた場合は、変更した内容を元の状態に戻す(ステップ
220,222,230)。
【0037】続いて、再配置処理部13は、ステップ2
03において図示しない内部メモリに読み込んだ論理ボ
リューム管理テーブルのエクステント対応テーブルの
“障害中”であった当該ディスク毎対応物理エクステン
トに割り当てた再配置エクステントをセットし、更にス
テータスを“障害中”を“正常”に変更する(ステップ
223)。そして、論理ボリューム管理テーブルのエク
ステント対応テーブルの当該再配置エクステントに対応
した対応論理エクステントに更新したエクステント対応
テーブルの論理エクステントをセットし、更にフラグを
“未使用”から“使用中”に変更する(ステップ22
5)。その後、内部メモリにおいて更新した論理ボリュ
ーム管理テーブルを全ディスク4,5に書き込むことで
全ディスク4,5の論理ボリューム管理テーブル7の内
容を同一にする。その後、論理ボリュームの排他を解除
した後(ステップ228)、再度、処理要求メッセージ
待ちへ戻る(ステップ201)。
03において図示しない内部メモリに読み込んだ論理ボ
リューム管理テーブルのエクステント対応テーブルの
“障害中”であった当該ディスク毎対応物理エクステン
トに割り当てた再配置エクステントをセットし、更にス
テータスを“障害中”を“正常”に変更する(ステップ
223)。そして、論理ボリューム管理テーブルのエク
ステント対応テーブルの当該再配置エクステントに対応
した対応論理エクステントに更新したエクステント対応
テーブルの論理エクステントをセットし、更にフラグを
“未使用”から“使用中”に変更する(ステップ22
5)。その後、内部メモリにおいて更新した論理ボリュ
ーム管理テーブルを全ディスク4,5に書き込むことで
全ディスク4,5の論理ボリューム管理テーブル7の内
容を同一にする。その後、論理ボリュームの排他を解除
した後(ステップ228)、再度、処理要求メッセージ
待ちへ戻る(ステップ201)。
【0038】以上説明した本実施の形態の動作により更
新される論理ボリューム管理テーブル7について具体例
(図6)をあげて説明する。
新される論理ボリューム管理テーブル7について具体例
(図6)をあげて説明する。
【0039】データ書込みの際、論理エクステントLE
3に対応したディスク5の物理エクステントM−PE3
に障害が発生したため、エクステント対応テーブル10
−1に示したように物理エクステントM−PE3のステ
ータスを“正常”から“障害中”に変更する(ステップ
105)。なお、このとき、論理エクステントLE3に
対応したディスク4の物理エクステントP−PE3には
データが正常に書き込まれている。再配置処理部13
は、ディスクアクセス制御部12からの処理要求に応じ
て再配置エクステントテーブル11−1を検索し、“未
使用”の再配置エクステントM−PRE1を取得する
(ステップ206,208)。そして、ディスク4の物
理エクステントP−PE3に正常に書き込めたデータを
読み込んで再配置エクステントM−PRE1にコピーす
る(ステップ221)。そして、エクステント対応テー
ブル10−2に示したように“障害中”であったディス
ク毎対応物理エクステント“M−PE3”を再配置先の
物理エクステント“M−PRE1”で更新するとともに
当該ステータスを“障害中”から“正常”に変更する
(ステップ223)。更に、再配置エクステントテーブ
ル11−2に示したように再配置エクステントM−RP
E1のフラグを“使用中”に変更し、また、対応する論
理エクステント“LE3”を対応論理エクステントに設
定する(ステップ225)。
3に対応したディスク5の物理エクステントM−PE3
に障害が発生したため、エクステント対応テーブル10
−1に示したように物理エクステントM−PE3のステ
ータスを“正常”から“障害中”に変更する(ステップ
105)。なお、このとき、論理エクステントLE3に
対応したディスク4の物理エクステントP−PE3には
データが正常に書き込まれている。再配置処理部13
は、ディスクアクセス制御部12からの処理要求に応じ
て再配置エクステントテーブル11−1を検索し、“未
使用”の再配置エクステントM−PRE1を取得する
(ステップ206,208)。そして、ディスク4の物
理エクステントP−PE3に正常に書き込めたデータを
読み込んで再配置エクステントM−PRE1にコピーす
る(ステップ221)。そして、エクステント対応テー
ブル10−2に示したように“障害中”であったディス
ク毎対応物理エクステント“M−PE3”を再配置先の
物理エクステント“M−PRE1”で更新するとともに
当該ステータスを“障害中”から“正常”に変更する
(ステップ223)。更に、再配置エクステントテーブ
ル11−2に示したように再配置エクステントM−RP
E1のフラグを“使用中”に変更し、また、対応する論
理エクステント“LE3”を対応論理エクステントに設
定する(ステップ225)。
【0040】この結果、以降の処理において論理エクス
テントLE3へのアクセスに対してエクステント対応テ
ーブル10−2を参照することによってディスク5に対
しては、再配置エクステントM−PRE1がアクセスさ
れることになる。
テントLE3へのアクセスに対してエクステント対応テ
ーブル10−2を参照することによってディスク5に対
しては、再配置エクステントM−PRE1がアクセスさ
れることになる。
【0041】本実施の形態によれば、データ書込みの際
に障害が発生した場合でもデータ書込み先の論理エクス
テントに対応した障害発生ディスクのデータエクステン
トを再配置エクステントに再配置してデータを書き込む
ようにしたので、障害が発生したディスク側にも当該デ
ータを持たせることができる。つまり、書込み処理時に
障害が発生したデータが障害発生ディスクにも格納され
ることになるので、システム運転中にディスクを切り離
すことができる。これにより、ディスク交換やディスク
バックアップをシステム停止することなく行うことがで
きる。この結果、障害箇所を持った状態での運転を一時
的なものとでき、ミラーディスク自体の信頼性を向上さ
せることができる。
に障害が発生した場合でもデータ書込み先の論理エクス
テントに対応した障害発生ディスクのデータエクステン
トを再配置エクステントに再配置してデータを書き込む
ようにしたので、障害が発生したディスク側にも当該デ
ータを持たせることができる。つまり、書込み処理時に
障害が発生したデータが障害発生ディスクにも格納され
ることになるので、システム運転中にディスクを切り離
すことができる。これにより、ディスク交換やディスク
バックアップをシステム停止することなく行うことがで
きる。この結果、障害箇所を持った状態での運転を一時
的なものとでき、ミラーディスク自体の信頼性を向上さ
せることができる。
【0042】また、本実施の形態では、再配置エクステ
ントエリア9を物理ディスク毎ではなく論理ボリューム
毎にかつデータエクステントエリア8に隣接配置したの
で、物理エクステントの再配置に伴うアクセス時のシー
クタイムの膨大を極力軽減することができる。
ントエリア9を物理ディスク毎ではなく論理ボリューム
毎にかつデータエクステントエリア8に隣接配置したの
で、物理エクステントの再配置に伴うアクセス時のシー
クタイムの膨大を極力軽減することができる。
【0043】ところで、上記説明したように、挙動指示
“再配置”は、ディスクアクセス制御部12からの要求
メッセージのみならず操作員からのコマンド指示にも指
定できるようにした。これは、次の理由による。
“再配置”は、ディスクアクセス制御部12からの要求
メッセージのみならず操作員からのコマンド指示にも指
定できるようにした。これは、次の理由による。
【0044】基本的には、前述したようにディスクアク
セス制御部12からの要求メッセージに対応して障害発
生時に障害発生ディスク側に正常なデータを即座にコピ
ーすることが望ましい。いつでもディスク交換ができ、
また、バックアップできるからである。しかし、上記再
配置処理を実行すると、論理ボリューム管理テーブルの
全ディスク書込み処理が余計に発生するため、障害発生
に連動して再配置処理を常に実行することにすると再配
置データアクセス要求を発したアプリケーションの処理
速度に影響を及ぼしてしまう。そこで、本実施の形態で
は、ディスクアクセス制御部12からの要求に応じてリ
アルタイムに再配置処理を行うこと以外に、ディスクア
クセス制御部12からの要求には即座に応答せずに操作
員からの指示を待って再配置処理を行うこともできるよ
うにした。このため、本実施の形態では、再配置処理制
御管理部14を設けて再配置処理の実行タイミングを制
御できるようにした。なお、前述したように、環境設定
の際に操作員からコマンド指示によって再配置処理を行
うことを選択しておく必要がある。
セス制御部12からの要求メッセージに対応して障害発
生時に障害発生ディスク側に正常なデータを即座にコピ
ーすることが望ましい。いつでもディスク交換ができ、
また、バックアップできるからである。しかし、上記再
配置処理を実行すると、論理ボリューム管理テーブルの
全ディスク書込み処理が余計に発生するため、障害発生
に連動して再配置処理を常に実行することにすると再配
置データアクセス要求を発したアプリケーションの処理
速度に影響を及ぼしてしまう。そこで、本実施の形態で
は、ディスクアクセス制御部12からの要求に応じてリ
アルタイムに再配置処理を行うこと以外に、ディスクア
クセス制御部12からの要求には即座に応答せずに操作
員からの指示を待って再配置処理を行うこともできるよ
うにした。このため、本実施の形態では、再配置処理制
御管理部14を設けて再配置処理の実行タイミングを制
御できるようにした。なお、前述したように、環境設定
の際に操作員からコマンド指示によって再配置処理を行
うことを選択しておく必要がある。
【0045】この場合、ディスクアクセス制御部12か
らの要求メッセージは、再配置処理部13にそのまま渡
されるのではなく、再配置処理制御管理部14によって
メッセージキュー(図示せず)に蓄積されていく。そし
て、挙動指示として“再配置”が設定された操作員から
のコマンド指示があると、再配置処理制御管理部14
は、メッセージキューに一時保持しておいた再配置要求
メッセージを順次取り出し、処理要求メッセージ待ちの
再配置処理部13に送ることになる。このようにして、
操作員が所望するタイミングで再配置処理を実行するこ
とができる。なお、操作員からのコマンド指示待ちが設
定されているときに障害が発生すると、ミラー単位であ
る論理エクステント単位に切り離しが行われ、従来と同
様に縮退運転がされることになる。
らの要求メッセージは、再配置処理部13にそのまま渡
されるのではなく、再配置処理制御管理部14によって
メッセージキュー(図示せず)に蓄積されていく。そし
て、挙動指示として“再配置”が設定された操作員から
のコマンド指示があると、再配置処理制御管理部14
は、メッセージキューに一時保持しておいた再配置要求
メッセージを順次取り出し、処理要求メッセージ待ちの
再配置処理部13に送ることになる。このようにして、
操作員が所望するタイミングで再配置処理を実行するこ
とができる。なお、操作員からのコマンド指示待ちが設
定されているときに障害が発生すると、ミラー単位であ
る論理エクステント単位に切り離しが行われ、従来と同
様に縮退運転がされることになる。
【0046】次に、挙動指示として“一致”又は“エク
ステント指示”が指定されている場合について説明す
る。
ステント指示”が指定されている場合について説明す
る。
【0047】いずれかの挙動指示が要求メッセージに指
定されているということは、操作員からのコマンド指示
に基づくものであることは前述したとおりである。この
うち、“一致”は、ミラーディスクを構成する各ディス
ク4,5において同一データを格納するデータ物理エク
ステントの位置(物理エクステント番号)を一致させた
いときに使用する。具体的に言うと、例えば、ディスク
4の物理エクステントP−PE3に正常に書込みができ
たデータであってディスク5への書込み処理で障害を起
こして再配置エクステントM−RPE1へ書き込まれた
データを、ディスク4の物理エクステントP−PE3と
同一のディスク5における物理エクステント(この場合
は、M−PE3)に再配置する。上記再配置処理におい
ては、同一データ物理エクステントにデータ書込みをし
ようとして障害が発生したため再配置エクステントを利
用するようにした。その後、ディスク交換をすることに
よって当該データ物理エクステントが使用可能となった
場合、管理上、また再配置エクステントを解放する意味
でも各ディスク4,5に格納される同一データを同一物
理エクステントに配置することが望ましい。そこで、本
実施の形態では、このような復旧を可能とするために再
配置処理後にデータを各ディスク4,5において同一物
理エクステント番号に格納できるような機能を提供し
た。
定されているということは、操作員からのコマンド指示
に基づくものであることは前述したとおりである。この
うち、“一致”は、ミラーディスクを構成する各ディス
ク4,5において同一データを格納するデータ物理エク
ステントの位置(物理エクステント番号)を一致させた
いときに使用する。具体的に言うと、例えば、ディスク
4の物理エクステントP−PE3に正常に書込みができ
たデータであってディスク5への書込み処理で障害を起
こして再配置エクステントM−RPE1へ書き込まれた
データを、ディスク4の物理エクステントP−PE3と
同一のディスク5における物理エクステント(この場合
は、M−PE3)に再配置する。上記再配置処理におい
ては、同一データ物理エクステントにデータ書込みをし
ようとして障害が発生したため再配置エクステントを利
用するようにした。その後、ディスク交換をすることに
よって当該データ物理エクステントが使用可能となった
場合、管理上、また再配置エクステントを解放する意味
でも各ディスク4,5に格納される同一データを同一物
理エクステントに配置することが望ましい。そこで、本
実施の形態では、このような復旧を可能とするために再
配置処理後にデータを各ディスク4,5において同一物
理エクステント番号に格納できるような機能を提供し
た。
【0048】一方、“エクステント指示”は、データ格
納箇所を他の物理エクステントに移動させるという点で
“一致”と一致するが、“一致”はデータを正常に書込
みができた一方のディスクと同一データ物理エクステン
トへ書き戻すのに対して“エクステント指示”は操作員
に指定された物理エクステントへ移動させる点で異な
る。そのため、挙動指示として“エクステント指示”が
指定されるときには併せて移動先として割付物理エクス
テントをパラメータに明示する必要がある。“エクステ
ント指示”は、ディスク交換の有無に関係なく再配置エ
クステントを意識的に解放したいときなどに用いるのが
効果的である。
納箇所を他の物理エクステントに移動させるという点で
“一致”と一致するが、“一致”はデータを正常に書込
みができた一方のディスクと同一データ物理エクステン
トへ書き戻すのに対して“エクステント指示”は操作員
に指定された物理エクステントへ移動させる点で異な
る。そのため、挙動指示として“エクステント指示”が
指定されるときには併せて移動先として割付物理エクス
テントをパラメータに明示する必要がある。“エクステ
ント指示”は、ディスク交換の有無に関係なく再配置エ
クステントを意識的に解放したいときなどに用いるのが
効果的である。
【0049】再配置処理部13は、挙動指示として“一
致”が指定されたメッセージを受け取ると(ステップ2
02)、特定された処理対象となるディスクから論理ボ
リューム管理テーブル7を読み込む(ステップ20
3)。処理対象となるディスク、論理ボリューム及び論
理エクステントは、パラメータ指定されているので、再
配置先となるデータ物理エクステントを容易に特定でき
る(ステップ210)。すなわち、図6に示した例を利
用すると、パラメータにディスクがディスク5、論理ボ
リュームがLV1、論理エクステントがLE3と指定さ
れていた場合、エクステント対応テーブル10−2によ
ると再配置エクステントM−RPE1に格納されたデー
タは、本来、対応するディスク4において正常に格納さ
れている物理エクステントP−PE3に対応した位置、
すなわちM−PE3に格納されるデータであることがわ
かる。
致”が指定されたメッセージを受け取ると(ステップ2
02)、特定された処理対象となるディスクから論理ボ
リューム管理テーブル7を読み込む(ステップ20
3)。処理対象となるディスク、論理ボリューム及び論
理エクステントは、パラメータ指定されているので、再
配置先となるデータ物理エクステントを容易に特定でき
る(ステップ210)。すなわち、図6に示した例を利
用すると、パラメータにディスクがディスク5、論理ボ
リュームがLV1、論理エクステントがLE3と指定さ
れていた場合、エクステント対応テーブル10−2によ
ると再配置エクステントM−RPE1に格納されたデー
タは、本来、対応するディスク4において正常に格納さ
れている物理エクステントP−PE3に対応した位置、
すなわちM−PE3に格納されるデータであることがわ
かる。
【0050】取得できた物理エクステントが再配置エク
ステントでないことを確認した後(ステップ211,2
12)、再配置処理部13は、アクセス対象の論理ボリ
ュームに対し、ディスクアクセス制御部12との排他を
行う(ステップ218)。そして、再配置処理部13
は、再配置エクステントM−RPE1からデータを読み
込み(ステップ219)、データ物理エクステントM−
PE3にデータを書き込む(ステップ221)。これに
より、ミラーディスクを構成する各ディスク4,5にお
いて同一物理エクステントに同一データを格納すること
ができる。その後、再配置処理部13は、内部メモリに
ある論理ボリューム管理テーブルのエクステント対応テ
ーブルのディスク毎対応物理エクステントに“M−PE
3”を設定する(ステップ223)。なお、ステータス
は“正常”のままである。更に、再配置エクステントテ
ーブルにおいて更新前のディスク毎対応物理エクステン
ト“M−RPE1”における対応論理エクステント“L
E3”を初期化し、対応するフラグを“使用中”から
“未使用”に変更する(ステップ225)。そして、内
部メモリにおいて更新した論理ボリューム管理テーブル
を全ディスク4,5に書き込むことで全ディスク4,5
の論理ボリューム管理テーブル7の内容を同一にする。
その後、論理ボリュームの排他を解除した後(ステップ
228)、再度、処理要求待ちへ戻る(ステップ20
1)。
ステントでないことを確認した後(ステップ211,2
12)、再配置処理部13は、アクセス対象の論理ボリ
ュームに対し、ディスクアクセス制御部12との排他を
行う(ステップ218)。そして、再配置処理部13
は、再配置エクステントM−RPE1からデータを読み
込み(ステップ219)、データ物理エクステントM−
PE3にデータを書き込む(ステップ221)。これに
より、ミラーディスクを構成する各ディスク4,5にお
いて同一物理エクステントに同一データを格納すること
ができる。その後、再配置処理部13は、内部メモリに
ある論理ボリューム管理テーブルのエクステント対応テ
ーブルのディスク毎対応物理エクステントに“M−PE
3”を設定する(ステップ223)。なお、ステータス
は“正常”のままである。更に、再配置エクステントテ
ーブルにおいて更新前のディスク毎対応物理エクステン
ト“M−RPE1”における対応論理エクステント“L
E3”を初期化し、対応するフラグを“使用中”から
“未使用”に変更する(ステップ225)。そして、内
部メモリにおいて更新した論理ボリューム管理テーブル
を全ディスク4,5に書き込むことで全ディスク4,5
の論理ボリューム管理テーブル7の内容を同一にする。
その後、論理ボリュームの排他を解除した後(ステップ
228)、再度、処理要求待ちへ戻る(ステップ20
1)。
【0051】また、再配置処理部13は、挙動指示とし
て“エクステント指示”が指定されたメッセージを受け
取ると(ステップ202)、特定された処理対象となる
ディスクから論理ボリューム管理テーブル7を読み込む
(ステップ203)。そして、パラメータ指定された割
付物理エクステントを再配置先物理エクステントとする
(ステップ213)。その後の処理は、“一致”の場合
と基本的に同じであるため詳細な説明を省略するが、再
配置先となる物理エクステントが人為的に指定されてい
るので、当該再配置先となる物理エクステントが妥当で
あるかの確認をする。すなわち、当該物理エクステント
のステータスが“未割付”であることをエクステント対
応テーブル10によって使用可能であることを確認し
(ステップ214)、更に再配置エクステントテーブル
11を検索することによって当該再配置先となる物理エ
クステントが再配置エクステントであったときにはフラ
グを参照して使用中でないことを確認する必要がある
(ステップ216)。
て“エクステント指示”が指定されたメッセージを受け
取ると(ステップ202)、特定された処理対象となる
ディスクから論理ボリューム管理テーブル7を読み込む
(ステップ203)。そして、パラメータ指定された割
付物理エクステントを再配置先物理エクステントとする
(ステップ213)。その後の処理は、“一致”の場合
と基本的に同じであるため詳細な説明を省略するが、再
配置先となる物理エクステントが人為的に指定されてい
るので、当該再配置先となる物理エクステントが妥当で
あるかの確認をする。すなわち、当該物理エクステント
のステータスが“未割付”であることをエクステント対
応テーブル10によって使用可能であることを確認し
(ステップ214)、更に再配置エクステントテーブル
11を検索することによって当該再配置先となる物理エ
クステントが再配置エクステントであったときにはフラ
グを参照して使用中でないことを確認する必要がある
(ステップ216)。
【0052】なお、本実施の形態では、ミラーディスク
を2台で構成した場合で説明したが、ミラー側ディスク
を複数台と考えることで3台以上の場合でも容易に適用
できることはいうまもでない。
を2台で構成した場合で説明したが、ミラー側ディスク
を複数台と考えることで3台以上の場合でも容易に適用
できることはいうまもでない。
【0053】
【発明の効果】本発明によれば、書込み処理時に障害が
発生したデータを障害発生ディスク側の再配置エリア内
に格納するようにしたので、システム運転中に片方のデ
ィスクを切り離すことができる。これにより、ディスク
交換やディスクバックアップをシステム停止することな
く行うことができる。
発生したデータを障害発生ディスク側の再配置エリア内
に格納するようにしたので、システム運転中に片方のデ
ィスクを切り離すことができる。これにより、ディスク
交換やディスクバックアップをシステム停止することな
く行うことができる。
【0054】また、障害発生ディスク側に書き込むデー
タを正常に書込みができたディスク側から読み出すよう
にしたので、再配置処理を障害発生時以降でも非同期に
行うことができる。
タを正常に書込みができたディスク側から読み出すよう
にしたので、再配置処理を障害発生時以降でも非同期に
行うことができる。
【0055】また、再配置処理の実行タイミングを制御
できるようにしたので、再配置処理を障害発生時以外に
もオペレータの指示によって実行させることができる。
できるようにしたので、再配置処理を障害発生時以外に
もオペレータの指示によって実行させることができる。
【0056】また、再配置エクステントに書き込まれた
データを、オペレータの指示に従い正常に書き込みでき
たディスク側と同一物理エクステントに書き戻すことが
できる機能を設けたので、再配置エクステントを解放す
ることができるとともに障害ディスク復旧後に本来のミ
ラー関係に復旧することができる。
データを、オペレータの指示に従い正常に書き込みでき
たディスク側と同一物理エクステントに書き戻すことが
できる機能を設けたので、再配置エクステントを解放す
ることができるとともに障害ディスク復旧後に本来のミ
ラー関係に復旧することができる。
【0057】また、再配置エクステントに書き込まれた
データをオペレータに指定された物理エクステントに移
動できる機能を設けたので、再配置エクステントを解放
することができる。
データをオペレータに指定された物理エクステントに移
動できる機能を設けたので、再配置エクステントを解放
することができる。
【0058】また、再配置エクステントエリアを論理ボ
リューム内にデータを格納する物理エクステントエリア
に隣接配置することができるので、物理エクステントの
再配置に伴うアクセス時のシークタイムの膨大を極力軽
減することができる。
リューム内にデータを格納する物理エクステントエリア
に隣接配置することができるので、物理エクステントの
再配置に伴うアクセス時のシークタイムの膨大を極力軽
減することができる。
【図1】 本発明に係るミラーディスク装置の一実施の
形態を搭載したシステム全体の構成図である。
形態を搭載したシステム全体の構成図である。
【図2】 本実施の形態におけるミラーディスク制御装
置の構成図である。
置の構成図である。
【図3】 本実施の形態におけるディスクアクセス制御
部が行うミラーディスク制御処理を示したフローチャー
トである。
部が行うミラーディスク制御処理を示したフローチャー
トである。
【図4】 本実施の形態における再配置処理部が行う再
配置処理を示したフローチャートである。
配置処理を示したフローチャートである。
【図5】 図4の続きのフローチャートである。
【図6】 本実施の形態において障害が発生したことに
より更新される各テーブルの内容の例を示した図であ
る。
より更新される各テーブルの内容の例を示した図であ
る。
1,2 サーバ、3 ミラーディスク制御装置、4,5
ディスク、6 論理ボリューム(LV)、7 論理ボ
リューム管理テーブル、8 データエクステントエリ
ア、9 再配置エクステントエリア、10 論理・物理
エクステント対応管理テーブル、11 再配置エクステ
ントテーブル、12 ディスクアクセス制御部、13
再配置処理部、14 再配置処理制御管理部。
ディスク、6 論理ボリューム(LV)、7 論理ボ
リューム管理テーブル、8 データエクステントエリ
ア、9 再配置エクステントエリア、10 論理・物理
エクステント対応管理テーブル、11 再配置エクステ
ントテーブル、12 ディスクアクセス制御部、13
再配置処理部、14 再配置処理制御管理部。
Claims (7)
- 【請求項1】 ディスクに確保される論理ボリューム単
位でミラーディスク管理を行うミラーディスク制御装置
において、一方のディスクへのデータ書込み時に障害が
発生した場合、当該データの書込み箇所を障害発生箇所
に代えて論理ボリューム毎に予め用意した再配置用エリ
ア内にミラー管理単位で再配置することで、障害が発生
したディスク側のデータを復旧させることを特徴とする
ミラーディスク制御装置。 - 【請求項2】 ミラーディスクを構成する各ディスクに
対して、生成した1乃至複数の論理ボリュームの割付単
位でありかつミラー管理単位である論理エクステント単
位にデータアクセスをするミラーディスク制御装置にお
いて、 論理ボリューム毎に当該ディスク内に予め設けられた再
配置エクステントエリアと、 論理エクステントと前記各ディスク上の物理エクステン
トとの対応づけを論理ボリューム毎に保持するエクステ
ント対応管理情報記憶手段と、 前記再配置エクステントエリアに含まれる各再配置物理
エクステントの使用状態を保持する再配置エクステント
管理情報記憶手段と、 前記ミラーディスクへのアクセス制御を行うディスクア
クセス制御手段と、 データを書き込む物理エクステントの再配置を行う再配
置処理手段と、 を有し、 前記再配置処理手段は、データ書込みに障害が発生した
ディスクへのデータ書込み箇所を、障害発生箇所に代え
て前記再配置エクステントエリア内にミラー管理単位で
再配置する再配置処理を実行することで、障害が発生し
たディスク側のデータを復旧させることを特徴とするミ
ラーディスク制御装置。 - 【請求項3】 前記再配置処理手段は、復旧すべきデー
タをデータ書込みが正常にできたディスクから読み出し
て障害が発生したディスク側の該当する再配置エクステ
ントに書き込むことを特徴とする請求項2記載のミラー
ディスク制御装置。 - 【請求項4】 前記再配置処理手段による再配置処理の
実行タイミングを制御する再配置処理制御管理手段を有
し、再配置処理を障害発生時又はオペレータからの指示
によって選択的に行うことを特徴とする請求項2記載の
ミラーディスク制御装置。 - 【請求項5】 前記再配置処理手段は、オペレータから
の指示に応じて再配置エクステントに割り当てられてい
たデータを、当該データが格納されている論理ボリュー
ム内であって当該データの書込みが正常にできた他方の
ディスクにおける当該データの物理エクステントと同一
位置に再配置することを特徴とする請求項2記載のミラ
ーディスク制御装置。 - 【請求項6】 前記再配置処理手段は、オペレータから
の指示に応じて再配置エクステントに割り当てられてい
たデータを、当該データが格納されている論理ボリュー
ム内のオペレータにより指定された物理エクステント位
置に再配置することを特徴とする請求項2記載のミラー
ディスク制御装置。 - 【請求項7】 前記再配置エクステントエリアは、対応
する論理ボリューム内に設けられることを特徴とする請
求項2記載のミラーディスク制御装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP27506799A JP3614328B2 (ja) | 1999-09-28 | 1999-09-28 | ミラーディスク制御装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP27506799A JP3614328B2 (ja) | 1999-09-28 | 1999-09-28 | ミラーディスク制御装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001100930A true JP2001100930A (ja) | 2001-04-13 |
JP3614328B2 JP3614328B2 (ja) | 2005-01-26 |
Family
ID=17550389
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP27506799A Expired - Fee Related JP3614328B2 (ja) | 1999-09-28 | 1999-09-28 | ミラーディスク制御装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3614328B2 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007226596A (ja) * | 2006-02-24 | 2007-09-06 | Hitachi Ltd | 記憶制御装置及び記憶制御装置を用いたデータマイグレーション方法 |
JP2008165819A (ja) * | 2008-01-30 | 2008-07-17 | Hitachi Ltd | 記憶デバイス制御装置の制御方法、記憶デバイス制御装置、及びプログラム |
JP2009217700A (ja) * | 2008-03-12 | 2009-09-24 | Toshiba Corp | ディスクアレイ装置及び物理配置最適化方法 |
JP2009251972A (ja) * | 2008-04-07 | 2009-10-29 | Nec Corp | ストレージシステム |
US7962712B2 (en) | 2002-12-18 | 2011-06-14 | Hitachi, Ltd. | Method for controlling storage device controller, storage device controller, and program |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02163816A (ja) * | 1988-12-16 | 1990-06-25 | Matsushita Electric Ind Co Ltd | 情報記録方法と情報記録媒体 |
JPH05189168A (ja) * | 1992-01-14 | 1993-07-30 | Nec Corp | 障害トラック自動復旧方式 |
JPH05307445A (ja) * | 1990-05-11 | 1993-11-19 | Internatl Business Mach Corp <Ibm> | データ処理システムにおけるミラー化された一対のデータ記憶ユニットの状態を決定する方法及び装置 |
JPH0695942A (ja) * | 1992-09-11 | 1994-04-08 | Sharp Corp | 二重ファイル化機能を有するコンピュータ装置 |
JPH10133926A (ja) * | 1996-10-31 | 1998-05-22 | Oki Electric Ind Co Ltd | ミラー化ディスク復旧方法と復旧システム |
JPH10301721A (ja) * | 1997-04-28 | 1998-11-13 | Internatl Business Mach Corp <Ibm> | 情報記憶媒体の欠陥セクタ処理方法及び情報記憶再生装置 |
JPH10312327A (ja) * | 1997-05-13 | 1998-11-24 | Oki Electric Ind Co Ltd | ミラーリング監視方式 |
JPH1124848A (ja) * | 1997-07-03 | 1999-01-29 | Hitachi Ltd | ディスクアレイの障害領域交代処理方法およびディスクアレイ装置 |
-
1999
- 1999-09-28 JP JP27506799A patent/JP3614328B2/ja not_active Expired - Fee Related
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02163816A (ja) * | 1988-12-16 | 1990-06-25 | Matsushita Electric Ind Co Ltd | 情報記録方法と情報記録媒体 |
JPH05307445A (ja) * | 1990-05-11 | 1993-11-19 | Internatl Business Mach Corp <Ibm> | データ処理システムにおけるミラー化された一対のデータ記憶ユニットの状態を決定する方法及び装置 |
JPH05189168A (ja) * | 1992-01-14 | 1993-07-30 | Nec Corp | 障害トラック自動復旧方式 |
JPH0695942A (ja) * | 1992-09-11 | 1994-04-08 | Sharp Corp | 二重ファイル化機能を有するコンピュータ装置 |
JPH10133926A (ja) * | 1996-10-31 | 1998-05-22 | Oki Electric Ind Co Ltd | ミラー化ディスク復旧方法と復旧システム |
JPH10301721A (ja) * | 1997-04-28 | 1998-11-13 | Internatl Business Mach Corp <Ibm> | 情報記憶媒体の欠陥セクタ処理方法及び情報記憶再生装置 |
JPH10312327A (ja) * | 1997-05-13 | 1998-11-24 | Oki Electric Ind Co Ltd | ミラーリング監視方式 |
JPH1124848A (ja) * | 1997-07-03 | 1999-01-29 | Hitachi Ltd | ディスクアレイの障害領域交代処理方法およびディスクアレイ装置 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7962712B2 (en) | 2002-12-18 | 2011-06-14 | Hitachi, Ltd. | Method for controlling storage device controller, storage device controller, and program |
JP2007226596A (ja) * | 2006-02-24 | 2007-09-06 | Hitachi Ltd | 記憶制御装置及び記憶制御装置を用いたデータマイグレーション方法 |
JP2008165819A (ja) * | 2008-01-30 | 2008-07-17 | Hitachi Ltd | 記憶デバイス制御装置の制御方法、記憶デバイス制御装置、及びプログラム |
JP4620134B2 (ja) * | 2008-01-30 | 2011-01-26 | 株式会社日立製作所 | 記憶デバイス制御装置の制御方法及び記憶デバイス制御装置 |
JP2009217700A (ja) * | 2008-03-12 | 2009-09-24 | Toshiba Corp | ディスクアレイ装置及び物理配置最適化方法 |
JP2009251972A (ja) * | 2008-04-07 | 2009-10-29 | Nec Corp | ストレージシステム |
Also Published As
Publication number | Publication date |
---|---|
JP3614328B2 (ja) | 2005-01-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7971011B2 (en) | Remote copy method and storage system | |
JP3992427B2 (ja) | ファイルシステム | |
US6968425B2 (en) | Computer systems, disk systems, and method for controlling disk cache | |
US6003114A (en) | Caching system and method providing aggressive prefetch | |
US7669022B2 (en) | Computer system and data management method using a storage extent for backup processing | |
US7519625B2 (en) | Snapshot management apparatus and method, and storage system | |
US6950915B2 (en) | Data storage subsystem | |
US9058305B2 (en) | Remote copy method and remote copy system | |
US7412578B2 (en) | Snapshot creating method and apparatus | |
US6341341B1 (en) | System and method for disk control with snapshot feature including read-write snapshot half | |
US7337351B2 (en) | Disk mirror architecture for database appliance with locally balanced regeneration | |
JP4809040B2 (ja) | ストレージ装置及びスナップショットのリストア方法 | |
US6275897B1 (en) | Remote cache utilization for mirrored mass storage subsystem | |
US20060047926A1 (en) | Managing multiple snapshot copies of data | |
JP2002244817A (ja) | ミラーリング・エージェント | |
US11709780B2 (en) | Methods for managing storage systems with dual-port solid-state disks accessible by multiple hosts and devices thereof | |
JP2006227964A (ja) | ストレージシステム、処理方法及びプログラム | |
JP4394467B2 (ja) | ストレージシステム、サーバ装置及び先行コピーデータ生成方法 | |
JP2001100930A (ja) | ミラーディスク制御装置 | |
JPH0635802A (ja) | 複数キャッシュ付きディスク制御装置 | |
US20050223180A1 (en) | Accelerating the execution of I/O operations in a storage system | |
US11789613B2 (en) | Storage system and data processing method | |
JP2005301769A (ja) | データ多重化制御装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041026 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041026 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |