JP2003208267A - クラスタ型ディスク制御装置および負荷分散方法 - Google Patents
クラスタ型ディスク制御装置および負荷分散方法Info
- Publication number
- JP2003208267A JP2003208267A JP2002002936A JP2002002936A JP2003208267A JP 2003208267 A JP2003208267 A JP 2003208267A JP 2002002936 A JP2002002936 A JP 2002002936A JP 2002002936 A JP2002002936 A JP 2002002936A JP 2003208267 A JP2003208267 A JP 2003208267A
- Authority
- JP
- Japan
- Prior art keywords
- control unit
- channel control
- disk
- channel
- access request
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0629—Configuration or reconfiguration of storage systems
- G06F3/0635—Configuration or reconfiguration of storage systems by changing the path, e.g. traffic rerouting, path reconfiguration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/061—Improving I/O performance
- G06F3/0613—Improving I/O performance in relation to throughput
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0683—Plurality of storage devices
- G06F3/0689—Disk arrays, e.g. RAID, JBOD
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2206/00—Indexing scheme related to dedicated interfaces for computers
- G06F2206/10—Indexing scheme related to storage interfaces for computers, indexing schema related to group G06F3/06
- G06F2206/1012—Load balancing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Memory System Of A Hierarchy Structure (AREA)
- Multi Processors (AREA)
Abstract
て、内部のディスク制御装置間で負荷分散する。 【解決手段】 クラスタ型ディスクサブシステムにおい
て、内部にホストコンピュータからの要求の転送先を変
更可能とするテーブルを備えたスイッチを有し、高負荷
・障害など宛先チャネルの状態に応じてアクセス要求を
他のチャネルに転送し、受信したチャネルが代行して要
求処理を行うようにした。 【効果】 ホスト側に特別なハードウェア/ソフトウェ
アを使用することなく、チャネル間やディスク制御装置
間の負荷分散やフェイルオーバが可能である。この結
果、ホストコンピュータのアクセス要求が特定のチャネ
ルやディスク制御装置に集中した場合でも性能を引き出
すことが可能である。
Description
気ディスク装置に格納するディスクサブシステムに関
し、特にクラスタ型ディスク制御装置とその負荷分散方
法に関する。
ブと呼ぶ)に対するデータの格納および読み出しを行う
ディスク制御装置(以下DKCと呼ぶ)があり、ドライ
ブとDKCとをあわせてディスクサブシステムと総称さ
れている。ディスクサブシステムに対する要求の1つと
して記憶容量の増大および管理コストの削減とがある。
1台のDKCで管理可能なドライブの容量には限界があ
るため、複数のディスクサブシステムを用意して記憶容
量を増加する。すると、その管理に必要となる管理コス
トも同様に増大するのである。そこで、従来サーバ毎に
接続されこの結果分散配置されていたディスクサブシス
テムの集中化を図るべくストレージエリアネットワーク
(以下SANと呼ぶ)が注目されている。図2には、S
AN環境におけるディスクサブシステムの典型例を示
す。複数台のディスクサブシステム1がSANスイッチ
39を介してホストコンピュータ0に接続される。1つ
のディスクサブシステムは1台のディスク制御装置10
のみから構成されていて、チャネル2を介してSANス
イッチ39と接続されている。論理ディスク7は、ホス
トコンピュータ0が認識する記憶領域である。ホストコ
ンピュータ0は、SANスイッチ39とチャネル2を介
して論理ディスク7の特定のアドレスに対してデータの
参照、更新要求を指示する。チャネル2としては、ファ
イバチャネル、SCSIなどがある。ディスク制御装置
10と複数台のドライブ17は、ドライブIF16で接
続される。ドライブIF16には、ファイバチャネル、
SCSIなどが用いられる。DKC10は、大きくは、
チャネルの制御を行うチャネル制御部11、ドライブの
制御を行うディスク制御部14、DKCの制御情報3を
格納する制御メモリ部12、キャッシュデータ5を保持
するキャッシュメモリ部13、さらに、各構成部品を相
互に接続する結合機構15から構成される。結合機構1
5は、バス、相互結合網などが用いられる。ディスク制
御装置10は、ホストコンピュータ0の指示に従い、デ
ータの参照、更新処理を行う。一方、SAN環境におい
ては、ホストコンピュータは、アクセス対象とするデー
タがどのディスクサブシステムに存在しているかを知ら
なければデータにアクセスできない。したがって、ユー
ザがデータの所在を管理せねばならないという問題があ
る。特開平2000−99281号公報には、従来1台
のDKCから構成していたディスクサブシステムを、S
ANスイッチを介さずに複数台のDKCでクラスタ構成
して記憶容量と接続チャネル数を増大したディスクサブ
システムが開示されている。クラスタ型ディスクサブシ
ステムは、1台のディスクサブシステムとして管理が可
能なので管理コストも削減できる。図3には、クラスタ
型ディスクサブシステムの構成例を示す。図3のディス
クサブシステムでは、複数のDKC10間にディスク制
御装置間接続手段20を設けることによりDKC間での
相互データアクセスを可能としている。これにより複数
のディスク制御装置間でのデータの共有が可能になる。
のクラスタ構成のディスクサブシステムにおいては、内
部のDKC間で負荷に偏りが生じた場合に負荷を分散す
ることができず、内部DKC間で同等の性能を引き出す
ことができない。ホストコンピュータからのアクセス要
求が特定DKCに集中した場合、別のDKCの稼働率が
低い場合においても、ホストコンピュータが指定した要
求先DKCが処理を実行するので、要求先として特定D
KCによってしか処理が実行されないため負荷に偏りが
生じるのである。
には、そのチャネル制御部に接続されているチャネルは
使用不可能になってしまう。ホストコンピュータが指定
したチャネルのみを経由してディスク制御装置にアクセ
スするためである。
サブシステムの内部にチャネル−DKC間スイッチを設
け、更にチャネル−DKC間スイッチにホストコンピュ
ータからのアクセス要求をどのチャネル制御部に転送す
るかの情報を保持する分配テーブルを設け、分配テーブ
ルに基づいて要求を転送するようにした。
ッサ(SVP)を設けて分配テーブルを書き換えること
により、装置負荷や障害状況に基づきチャネル−DKC
間スイッチがホストコンピュータのアクセス要求を適当
なチャネル制御部に転送できるようにした。
を説明する。
ィスク制御装置について説明する。図1は、本発明に係
わるディスク制御装置の概要を示すブロック図の一例で
ある。ディスクサブシステム1は複数台のDKC10と
チャネル−DKC間スイッチ30と複数のドライブによ
り構成する。ディスクサブシステム1は、複数のチャネ
ル2を介して、複数のホストコンピュータ0に接続す
る。チャネル−DKC間スイッチ30はホストコンピュ
ータ0からの要求を分配テーブル31に基づいて該当D
KC10に転送する。各DKC10は、各DKC10の
間を接続するディスク制御装置間接続手段20を介し
て、他のDKCに接続したドライブ17に格納した格納
データ4を参照、更新できる。本発明では、特に、ホス
トコンピュータ0からのアクセス要求をチャネル−DK
C間スイッチ30が受信し、アクセス要求の宛先と分配
テーブル31に基づいて、該当アクセス要求を該当DK
C10のチャネル制御部11に転送することに特徴があ
る。
用語の定義を行う。本発明では、ホストコンピュータ0
からのアクセス要求の宛先となるDKC10のチャネル
制御部11を宛先チャネル制御部と呼ぶ。チャネル−D
KC間スイッチ30の転送先変更により該当アクセス要
求を受信したチャネル制御部11を要求受信チャネル制
御部または代行チャネル制御部と呼ぶ。代行チャネル制
御部が、該当アクセス要求に対する処理を行うことを代
行と呼び、その処理を代行処理と呼ぶ。また、代行チャ
ネル制御部が代行を途中段階で中断し、他のチャネル制
御部が継続して処理を行うことを引継ぎと呼び、その処
理を引継ぎ処理と呼ぶ。また、代行チャネル制御部がア
クセス要求に対する処理を全て行うことを完全代行と呼
び、その処理を完全代行処理と呼ぶ。
大きくは、複数台のDKC10と、ドライブ17、チャ
ネル−DKC間スイッチ30から構成する。DKC10
の詳細は2台のみ詳細に示しているが、各DKC10の
各々の構成は同一である。DKC10は、大きくは、チ
ャネルの制御を行うチャネル制御部11、ドライブの制
御を行うディスク制御部14、DKC10の制御情報3
を格納する制御メモリ部12、ドライブ17のデータを
一時的にキャッシュデータ5として保持するキャッシュ
メモリ部13、さらに、各構成部品を相互に接続する結
合機構15から構成する。チャネル制御部11は、単独
のチャネル制御部に複数のチャネルを持つ構成でもよ
い。しかし以降の説明では、簡単化のため、1つのチャ
ネル制御部11は1つのチャネル2のみを持つ場合を示
す。このため、後述するチャネル制御部の識別子とチャ
ネルの識別子は一致している。制御メモリ部12は、キ
ャッシュメモリ部13内データのディレクトリ情報も格
納されており、各キャッシュメモリ部13に要求データ
が存在するかどうかを確認できる。また、制御メモリ部
12は装置構成情報も格納しており、アクセス要求先の
アドレスにより、アクセス要求先のディスク制御装置番
号とドライブ番号を識別できる。図示はしていないが、
チャネル制御部11やディスク制御部14は、制御用の
プロセサを備え、プロセサ上で処理プログラムが動作す
る。チャネル−DKC間スイッチ30は、分配テーブル
31を備える。図4は、図1におけるチャネル−DKC
間スイッチ30の構成とチャネル−DKC間スイッチに
備えた分配テーブル31に格納する情報の一例を示した
ブロック図である。チャネル−DKC間スイッチは、ホ
ストコンピュータ0とチャネルを介して接続するホスト
コンピュータ側入出力部301と、DKCに接続するD
KC側入出力部302を備える。ホストコンピュータ側
入出力部301は複数のホスト側ポート3011を、D
KC側入出力部302は複数のDKC側ポート3021
を備える。これらが相互結合網303を介して接続され
ており、任意のホスト側ポート3011と任意のDKC
側ポート3021でデータ転送が可能となる。一般にポ
ートはそれぞれに識別子をもつ。例えばインターネット
プロトコルならばMACアドレス、ファイバチャネルプ
ロトコルならばWWNである。ここでは一般化のため、
番号として表記し、各々のチャネル制御部の識別子をチ
ャネル制御部番号、ホストコンピュータの識別子をホス
トコンピュータ番号などとする。チャネル−DKC間ス
イッチ30は、DKC側から来たデータに関してはホス
トコンピュータ−ポート番号変換テーブル32に基づき
該当するDKC側ポートが該当するホスト側ポートに転
送する。ホストコンピュータ側から来たデータ(アクセ
ス要求)に関しては分配テーブル31に基づき転送を行
う。
からのアクセス要求の宛先チャネル制御部とその要求を
転送するDKC側ポート番号の対応情報を保持する。本
実施例では、ホストコンピュータからのアクセス要求を
宛先チャネル制御部に対応する転送先DKC側ポート番
号の要素が0の場合は、その転送先DKC側ポート30
21には該当する宛先の要求を転送せず、それ以外の場
合には、宛先が該当チャネル制御部番号の要求を転送す
るDKC側ポート3021の候補となる。ここでは、要
素上段のように転送先候補のものを1とするものや、要
素下段のようにそれぞれが選択される確率を示すもので
もよい。前者の方法では、複数の転送先が1の場合は、
ラウンドロビンなどの方法で転送先のチャネル制御部を
選択する。後者の方法については、図25を用いて後述
する。本実施例図4で示した分配テーブル31の要素
は、チャネル制御部番号3のチャネル制御部は障害下に
あり、チャネル制御部番号1のチャネル制御部は高負荷
状態にある場合の例である。分配テーブル31の宛先チ
ャネル制御部番号が3の列は、障害下にあるチャネル制
御部番号3のチャネル制御部に代わってチャネル制御部
番号5のチャネル制御部がアクセス要求を処理すること
を示している。また、宛先チャネル制御部番号が1の列
は、チャネル制御部番号4が高負荷状態にあるチャネル
制御部番号1の宛先の要求を半分の割合で処理すること
を示している。分配テーブル31は1つの宛先に対して
複数の転送先を設定可能な点が特徴である。分配テーブ
ル31を用いることにより、要求を本来の宛先チャネル
制御部から他のチャネル制御部に割り振ることが可能に
なりチャネル制御部11の負荷分散や障害処理が可能に
なる。
に備えられた代行レベルテーブル113に格納する情報
の一例を示したブロック図である。チャネル制御部は制
御プロセッサ110を有し、制御プロセッサ部110は
ホスト要求処理部111とモニタ機構部112を備え
る。ホスト要求処理部111により、チャネル制御部1
1が受領したホストコンピュータのアクセス要求を処理
する。またモニタ機構部112により、SVP40にチ
ャネル制御部11の状態を報告する。本実施例では、チ
ャネル制御部11に代行レベルテーブル113を備えて
いるが、該代行レベルテーブルは、制御メモリ部12に
備えても良い。
ル制御部に代わりに、要求を受信したチャネル制御部が
どの段階まで処理を行うかの段階を示す代行レベル情報
を保持する。例えば、チャネル制御部11のキャッシュ
ミス時のリード要求は、コマンド解析(段階1)、キャ
ッシュヒット判定(段階2)、キャッシュにドライブの
データを格納するステージング処理をディスク制御部に
要求(段階3)、ステージング処理終了判定(段階
4)、データ転送(段階5)となるとする。本実施例の
代行レベルテーブル113では、該当チャネル制御部が
チャネル制御部番号4に対するリード要求に関しては段
階2、つまり、キャッシュヒット判定までの処理を行
い、段階3以降の処理はチャネル制御部番号4のチャネ
ル制御部が行う。また、チャネル制御部番号6に対する
アクセス要求に関しては該当チャネル制御部が段階1か
ら段階5までの全ての処理を行う(完全代行)。本実施
例では、リード/ライトアクセスに対する代行レベルを
分けているが、リードおよびライトアクセスに対して同
一の代行レベルとなるような代行レベルテーブルとして
も良い。
えた代行処理情報124に格納する情報の一例を示した
ブロック図である。制御メモリ12は、制御情報12
1、ディレクトリ情報122、装置構成情報123、代
行処理情報124を有する。制御情報121は、装置制
御に用いる情報が格納されており、例えば、チャネル制
御部11がディスク制御部14にデータのステージング
処理を依頼するなどに用いる。ディレクトリ情報122
は、データの存在する装置の対応を示す。装置構成情報
123は、各部の存在や容量などの情報を保持してい
る。次に、代行処理情報124について説明する。
する情報であり、ジョブ番号1241、要求ホスト12
42、要求宛先1243、コマンド内容1244、処理
段階1245、データ存在アドレス1246を有する。
ジョブ番号1241は、アクセス要求処理に対する識別
番号で、ディスク制御部に対するデータ転送を依頼など
に用いる。要求ホスト1242はアクセス要求をしたホ
ストコンピュータ0の識別子である。要求宛先1243
は該当ホストコンピュータ0が発行した要求の本来の宛
先チャネル制御部識別子である。要求宛先1243を参
照することにより、該当要求宛先以外のチャネル制御部
が該当要求宛先のチャネル制御部から要求に対する応答
を返したような情報を応答に記載することが可能にな
る。コマンド内容1244は、要求を受領したチャネル
制御部行った要求の解析結果が、リード、ライト等どの
コマンドであるかをあらわす情報である。処理段階12
45は、要求が受領したチャネル制御部がどの段階まで
の処理を行ったかを示す情報である。処理段階1245
には、キャッシュヒット/ミス等の処理の進行に関する
情報も含む。データ存在アドレス1246は代行した処
理段階で得られたデータが存在するアドレスを示す。
理情報124を格納しているが、代行処理情報124を
チャネル制御部間でメッセージとして伝達してもよい。
である。SVP40は制御プロセッサ400、負荷情報
テーブル401、チャネル制御部−ポート番号変換テー
ブル402、ポート番号−チャネル制御部変換テーブル
403、装置管理インタフェース部404を有する。制
御プロセッサ400は障害監視部4001、負荷監視部
4002、テーブル指示部4003、ローカルメモリ4
004を有する。障害監視部4001は、ディスクサブ
システム1各部の定期的なアクセスや各部からの報告を
受ける機能を行う部位であり、ディスクサブシステム1
各部の障害情報を管理する。負荷監視部4002は、デ
ィスクサブシステム1各部の負荷率を各部からの報告を
受けることにより計測する機能で、各部の負荷状況を管
理する。テーブル指示部4003は、分配テーブル31
または代行レベルテーブル113を変更する機能を持
つ。ローカルメモリ4004は負荷率順にソートした結
果を収容するなど、一連の手続きで必要となる一時的な
情報を格納する。装置管理インタフェース部404は、
装置管理者が装置設定を行う場合や装置状態を確認する
場合の入出力インタフェースである。負荷情報テーブル
401は、負荷監視部4002により得られた各チャネ
ル制御部の負荷率を格納する。負荷情報テーブル401
を参照し、各チャネル制御部を負荷率順でソートするこ
となどが可能となる。チャネル制御部−ポート番号変換
テーブル402とポート番号−チャネル制御部変換テー
ブル403は、チャネル制御部11番号とDKC側ポー
ト3021番号の対応情報を保持する。これらにより、
後述するSVP40による分配テーブル31の更新が、
チャネル制御部11番号とDKC側ポート3021番号
の関係がどのような場合であっても可能となる。
新を行う場合、チャネル制御部−ポート番号変換テーブ
ル402やポート番号−チャネル制御部変換テーブル4
03に照らし合わせ、実際のチャネル制御部番号に対応
するDKC側ポート番号を知る。以降では簡単化のた
め、SVPはチャネル制御部番号に対応するDKC側ポ
ート番号を予め知っているものとして「該当転送先チャ
ネル制御部の行」等の記述を用いる。
チャネル制御部−ポート番号変換テーブル402、ポー
ト番号−チャネル制御部変換テーブル403をSVP4
0に格納したが、制御メモリ部12やチャネル−DKC
間スイッチ30に格納しても良い。
よびSVP40の制御方法を説明する。この制御方法
は、チャネル制御部が負荷の高い状態や障害状態にある
場合、チャネル−DKC間スイッチ30によりアクセス
要求が該当チャネル制御部とは別のチャネル制御部に転
送して負荷分散およびフェイルオーバを可能にするもの
である。本発明の制御方法の形態は大きく2つある。ア
クセス要求を受信したチャネル制御部が処理をすべて行
う完全代行の形態と、アクセス要求を受信したチャネル
制御部が途中段階まで処理を行い(代行)その後該当ア
クセス要求の本来の宛先であるチャネル制御部が該当処
理を継続し該当アクセス要求処理を完了する(引継ぎ)
代行引継ぎの形態である。この2つの形態ごとに、リー
ド・ライト要求に対するチャネル制御部11の制御方
法、チャネル制御部障害発生時および障害回復時のSV
P40の制御方法、チャネル制御部間の負荷に偏りが生
じた場合のSVP40の制御方法を説明する。なお、こ
こでは分配テーブル31の実施形態として、分配テーブ
ルの要素が転送先候補とするか否かの2値とした場合と
転送先とする確率を示した場合とがある。SVP40の
それぞれの制御方法では分配テーブルの各実施形態につ
いての説明を行う。
7はリードアクセス要求に、図8はライトアクセス要求
に対するチャネル制御部11の制御方法を示す流れ図で
ある。この方法で制御するチャネル制御部を備える装置
で、SVP40が分配テーブル31を変更することによ
りチャネル制御部の障害を回避する制御方法を流れ図で
示したものが図9である。同様に該当チャネル制御部が
障害から回復した場合のSVPの制御方法を流れ図で示
したものが図10である。また、チャネル制御部間の負
荷に偏りが生じた場合に、分配テーブル31を変更し高
い負荷状態にあるチャネル制御部に転送するアクセス要
求の割合を減らすことにより負荷分散するSVPの制御
方法を図11に示す。図9、図10、図11はいずれも
分配テーブルの要素が転送先候補とするか否かの2値で
示す場合の実施例であり、分配テーブルの要素を転送先
とする確率を示す場合の対応する実施例は図14、図1
3、図12に示す。
示す流れ図である。リード要求を受領すると、受信要求
から、本来の要求宛先のチャネル制御部とコマンドとア
クセス先アドレスを解析し、リードアクセスであること
を認識する(ステップ1)。アクセス先アドレスは、制
御メモリ部12の装置構成情報123を参照すること
で、アクセス要求先のディスク制御装置番号とドライブ
番号を識別できる。次に、ステップ1で識別した当該D
KCのキャッシュに対してキャッシュヒットミス判定を
行う(ステップ2)。制御メモリ部12のディレクトリ
情報122を参照することで、アクセス先データがキャ
ッシュに保持されているかを識別可能である。キャッシ
ュに保持しているか判定し(ステップ3)、キャッシュ
に保持していないキャッシュミスの場合は、当該DKC
のディスク制御部対して当該データのドライブからキャ
ッシュへの転送依頼を行う(ステップ5)。通常この処
理はステージング処理と呼ばれる。この場合転送終了ま
でリード処理を中断し(ステップ6)、ステージング終
了後、再びリード処理を継続することになる。また、転
送先のキャッシュアドレスは、キャッシュの空きリスト
など一般的な方法で管理、取得すればよいが、転送先ア
ドレスをディレクトリ情報122を更新することで登録
する必要がある。ステップ3でヒット判定の場合、また
は、ステップ7でステージング処理が終了した場合は、
ホストコンピュータに対して当該データを転送する(ス
テップ4)。ステップ4の際、処理を行ったチャネル制
御部がホストコンピュータのアクセス要求の宛先と異な
っていても、該当チャネル制御部と異なる本来の宛先チ
ャネル制御部の識別子を応答データの発信元として応答
データに付与し、本来の宛先チャネル制御部が応答した
とするようにデータを転送する。この点が本実施例の特
徴である。図8は、ライト要求受信時の処理の一例を示
す流れ図である。ライト要求を受領すると、受信要求か
ら、本来の要求宛先のチャネル制御部とコマンドとアク
セス先アドレスを解析し、ライトコマンドであると認識
する(ステップ1)。アクセス先アドレスは、制御メモ
リ部12の装置構成情報123を参照することで、アク
セス要求先のディスク制御装置番号とドライブ番号を識
別できる。次に、ステップ1で識別した当該DKCのキ
ャッシュに対してキャッシュヒットミス判定を行う(ス
テップ2)。制御メモリ部12のディレクトリ情報12
2を参照することで、アクセス先データがキャッシュに
保持されているかを識別可能である。キャッシュに保持
していないキャッシュミスの場合は、当該DKCのディ
スク制御部対して当該データのドライブからキャッシュ
への転送依頼を行う(ステップ6)。通常この処理はス
テージング処理と呼ばれる。この場合転送終了までライ
ト処理を中断し(ステップ7)、ステージング終了後、
再びライト処理を継続することになる。また、転送先の
キャッシュアドレスは、キャッシュの空きリストなど一
般的な方法で管理、取得すればよいが、転送先アドレス
をディレクトリ情報122を更新することで登録する必
要がある。ステップ3でヒット判定の場合、または、ス
テップ7でステージング処理が終了した場合は、当該D
KCのキャッシュに対して当該データの更新を行う(ス
テップ4)。更新終了後、ホストコンピュータに対して
ライト処理の完了報告を行う(ステップ5)。ステップ
5の際、処理を行ったチャネル制御部がホストコンピュ
ータのアクセス要求の宛先と異なっていても、本来の宛
先チャネル制御部が応答したとする完了報告をする。こ
の点が本実施例の特徴である。図9は、あるチャネル制
御部11が障害に陥った場合に、該当チャネル制御部を
フェイルオーバするSVP40の処理の一例を示す流れ
図である。SVPが更新する分配テーブル31の要素
は、転送先候補とするか否かの2値の場合の説明をす
る。ここでは障害下にあるチャネル制御部を障害チャネ
ル制御部と呼ぶ。SVP40の障害監視部4001によ
り、チャネル制御部が障害となったことを認識する(ス
テップ1)。次に負荷監視部4002により得られた正
常なチャネル制御部の負荷率を障害情報テーブル401
より参照し、最低負荷率のチャネル制御部を見つける
(ステップ2)。その後、分配テーブル31を参照し要
求転送先チャネル制御部が障害チャネル制御部の行を順
次チェックする(ステップ3)。該当要素が1、すなわ
ちチャネル−DKC間スイッチ30が障害チャネル制御
部に要求を転送することになっていた場合は、該当要素
を0として障害チャネル制御部に要求を転送しないよう
にし、また、該当要素の列の要求転送先チャネル制御部
が該当最低負荷率のチャネル制御部の要素を1にして要
求転送先チャネル制御部が無い状態を防ぐ(ステップ
4)。ステップ3、ステップ4を該当行全体に対してチ
ェック終了するまで続ける。
が障害から回復した場合のSVP40が分配テーブル3
1を更新する処理の一例を示す流れ図である。SVPが
更新する分配テーブル31の要素は転送先候補とするか
否かの2値の場合の説明をする。SVP40の障害監視
部4001により、障害下にあったチャネル制御部が障
害から回復したことを確認する(ステップ1)。それを
受けて、分配テーブル31の要求宛先チャネル制御部の
列と要求転送先チャネル制御部の行が共に該当チャネル
制御部である要素を1にして、該当チャネル制御部に要
求が転送されるようにする(ステップ2)。該当チャネ
ル制御部のフェイルオーバしていたチャネル制御部はこ
の処理以降の負荷分散を目的とした分配テーブル31の
変更により、順次、代行を解除される。
偏りが生じた場合におけるSVP40の処理の一例を示
す流れ図である。SVP40の負荷監視部4002によ
り得られた負荷情報テーブル401から各チャネル制御
部の負荷率に偏りがあることを確認する(ステップ
1)。負荷率の偏りは、例えば、最高負荷率と最低負荷
率の差が閾値を超えた場合で定義できる。次に、チャネ
ル制御部を負荷率昇順でソートする(ステップ2)。そ
の結果により最高負荷率のチャネル制御部の負荷を下げ
るように分配テーブル31を更新する。分配テーブルで
要求宛先チャネル制御部が該当最高負荷率のチャネル制
御部の列をステップ2のソート順にチェックしていく
(ステップ3)。該当要素が0ならば、該当要素を1と
して負荷分散先として登録する(ステップ6)。該当要
素が1ならば次の要素をチェックする。全要素チェック
後またはステップ6終了後は、分配テーブルで要求転送
先チャネル制御部が該当最高負荷率のチャネル制御部で
ある行をステップ2のソート順にチェックしていく(ス
テップ7)。該当要素が1ならば、該当要素を0として
該当最高負荷率のチャネル制御部を負荷分散先から削除
する(ステップ10)。該当要素が0ならば次の要素を
チェックする。全要素チェック後またはステップ10終
了後は、この処理を終了とする。
偏りが生じた場合におけるSVP40の処理の一例を示
す流れ図である。SVPが更新する分配テーブル31の
要素は転送先とする確率を示したものである場合の説明
をする。SVP40の負荷監視部4002により得られ
た負荷情報テーブル401から各チャネル制御部の負荷
率に偏りがあることを確認する(ステップ1)。次に正
常チャネル制御部の負荷率が最低であるものと最高であ
るものを選択する(ステップ2)。分配テーブル31中
の最高負荷率のチャネル制御部が転送先ポートの行につ
いて全てのΔ以上の要素からΔを減算する(ステップ
3)。この際、障害下にあるチャネル制御部に該当する
要素については除外する。さらに、分配テーブル31中
の最低負荷率のチャネル制御部が転送先ポートの行につ
いてステップ3にて減算した宛先ポートに対応する要素
にΔを足す(ステップ4)。
が障害から回復した場合におけるSVP40が分配テー
ブル31を更新する処理の一例を示す流れ図である。S
VPが更新する分配テーブル31の要素は転送先とする
確率を示したものである場合の説明をする。SVP40
の障害監視部4001により、障害下にあったチャネル
制御部が障害から回復したことを確認する(ステップ
1)。それを受けて、分配テーブル31の宛先が該当チ
ャネル制御部の列について、ある定数Δ以上の要素に関
してはΔを引く。それに対応する障害回復チャネル制御
部の列の要素についてΔを足す(ステップ2)。
に陥った場合に、該当チャネル制御部をフェイルオーバ
するSVP40の処理の一例を示す流れ図である。SV
Pが更新する分配テーブル31の要素は転送先とする確
率を示したものである場合の説明をする。ここでは障害
下にあるチャネル制御部を障害チャネル制御部と呼ぶ。
SVP40の障害監視部4001により、障害チャネル
制御部の存在を確認する(ステップ1)。次に負荷監視
部4002により得られた負荷情報テーブル401から
正常なチャネル制御部の負荷率を参照し、最低負荷率の
チャネル制御部を見つける(ステップ2)。その後、分
配テーブル31を参照し要求転送先チャネル制御部が障
害チャネル制御部の行を順次チェックする(ステップ
3)。該当要素が0より大きい、すなわちチャネル−D
KC間スイッチ30が障害チャネル制御部に要求を転送
することになっていた場合は、該当要素を0として障害
チャネル制御部に要求を転送しないようにし、該当最低
負荷率のチャネル制御部の要素に、障害チャネル制御部
の元の要素を加算する(ステップ4)。ステップ3、ス
テップ4を該当行全体に対してチェック終了するまで続
ける。つぎに、代行引継ぎの制御方法を説明する。リー
ドアクセス要求の宛先のチャネル制御部11が高い負荷
状態にあるために、チャネル−DKC間スイッチ30に
より、他のチャネル制御部にリード要求が転送され、リ
ード要求を受信したチャネル制御部11が処理を途中段
階まで代行処理行い、その後本来の宛先チャネル制御部
が残りの段階の引継ぎ処理を行う場合について、図15
にリード要求が転送されたチャネル制御部の代行処理
を、図16に本来の宛先チャネル制御部が行う引継ぎ処
理を流れ図で示した。ライトアクセス要求の場合に図1
5、図16に対応するのが図17、図18である。この
方法で制御するチャネル制御部を備える装置で、SVP
40が、分配テーブル31を変更することによりチャネ
ル制御部の障害を回避しフェイルオーバを行うチャネル
制御部の代行レベルテーブル113を変更することで完
全代行を指定する制御方法を流れ図で示したものが図1
9である。該当チャネル制御部が障害から回復した場合
のSVPの制御方法は完全代行による場合と同様で図1
0の流れ図で示される。また、チャネル制御部間の負荷
に偏りが生じた場合に、分配テーブル31を変更し高い
負荷状態にあるチャネル制御部に転送するアクセス要求
の割合を減らし、かつ代行レベルテーブル113により
負荷分散先チャネル制御部の代行レベルを設定すること
により負荷分散するSVPの制御方法を図21に示す。
図19、図10、図21はいずれも分配テーブルの要素
が転送先候補とするか否かの2値で示す場合の実施例で
あり、分配テーブルの要素を転送先とする確率を示す場
合の対応する実施例は図22、図13、図23に示す。
また、代行レベルを変更することにより、より細かい負
荷分配の設定を行う場合のSVP40の制御方法を示す
流れ図を図24に示す。
を示す流れ図である。代行レベルテーブル113に設定
された段階の処理までを要求受領チャネル制御部が行
い、以降の段階の処理を要求宛先チャネル制御部が行う
ことが本実施例の特徴である。
本来の要求宛先のチャネル制御部とコマンドとアクセス
先アドレスを解析し、リードアクセスであることを認識
する(ステップ1)。アクセス先アドレスは、制御メモ
リ部12の装置構成情報123を参照することで、アク
セス要求先のディスク制御装置番号とドライブ番号を識
別できる。次に代行レベルテーブル113を参照し、該
当チャネル制御部に対する代行レベルを獲得する。該当
代行レベルが1の場合は、要求宛先チャネル制御部に代
行処理情報124を示すことで処理の引継ぎを行い、要
求受領チャネル制御部は処理を終了する(ステップ1
1)。本実施例では、制御メモリ部12を通じて代行処
理情報124を示すが、メッセージ通信などで該当チャ
ネル制御部に直接代行処理情報124を示してもよい。
該当代行レベルが2以上の場合は、ステップ1で識別し
た当該DKCのキャッシュに対してキャッシュヒットミ
ス判定を行う(ステップ2)。キャッシュに保持してい
ないキャッシュミスの場合は、当該DKCのディスク制
御部対して当該データのドライブからキャッシュへの転
送依頼を行う(ステップ3)。ここで該当代行レベルが
2の場合は、要求宛先チャネル制御部に代行処理情報1
24を示すことで処理の引継ぎを行い、要求受領チャネ
ル制御部は処理を終了する(ステップ13)。該当代行
レベルが3以上の場合は、転送終了までリード処理を中
断し(ステップ6)、ステージング終了後、再びリード
処理を継続することになる。ここで該当代行レベルが3
の場合は、要求宛先チャネル制御部に代行処理情報12
4を示すことで処理の引継ぎを行い、要求受領チャネル
制御部は処理を終了する(ステップ14)。ステップ3
でヒット判定の場合、該当代行レベルが2以上の場合
は、要求宛先チャネル制御部に代行処理情報124を示
すことで処理の引継ぎを行い、要求受領チャネル制御部
は処理を終了する(ステップ15)。その後、または、
ステップ4でステージング処理が終了した場合は、ホス
トコンピュータに対して当該データを転送する(ステッ
プ5)。ステップ5の際、処理を行ったチャネル制御部
がホストコンピュータのアクセス要求の宛先と異なって
いても、本来の宛先チャネル制御部が応答したとするよ
うにデータを転送する。
対する代行処理の引継ぎ処理の一例を示す流れ図であ
る。リード要求を受領した代行チャネル制御部の代行レ
ベルテーブル113に設定された段階の処理までを代行
チャネル制御部が行い、以降の段階の処理を要求宛先チ
ャネル制御部が行うこと(引継ぎ処理)が本実施例の特
徴である。
象とした代行処理情報124の存在を確認すると、該当
代行処理情報を解析する(ステップ1)。代行処理情報
を解析し処理段階1245を取り出すことにより、代行
レベルが判別できる。代行レベルが1ならば、アクセス
先DKCのキャッシュに対してキャッシュヒット/ミス
判定を行う(ステップ2)。代行レベルが2以上なら
ば、処理段階1245よりキャッシュヒット/ミスが判
別できる。ステップ2でキャッシュミスもしくは代行レ
ベル2でキャッシュミスの場合は、該当ディスク制御部
に該当データをキャッシュに転送依頼する(ステップ
3)。代行レベル3でキャッシュミスまたはステップ3
終了後は、転送終了までリード処理を中断し(ステップ
4)、ステージング終了後、再びリード処理を継続する
ことになる。キャッシュヒットもしくはステップ4終了
後、該当DKCのチャネル制御部に対し、該当データを
参照しチャネルに転送する(ステップ5)。
を示す流れ図である。代行レベルテーブル113に設定
された段階の処理までを要求受領チャネル制御部が行
い、以降の段階の処理を要求宛先チャネル制御部が行う
ことが本実施例の特徴である。
本来の要求宛先のチャネル制御部とコマンドとアクセス
先アドレスを解析し、ライトアクセスであることを認識
する(ステップ1)。アクセス先アドレスは、制御メモ
リ部12の装置構成情報123を参照することで、アク
セス要求先のディスク制御装置番号とドライブ番号を識
別できる。次に代行レベルテーブル113を参照し、該
当チャネル制御部に対する代行レベルを獲得する。該当
代行レベルが1の場合は、要求宛先チャネル制御部に代
行処理情報124を示すことで処理の引継ぎを行い、要
求受領チャネル制御部は処理を終了する(ステップ1
1)。本実施例では、制御メモリ部12を通じて代行処
理情報124を示すが、メッセージ通信などで該当チャ
ネル制御部に直接代行処理情報124を示してもよい。
該当代行レベルが2以上の場合は、ステップ1で識別し
た当該DKCのキャッシュに対してキャッシュヒットミ
ス判定を行う(ステップ2)。キャッシュに保持してい
ないキャッシュミスの場合は、当該DKCのディスク制
御部対して当該データのドライブからキャッシュへの転
送依頼を行う(ステップ3)。ここで該当代行レベルが
2の場合は、要求宛先チャネル制御部に代行処理情報1
24を示すことで処理の引継ぎを行い、要求受領チャネ
ル制御部は処理を終了する(ステップ13)。該当代行
レベルが3以上の場合は、転送終了までライト処理を中
断し(ステップ6)、ステージング終了後、再びライト
処理を継続することになる。ここで該当代行レベルが3
の場合は、要求宛先チャネル制御部に代行処理情報12
4を示すことで処理の引継ぎを行い、要求受領チャネル
制御部は処理を終了する(ステップ14)。ステップ3
でヒット判定の場合、該当代行レベルが2または3の場
合は、要求宛先チャネル制御部に代行処理情報124を
示すことで処理の引継ぎを行い、要求受領チャネル制御
部は処理を終了する(ステップ15)。その後、また
は、ステップ4でステージング処理が終了した場合は、
当該DKCのキャッシュに対して当該データの更新を行
う(ステップ5)。該当代行レベルが4の場合は、要求
宛先チャネル制御部に代行処理情報124を示すことで
処理の引継ぎを行い、要求受領チャネル制御部は処理を
終了する(ステップ16)。更新終了後、ホストコンピ
ュータに対してライト処理の完了報告を行う(ステップ
6)。ステップ6の際、処理を行ったチャネル制御部が
ホストコンピュータのアクセス要求の宛先と異なってい
ても、本来の宛先チャネル制御部が応答したとする完了
報告をする。
対する代行処理の引継ぎ処理の一例を示す流れ図であ
る。ライト要求を受領した代行チャネル制御部の代行レ
ベルテーブル113に設定された段階の処理までを代行
チャネル制御部が行い、以降の段階の処理を要求宛先チ
ャネル制御部が行うこと(引継ぎ処理)が本実施例の特
徴である。
象とした代行処理情報124の存在を確認すると、該当
代行処理情報を解析する(ステップ1)。代行処理情報
を解析し処理段階1245を取り出すことにより、代行
レベルが判別できる。代行レベルが1ならば、アクセス
先DKCのキャッシュに対してキャッシュヒット/ミス
判定を行う(ステップ2)。代行レベルが2以上なら
ば、処理段階1245よりキャッシュヒット/ミスが判
別できる。ステップ2でキャッシュミスもしくは代行レ
ベル2でキャッシュミスの場合は、該当ディスク制御部
に該当データをキャッシュに転送依頼する(ステップ
3)。代行レベル3でキャッシュミスまたはステップ3
終了後は、転送終了までライト処理を中断し(ステップ
4)、ステージング終了後、再びライト処理を継続する
ことになる。代行レベル3でキャッシュヒットもしくは
ステップ4終了後、該当DKCのキャッシュに対し該当
データを更新する(ステップ5)。ステップ5終了後も
しくは代行レベル4の場合はホストにライト完了報告す
る(ステップ6)。
に陥った場合に、該当チャネル制御部をフェイルオーバ
するSVP40の処理の一例を示す流れ図である。SV
Pが更新する分配テーブル31の要素は転送先候補とす
るか否かの2値であり、更に各チャネル制御部が代行レ
ベルテーブル113を持ちSVPにより更新される場合
の説明をする。ここでは障害下にあるチャネル制御部を
障害チャネル制御部と呼ぶ。SVP40の障害監視部4
001により、障害チャネル制御部の存在を確認する
(ステップ1)。次に負荷監視部4002により得られ
た正常なチャネル制御部の負荷率を障害情報テーブル4
01より参照し、最低負荷率のチャネル制御部を見つけ
る(ステップ2)。その後、分配テーブル31を参照し
要求転送先チャネル制御部が障害チャネル制御部の行を
順次チェックする(ステップ3)。該当要素が1、すな
わちチャネル−DKC間スイッチ30が障害チャネル制
御部に要求を転送することになっていた場合は、該当要
素を0として障害チャネル制御部に要求を転送しないよ
うにし、また、該当要素の列の要求転送先チャネル制御
部が該当最低負荷率のチャネル制御部の要素を1にして
要求転送先チャネル制御部が無い状態を防ぐ(ステップ
4)。また、該当最低負荷率のチャネル制御部が有する
代行レベルテーブル113の障害チャネル制御部に対応
する要素を完全代行とする(ステップ5)。ステップ
3、ステップ4、ステップ5を該当行全体に対してチェ
ック終了するまで続ける。
偏りが生じた場合におけるSVP40の処理の一例を示
す流れ図である。SVP40の負荷監視部4002によ
り得られた負荷情報テーブル401から各チャネル制御
部の負荷率に偏りがあることを確認する(ステップ
1)。負荷率の偏りは、例えば、最高負荷率と最低負荷
率の差が閾値を超えた場合で定義できる。次に、チャネ
ル制御部を負荷率昇順でソートする(ステップ2)。そ
の結果により最高負荷率のチャネル制御部の負荷を下げ
るように分配テーブル31を更新する。分配テーブルで
要求宛先チャネル制御部が該当最高負荷率のチャネル制
御部の列をステップ2のソート順にチェックしていく
(ステップ3)。該当要素が0ならば、該当転送先チャ
ネル制御部が有する代行レベルテーブル113の最高負
荷率チャネル制御部の代行レベルを代行時の初期値に設
定し(ステップ4)、該当要素を1として負荷分散先と
して登録する(ステップ5)。該当要素が1ならば次の
要素をチェックする。全要素チェック後またはステップ
5終了後は、分配テーブルで要求転送先チャネル制御部
が該当最高負荷率のチャネル制御部である行をステップ
2のソート順にチェックしていく(ステップ6)。該当
要素が1ならば、該当要素を0として該当最高負荷率の
チャネル制御部を負荷分散先から削除し(ステップ
7)、最高負荷率チャネル制御部の代行レベルテーブル
の該当宛先チャネル制御部の代行レベルを代行しないに
設定する(ステップ8)。該当要素が0ならば次の要素
をチェックする。全要素チェック後またはステップ8終
了後は、この処理を終了とする。
に陥った場合に、該当チャネル制御部をフェイルオーバ
するSVP40の処理の一例を示す流れ図である。SV
Pが更新する分配テーブル31の要素は転送先とする確
率を示したものであり、更に各チャネル制御部が代行レ
ベルテーブル113を持ちSVPにより更新される場合
の説明をする。ここでは障害下にあるチャネル制御部を
障害チャネル制御部と呼ぶ。SVP40の障害監視部4
001により、障害チャネル制御部の存在を確認する
(ステップ1)。次に負荷監視部4002により得られ
た正常なチャネル制御部の負荷率を障害情報テーブル4
01より参照し、最低負荷率のチャネル制御部を見つけ
る(ステップ2)。その後、分配テーブル31を参照し
要求転送先チャネル制御部が障害チャネル制御部の行を
順次チェックする(ステップ3)。該当要素が0より大
きい、すなわちチャネル−DKC間スイッチ30が障害
チャネル制御部に要求を転送することになっていた場合
は、該当要素を0として障害チャネル制御部に要求を転
送しないようにし、該当最低負荷率のチャネル制御部の
要素に、障害チャネル制御部の元の要素を加算する(ス
テップ4)。また、該当最低負荷率のチャネル制御部が
有する代行レベルテーブル113の障害チャネル制御部
に対応する要素を完全代行とする(ステップ5)。ステ
ップ3、ステップ4、ステップ5を該当行全体に対して
チェック終了するまで続ける。
偏りが生じた場合におけるSVP40の処理の一例を示
す流れ図である。SVPが更新する分配テーブル31の
要素は転送先とする確率を示したものであり、更に各チ
ャネル制御部が代行レベルテーブル113を持ちSVP
により更新される場合の説明をする。SVP40の負荷
監視部4002により得られた負荷情報テーブル401
から各チャネル制御部の負荷率に偏りがあることを確認
する(ステップ1)。次に正常チャネル制御部の負荷率
が最低であるものと最高であるものを選択する(ステッ
プ2)。分配テーブル31中の最高負荷率のチャネル制
御部が転送先ポートの行について全てのΔ以上の要素か
らΔを減算する(ステップ3)。この際、障害下にある
チャネル制御部に該当する要素については除外する。こ
こで、代行レベルテーブル113についての整合を取
る。ステップ3にて0になった要素に対応する最高負荷
率チャネル制御部の代行レベルテーブルの該当宛先チャ
ネル制御部の代行レベルを代行しないに設定する(ステ
ップ4)。次に、分配テーブル31中の最低負荷率のチ
ャネル制御部が転送先ポートの行についてステップ3に
て減算した宛先ポートに対応する要素にΔを足す(ステ
ップ5)。またここでも、代行レベルテーブル113に
ついての整合を取る。ステップ5にて0から増加した要
素に対応する転送先チャネル制御部の代行レベルテーブ
ルについて最高負荷率チャネル制御部の代行レベルを代
行時の初期値に設定する(ステップ6)。
偏りが生じた場合におけるSVP40が各チャネル制御
部の代行レベルテーブル113の変更を行う処理の一例
を示す流れ図である。SVP40の負荷監視部4002
により得られた負荷情報テーブル401から各チャネル
制御部の負荷率に偏りがあることを確認する(ステップ
1)。次に正常チャネル制御部の負荷率が最低であるも
のと最高であるものを選択する(ステップ2)。ここ
で、分配テーブル31を参照し、最低負荷率のチャネル
制御部が最高負荷率のチャネル制御部を代行しているよ
うに記載されているか調べる(ステップ3)。まだ記載
が無ければ、前述の実施例により分配テーブル31を更
新し処理を終了する(ステップ6)。すでに有るなら
ば、最低負荷率のチャネル制御部の代行レベルテーブル
113を参照し、現在の最高負荷率チャネル制御部に対
する代行レベルを調査する(ステップ4)。既に最高レ
ベルならばこの処理は終了する。まだ最高レベルに至っ
ていない場合には、最低負荷率チャネル制御部の最高負
荷率チャネル制御部に対する代行レベルを1段階上げる
(ステップ5)。
40の制御方法を説明した。次に分配テーブルの要素が
転送先確率を示す場合におけるチャネル−DKC間スイ
ッチ30のアクセス要求の転送制御方法を図25により
説明する。
先とする確率を示す場合のチャネル−DKC間スイッチ
30において、ホスト側ポート3011がアクセス要求
を受けた場合どのDKC側ポート3021に転送するか
の選択方法を流れ図で示したものである。まず、ホスト
コンピュータ0のアクセス要求がホスト側ポート301
1に到着したことをホスト側ポートが確認する(ステッ
プ1)。次に、該当アクセス要求の宛先ポートを解析す
る(ステップ2)。更に、擬似乱数を発生する(ステッ
プ3)。擬似乱数は、つねにカウントアップしているカ
ウンタ値や、毎回更新される乱数の種に一定規則の演算
を施し、その結果の下位を用いるなどの方法がある。次
に、分配テーブル31の該当宛先ポートの列を参照し、
要素がステップ3で得た擬似乱数以上のものを転送先候
補とする(ステップ4)。もし候補数が0ならばステッ
プ3に戻る(ステップ5)。候補があるならば、候補の
中で、前回選択されたもののインデックスから周期境界
条件で正の方向に最も近いものを転送先ポート番号とし
て選択し、該当要求を選択したDKC側ポートに転送す
る(ステップ6)。
置の負荷分散に関する設定を行う場合の画面の一例につ
いて図26により説明する。
対して指示を行うことにより実行する負荷分散につい
て、SVP40の装置管理インタフェース部404を通
じて端末(図示せず)等で装置管理者が設定を行う場合
の設定画面の実施例である。代行レベル設定画面260
1は設定するチャネル制御部を選択する設定チャネル制
御部選択欄2630と各チャネル制御部に対応した代行
レベル選択欄2610を有する。装置管理者は、キーボ
ード入力やGUIによる選択入力等の方法で、設定チャ
ネル制御部選択欄2630や代行レベル選択欄2610
にて、設定するチャネル制御部を選択し、各チャネル制
御部の代行レベルを設定可能である。これらは、設定ボ
タン2621を前述した入力方法で選択すると、本画面
で設定した内容が、SVP40を通じて代行レベルテー
ブル113と分配テーブル31に反映される。代行レベ
ル選択欄2610にて自動設定に選択されたチャネル制
御部は、SVP40が代行レベルの更新を行う。これら
設定された情報はSVP40のローカルメモリ4004
に収納され次回に本画面にて再設定されるまで保持され
る。また、取消ボタン2622を前述した入力方法で選
択すると、本画面を呼び出す前の設定情報が引き続き使
用される。
クセス要求を複数のチャネル制御部に振り分けることを
可能にした。このことにより、ホストコンピュータ側に
装置の内部構造を意識させないで、チャネル制御部の負
荷に応じた負荷分散が可能になる。同様に、障害下にあ
るチャネル制御部を迂回してアクセス要求を他のチャネ
ル制御部で処理することができる。この場合について
も、ホストコンピュータ側は該当チャネル制御部が障害
に陥ったことや装置内部構造を意識せずに操作を継続す
ることができる。
を行えば、設定した代行レベルによっては、リードアク
セス要求処理に、処理を引継ぐチャネル制御部のDKC
に対象データが存在するとすれば、リードデータがディ
スク制御装置間の通信手段を経ることが無くホストコン
ピュータに応答することが可能になる。これにより、デ
ィスク制御装置間の通信手段に対する負荷分散にもな
る。特にシーケンシャルリードの要求が多い環境におい
て負荷分散をする場合、完全代行のような方法ではリー
ドデータがディスク制御装置間の通信手段を占有し、デ
ィスク制御装置間の通信手段がボトルネックとなってし
まう。しかしながら、代行処理を用いることにより、装
置使用環境に特徴的なアクセス種類によらず、チャネル
制御部の負荷分散が可能になる。
ブロック図の一例である。
図の一例である。
図の一例である。
間スイッチを示すブロック図の一例である。
御部を示すブロック図の一例である。
を示すブロック図の一例である。
御部の完全代行リード要求処理の一例を示す流れ図であ
る。
御部の完全代行ライト要求処理の一例を示す流れ図であ
る。
ャネル制御部障害によるフェイルオーバの処理の一例を
示す流れ図である。
よるチャネル制御部障害回復した場合の処理の一例を示
す流れ図である。
チャネル制御部の負荷分散を行う場合の処理の一例を示
す流れ図である。
チャネル制御部の負荷分散を行う場合の処理の一例を示
す流れ図である。
よるチャネル制御部障害回復した場合の処理の一例を示
す流れ図である。
よるチャネル制御部障害のフェイルオーバの処理の一例
を示す流れ図である。
制御部の代行リード要求処理の一例を示す流れ図であ
る。
制御部の代行引継ぎリード要求処理の一例を示す流れ図
である。
制御部の代行ライト要求処理の一例を示す流れ図であ
る。
制御部の代行引継ぎライト要求処理の一例を示す流れ図
である。
よるチャネル制御部障害のフェイルオーバの処理の一例
を示す流れ図である。
示すブロック図の一例である。
チャネル制御部の負荷分散を行う場合の処理の一例を示
す流れ図である。
よるチャネル制御部障害のフェイルオーバの処理の一例
を示す流れ図である。
チャネル制御部の負荷分散を行う場合の処理の一例を示
す流れ図である。
チャネル制御部の負荷分散を行う場合の処理の一例を示
す流れ図である。
−DKC間スイッチのアクセス要求転送先ポートを決定
する処理の一例を示す流れ図である。
ルを設定時にSVPにより表示される画面の一例を示す
ブロック図である。
ステム、2・・・チャネル、3・・・制御情報、4・・
・格納データ、5・・・キャッシュデータ、7・・・論
理ディスク、10・・・ディスク制御装置、11・・・
チャネル制御部、12・・・制御メモリ、13・・・キ
ャッシュメモリ部、14・・・ディスク制御部、15・
・・結合機構、16・・・ドライブIF、17・・・ドラ
イブ、20・・・ディスク制御装置間接続手段、30・
・・チャネル−DKC間スイッチ、31・・・分配テー
ブル、39・・・SANスイッチ、40・・・SVP。
Claims (11)
- 【請求項1】複数台のディスク制御装置と該複数のディ
スク制御装置を接続する接続手段とを備えたクラスタ型
ディスク制御装置において、前記ディスク制御装置に備
えられたチャネル制御部と、前記クラスタ型ディスク制
御装置内に設けられたスイッチとを有し、該スイッチは
前記チャネル制御部及びホストコンピュータと接続さ
れ、前記スイッチは、前記ホストコンピュータから指定
されたアクセス要求先である宛先チャネル制御部と該ア
クセス要求を実際に転送するチャネル制御部との対応情
報を保持するデータテーブルを備えたことを特徴とする
クラスタ型ディスク制御装置。 - 【請求項2】複数台のディスク制御装置と該複数のディ
スク制御装置間の通信手段を備えたクラスタ型ディスク
制御装置において、前記ディスク制御装置に備えられた
チャネル制御部と、前記クラスタ型ディスク制御装置内
に設けられたスイッチとを有し、該スイッチは前記チャ
ネル制御部と接続され、前記スイッチはホストコンピュ
ータと接続され、前記スイッチは、前記ホストコンピュ
ータからアクセス要求のあったチャネル制御部とは別の
前記チャネル制御部に転送するか否かの情報を保持する
分配テーブルを有することを特徴とするクラスタ型ディ
スク制御装置。 - 【請求項3】請求項1に記載のクラスタ型ディスク制御
装置において、前記ホストコンピュータからのアクセス
要求の転送先として複数のチャネル制御部が指定可能で
あり、前記データテーブルには、前記複数のチャネル制
御部の各々が転送先として選ばれる確率が格納されるこ
とを特徴とするクラスタ型ディスク制御装置。 - 【請求項4】請求項1に記載のクラスタ型ディスク制御
装置において、ディスク制御装置内情報を管理するサー
ビスプロセッサ(SVP)を有し、該SVPは前記デー
タテーブルを変更することを特徴とするディスク制御装
置。 - 【請求項5】請求項1に記載のクラスタ型ディスク制御
装置において、前記ディスク制御装置は、ホストコンピ
ュータからのアクセス要求を受信したチャネル制御部が
該当アクセス要求を処理のどの途中段階まで実行するか
の情報を有する代行レベルテーブルを備えることを特徴
とするディスク制御装置。 - 【請求項6】複数台のディスク制御装置と、該複数のデ
ィスク制御装置を接続する接続手段と、チャネル制御部
と、ホストコンピュータからのアクセス要求をチャネル
制御部へ転送するためのデータテーブルを備えたスイッ
チとを有するディスクサブシステムの制御方法におい
て、ホストコンピュータからのアクセス要求を前記デー
タテーブルに基づき所定のチャネル制御部へ転送し、前
記アクセス要求が転送されたチャネル制御部がアクセス
要求を処理し、前記アクセス要求の返答として、前記ホ
ストコンピュータからアクセス要求先として指定された
宛先チャネル制御部が返答の発行元であるとするデータ
をホストコンピュータに対して送信することを特徴とす
るディスクサブシステムの制御方法。 - 【請求項7】請求項6に記載のディスクサブシステムの
制御方法において、前記アクセス要求が転送されたチャ
ネル制御部が前記ホストコンピュータからのアクセス要
求の宛先とは異なる場合、前記要求を受信したチャネル
制御部が途中段階まで前記要求を処理し、前記要求の宛
先チャネル制御部に途中段階までの処理終了を通知し、
処理の残りを前記要求宛先チャネル制御部が実行するこ
とを特徴とするディスクサブシステムの制御方法。 - 【請求項8】請求項6に記載のディスクサブシステムの
制御方法において、前記ディスクサブシステムは、ホス
トコンピュータからのアクセス要求を受信したチャネル
制御部が該当アクセス要求を処理のどの途中段階まで実
行するかの情報を有する代行レベルテーブルを備え、前
記チャネル制御部は、前記スイッチから転送されてきた
アクセス要求を、前記代行レベルテーブルに記載された
情報に基づき中途段階まで処理し、前記ホストコンピュ
ータが実際に指定したアクセス要求先である宛先チャネ
ル制御部に途中段階までの処理終了を通知し、前記中途
段階まで処理されたアクセス要求の処理の残りを前記要
求宛先チャネル制御部が実行することを特徴とするディ
スクサブシステムの制御方法。 - 【請求項9】請求項6に記載のディスクサブシステムの
制御方法において、前記ディスクサブシステムは、ディ
スク制御装置内情報を管理するサービスプロセッサ(S
VP)を備え、前記SVPは、各チャネル制御部の負荷
情報を参照し、負荷が高いチャネル制御部を宛先とした
ホストコンピュータからのアクセス要求を負荷が低いチ
ャネル制御部に転送するように前記データテーブルを変
更することを特徴とするディスクサブシステムの制御方
法。 - 【請求項10】請求項9に記載のディスクサブシステム
の制御方法において、前記SVPは、各チャネル制御部
の障害情報を参照し、障害下にあるチャネル制御部を宛
先としたホストコンピュータからのアクセス要求を正常
なチャネル制御部に転送するように、前記テーブルを変
更することを特徴としたディスクサブシステムの制御方
法。 - 【請求項11】請求項9に記載のディスクサブシステム
の制御方法において、前記SVPは、各チャネル制御部
の負荷情報を参照し、負荷が低いチャネル制御部に対す
る処理の実行段階を上げるように前記代行レベルテーブ
ルを変更することを特徴としたディスクサブシステムの
制御方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002002936A JP4188602B2 (ja) | 2002-01-10 | 2002-01-10 | クラスタ型ディスク制御装置及びその制御方法 |
US10/090,767 US7058761B2 (en) | 2002-01-10 | 2002-03-06 | Clustering disk controller, its disk control unit and load balancing method of the unit |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002002936A JP4188602B2 (ja) | 2002-01-10 | 2002-01-10 | クラスタ型ディスク制御装置及びその制御方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2003208267A true JP2003208267A (ja) | 2003-07-25 |
JP2003208267A5 JP2003208267A5 (ja) | 2005-06-23 |
JP4188602B2 JP4188602B2 (ja) | 2008-11-26 |
Family
ID=19190809
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002002936A Expired - Fee Related JP4188602B2 (ja) | 2002-01-10 | 2002-01-10 | クラスタ型ディスク制御装置及びその制御方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US7058761B2 (ja) |
JP (1) | JP4188602B2 (ja) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006259824A (ja) * | 2005-03-15 | 2006-09-28 | Hitachi Ltd | ストレージシステム、及び情報処理システム |
US7206901B2 (en) | 2004-04-01 | 2007-04-17 | Hitachi, Ltd. | Storage control system |
JP2007249729A (ja) * | 2006-03-17 | 2007-09-27 | Hitachi Ltd | マイクロプロセッサの負荷分散機能を備えたストレージシステム |
JP2007280258A (ja) * | 2006-04-11 | 2007-10-25 | Hitachi Ltd | 記憶制御装置 |
JP2007328408A (ja) * | 2006-06-06 | 2007-12-20 | Hitachi Ltd | ストレージシステム及び記憶制御装置 |
JP2008542887A (ja) * | 2006-03-08 | 2008-11-27 | ハンジョウ エイチ3シー テクノロジーズ コーポレイション、 リミテッド | 仮想化ネットワークストレージシステム、ネットワークストレージ装置及びその仮想化方法 |
JP2009230484A (ja) * | 2008-03-24 | 2009-10-08 | Nec Corp | ストレージサブシステム、ストレージシステム、ファームウェア置換方法、及びプログラム |
WO2014012474A1 (zh) * | 2012-07-19 | 2014-01-23 | 中兴通讯股份有限公司 | 一种基于虚拟交换集群的流量转发方法及系统 |
WO2015011835A1 (ja) * | 2013-07-26 | 2015-01-29 | 株式会社日立製作所 | コンピュータシステム |
JP2015204078A (ja) * | 2014-04-16 | 2015-11-16 | 富士通株式会社 | ストレージ仮想化装置、ストレージ仮想化装置の制御方法及び制御プログラム |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6953392B2 (en) * | 2001-01-05 | 2005-10-11 | Asm Nutool, Inc. | Integrated system for processing semiconductor wafers |
JP4220166B2 (ja) * | 2002-02-19 | 2009-02-04 | 株式会社日立製作所 | ストレージエリアネットワークシステムのアクセス制御方法 |
US7685287B2 (en) * | 2002-05-30 | 2010-03-23 | Microsoft Corporation | Method and system for layering an infinite request/reply data stream on finite, unidirectional, time-limited transports |
JP2004102852A (ja) * | 2002-09-12 | 2004-04-02 | Hitachi Ltd | ホットスタンバイ計算機システム |
US7222173B2 (en) * | 2003-02-10 | 2007-05-22 | International Business Machines Corporation | Limited knowledge of configuration information of a FICON controller |
JP2004362146A (ja) * | 2003-06-03 | 2004-12-24 | Hitachi Ltd | ストレージ制御装置の制御方法及びストレージ制御装置 |
US7392445B2 (en) * | 2003-09-11 | 2008-06-24 | International Business Machines Corporation | Autonomic bus reconfiguration for fault conditions |
JP4429703B2 (ja) * | 2003-11-28 | 2010-03-10 | 株式会社日立製作所 | ディスクアレイ装置及びディスクアレイ装置の制御方法 |
JP4401788B2 (ja) * | 2004-01-06 | 2010-01-20 | 株式会社日立製作所 | ストレージ制御装置 |
JP4405277B2 (ja) * | 2004-02-16 | 2010-01-27 | 株式会社日立製作所 | ディスク制御装置 |
US7467238B2 (en) * | 2004-02-10 | 2008-12-16 | Hitachi, Ltd. | Disk controller and storage system |
JP4441286B2 (ja) * | 2004-02-10 | 2010-03-31 | 株式会社日立製作所 | ストレージシステム |
JP4475079B2 (ja) * | 2004-09-29 | 2010-06-09 | 株式会社日立製作所 | 計算機システムの構成管理方法 |
JP2007122531A (ja) * | 2005-10-31 | 2007-05-17 | Hitachi Ltd | 負荷分散システム及び方法 |
US7751329B2 (en) * | 2007-10-03 | 2010-07-06 | Avaya Inc. | Providing an abstraction layer in a cluster switch that includes plural switches |
US20090193436A1 (en) * | 2008-01-30 | 2009-07-30 | Inventec Corporation | Alarm display system of cluster storage system and method thereof |
US20090213736A1 (en) * | 2008-02-27 | 2009-08-27 | Inventec Corporation | Method of processing external service request in storage area network |
WO2010131373A1 (en) * | 2009-05-15 | 2010-11-18 | Hitachi,Ltd. | Storage subsystem |
US20100322236A1 (en) * | 2009-06-18 | 2010-12-23 | Nokia Corporation | Method and apparatus for message routing between clusters using proxy channels |
CN103858110B (zh) * | 2011-10-07 | 2017-02-15 | 株式会社日立制作所 | 存储系统 |
US8819371B2 (en) | 2011-10-07 | 2014-08-26 | Hitachi, Ltd. | Storage system |
US20150331615A1 (en) * | 2012-11-20 | 2015-11-19 | Empire Technology Development Llc | Multi-element solid-state storage device management |
US11222258B2 (en) * | 2020-03-27 | 2022-01-11 | Google Llc | Load balancing for memory channel controllers |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5680539A (en) * | 1995-07-11 | 1997-10-21 | Dell Usa, L.P. | Disk array system which performs data reconstruction with dynamic load balancing and user-specified disk array bandwidth for reconstruction operation to maintain predictable degradation |
US6374336B1 (en) * | 1997-12-24 | 2002-04-16 | Avid Technology, Inc. | Computer system and process for transferring multiple high bandwidth streams of data between multiple storage units and multiple applications in a scalable and reliable manner |
US6804245B2 (en) * | 2001-08-17 | 2004-10-12 | Mcdata Corporation | Compact, shared route lookup table for a fiber channel switch |
-
2002
- 2002-01-10 JP JP2002002936A patent/JP4188602B2/ja not_active Expired - Fee Related
- 2002-03-06 US US10/090,767 patent/US7058761B2/en not_active Expired - Fee Related
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7206901B2 (en) | 2004-04-01 | 2007-04-17 | Hitachi, Ltd. | Storage control system |
US7549019B2 (en) | 2004-04-01 | 2009-06-16 | Hitachi, Ltd. | Storage control system |
JP2006259824A (ja) * | 2005-03-15 | 2006-09-28 | Hitachi Ltd | ストレージシステム、及び情報処理システム |
JP4721734B2 (ja) * | 2005-03-15 | 2011-07-13 | 株式会社日立製作所 | ストレージシステム、及び情報処理システム |
US8612561B2 (en) | 2006-03-08 | 2013-12-17 | Hangzhou H3C Technologies Co., Ltd. | Virtual network storage system, network storage device and virtual method |
JP2008542887A (ja) * | 2006-03-08 | 2008-11-27 | ハンジョウ エイチ3シー テクノロジーズ コーポレイション、 リミテッド | 仮想化ネットワークストレージシステム、ネットワークストレージ装置及びその仮想化方法 |
JP2007249729A (ja) * | 2006-03-17 | 2007-09-27 | Hitachi Ltd | マイクロプロセッサの負荷分散機能を備えたストレージシステム |
US9262095B2 (en) | 2006-03-17 | 2016-02-16 | Hitachi, Ltd. | Storage system comprising microprocessor load distribution function |
US8271979B2 (en) | 2006-03-17 | 2012-09-18 | Hitachi, Ltd. | Storage system comprising microprocessor load distribution function |
JP2007280258A (ja) * | 2006-04-11 | 2007-10-25 | Hitachi Ltd | 記憶制御装置 |
JP2007328408A (ja) * | 2006-06-06 | 2007-12-20 | Hitachi Ltd | ストレージシステム及び記憶制御装置 |
JP2009230484A (ja) * | 2008-03-24 | 2009-10-08 | Nec Corp | ストレージサブシステム、ストレージシステム、ファームウェア置換方法、及びプログラム |
WO2014012474A1 (zh) * | 2012-07-19 | 2014-01-23 | 中兴通讯股份有限公司 | 一种基于虚拟交换集群的流量转发方法及系统 |
US9402205B2 (en) | 2012-07-19 | 2016-07-26 | Zte Corporation | Traffic forwarding method and system based on virtual switch cluster |
WO2015011835A1 (ja) * | 2013-07-26 | 2015-01-29 | 株式会社日立製作所 | コンピュータシステム |
JP5976937B2 (ja) * | 2013-07-26 | 2016-08-24 | 株式会社日立製作所 | コンピュータシステム |
JP2015204078A (ja) * | 2014-04-16 | 2015-11-16 | 富士通株式会社 | ストレージ仮想化装置、ストレージ仮想化装置の制御方法及び制御プログラム |
Also Published As
Publication number | Publication date |
---|---|
US7058761B2 (en) | 2006-06-06 |
US20030131192A1 (en) | 2003-07-10 |
JP4188602B2 (ja) | 2008-11-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4188602B2 (ja) | クラスタ型ディスク制御装置及びその制御方法 | |
US9647933B1 (en) | Port identifier management for path failover in cluster environments | |
US8683482B2 (en) | Computer system for balancing access load of storage systems and control method therefor | |
US7281032B2 (en) | File sharing system with data mirroring by storage systems | |
US8041987B2 (en) | Dynamic physical and virtual multipath I/O | |
US6779064B2 (en) | System, method, and computer program product for on-line replacement of a host bus adapter | |
JP5039951B2 (ja) | ストレージ・デバイス・ポートの選択の最適化 | |
EP1439452A2 (en) | Storage unit, installation method thereof, and installation program therefor | |
US8683025B2 (en) | Method for managing storage system | |
EP1760591A1 (en) | Computer system, management computer, method of managing access path | |
US20080059602A1 (en) | Load balancing method for data I/O paths between groups in which multi-path management is employed | |
US20120060010A1 (en) | Storage system comprising function for migrating virtual communication port added to physical communication port | |
US20030200477A1 (en) | Method, system, and program for selecting a path to a device to use when sending data requests to the device | |
US20080059697A1 (en) | Storage system and control method for the same | |
JP4609848B2 (ja) | 負荷分散コンピュータシステム、経路設定プログラム及びその方法 | |
US8578073B2 (en) | Storage system and control method of storage system | |
US20050262386A1 (en) | Storage system and a method for dissolving fault of a storage system | |
US7886186B2 (en) | Storage system and management method for the same | |
JP5843888B2 (ja) | 計算機システムの管理方法、計算機システム及び記憶媒体 | |
US20030005080A1 (en) | Systems and methods for accessing data | |
JP2009295045A (ja) | ストレージシステム、ストレージサブシステム、及び記憶制御方法 | |
US11755438B2 (en) | Automatic failover of a software-defined storage controller to handle input-output operations to and from an assigned namespace on a non-volatile memory device | |
US7590811B1 (en) | Methods and system for improving data and application availability in clusters | |
US8694538B1 (en) | Method and apparatus for logging write requests to a storage volume in a network data switch |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040924 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040924 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20060419 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070621 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070710 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070830 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20070830 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071001 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071204 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080128 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080902 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080911 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110919 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120919 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120919 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130919 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |