JP2003303055A - ディスクアダプタとディスクアレイをスイッチを介して接続したディスク装置 - Google Patents
ディスクアダプタとディスクアレイをスイッチを介して接続したディスク装置Info
- Publication number
- JP2003303055A JP2003303055A JP2002106262A JP2002106262A JP2003303055A JP 2003303055 A JP2003303055 A JP 2003303055A JP 2002106262 A JP2002106262 A JP 2002106262A JP 2002106262 A JP2002106262 A JP 2002106262A JP 2003303055 A JP2003303055 A JP 2003303055A
- Authority
- JP
- Japan
- Prior art keywords
- disk
- switch
- adapter
- channel
- array
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012546 transfer Methods 0.000 claims abstract description 63
- 230000015654 memory Effects 0.000 claims description 57
- 238000003491 array Methods 0.000 claims description 34
- 230000005540 biological transmission Effects 0.000 claims description 7
- 238000007616 round robin method Methods 0.000 claims description 5
- 239000002184 metal Substances 0.000 claims description 4
- 239000013307 optical fiber Substances 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 description 19
- CJOXJJYSFBAIOV-WMZJFQQLSA-N (z)-4-(5-chloro-1h-indol-3-yl)-4-hydroxy-2-oxobut-3-enoic acid Chemical compound C1=C(Cl)C=C2C(C(/O)=C/C(=O)C(=O)O)=CNC2=C1 CJOXJJYSFBAIOV-WMZJFQQLSA-N 0.000 description 18
- 101100275670 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) TFS1 gene Proteins 0.000 description 18
- 238000010586 diagram Methods 0.000 description 16
- 102100031249 H/ACA ribonucleoprotein complex subunit DKC1 Human genes 0.000 description 13
- 101000844866 Homo sapiens H/ACA ribonucleoprotein complex subunit DKC1 Proteins 0.000 description 13
- 238000000034 method Methods 0.000 description 13
- 239000000835 fiber Substances 0.000 description 11
- 238000007796 conventional method Methods 0.000 description 10
- 230000007423 decrease Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 101100277337 Arabidopsis thaliana DDM1 gene Proteins 0.000 description 3
- 102100026191 Class E basic helix-loop-helix protein 40 Human genes 0.000 description 3
- 101710130550 Class E basic helix-loop-helix protein 40 Proteins 0.000 description 3
- 102100026190 Class E basic helix-loop-helix protein 41 Human genes 0.000 description 3
- 102100035087 Ectoderm-neural cortex protein 1 Human genes 0.000 description 3
- 101000765033 Homo sapiens Class E basic helix-loop-helix protein 41 Proteins 0.000 description 3
- 101000877456 Homo sapiens Ectoderm-neural cortex protein 1 Proteins 0.000 description 3
- 101001006871 Homo sapiens Kelch-like protein 25 Proteins 0.000 description 3
- 102100027800 Kelch-like protein 25 Human genes 0.000 description 3
- 101100043657 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) CHA1 gene Proteins 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 239000013256 coordination polymer Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/061—Improving I/O performance
- G06F3/0613—Improving I/O performance in relation to throughput
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0629—Configuration or reconfiguration of storage systems
- G06F3/0635—Configuration or reconfiguration of storage systems by changing the path, e.g. traffic rerouting, path reconfiguration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
- G06F3/0656—Data buffering arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0683—Plurality of storage devices
- G06F3/0689—Disk arrays, e.g. RAID, JBOD
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/2002—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where interconnections or communication control functionality are redundant
- G06F11/2005—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where interconnections or communication control functionality are redundant using redundant communication controllers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/2002—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where interconnections or communication control functionality are redundant
- G06F11/2007—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where interconnections or communication control functionality are redundant using redundant communication media
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Abstract
ディスクアレイ間のスループットが高いディスク装置を
提供することにある。 【解決手段】 ディスクコントローラ(DKC)のディスク
アダプタ(DKA)とディスクアレイ(DA)をスイッチ(SW1、SW
2、SW3、SW4)を介して接続する。スイッチ(SW1)とRAI
Dグループ(R1)間のチャネル(D11、D12、D13、D14)上のデ
ータをスイッチ(SW1)において多重化してスイッチ(SW1)
とディスクアダプタ(DKA)間のチャネル(D01)に転送し、
スイッチ(SW1)とディスクアダプタ(DKA)間のチャネル(D
01)上のデータをスイッチ(SW1)において逆多重化してス
イッチ(SW1)とRAIDグループ(R1)間のチャネル(D11、
D12、D13、D14)に転送する。ディスクアダプタ(DKA)とス
イッチ(SW1)間のチャネル(D01)上のデータ転送速度を、
チャネル(D11、D12、D13、D14)のデータ転送速度より高く
する。
Description
テムにおける2次記憶装置に関し、特に入出力データ転
送性能が高いディスク装置に関する。
は、CPU(中央処理装置)が必要とするデ−タは2次
記憶装置に保存され、CPUなどが必要とするときに応
じて2次記憶装置に対してデ−タの書き込みおよび読み
出しを行う。この2次記憶装置としては、一般に不揮発
な記憶媒体が使用され、代表的なものとして磁気ディス
ク装置や、光ディスクなどのディスク装置がある。近年
高度情報化に伴い、コンピュータシステムにおいて、こ
の種の2次記憶装置の高性能化が要求されている。
を示す。図9において、ディスク装置はディスクコント
ローラDKCとディスクアレイDAで構成される。ディ
スクコントローラDKCは、上位側CPU(図示せず)
とディスク装置を接続するチャネルアダプタCHAと、
ディスクアレイDAに対して読み書きするデータを一時
保存するキャッシュメモリCMと、ディスクコントロー
ラDKCとディスクアレイDAを接続するディスクアダ
プタDKAからなる。チャネルアダプタCHAとキャッ
シュメモリCMとディスクアダプタDKAは、バスまた
はスイッチで相互接続されている。チャネルアダプタC
HAはC1、C2、C3、C4の4本のチャネルでCP
Uと接続している。ディスクアダプタDKAはD1、D
2、D3、D4の4本のチャネルでディスクアレイと接
続している。ここでディスクアレイDAはディスクグル
ープR1、R2、R3、R4からなる。ディスクアレイ
DAにおいてRAIDシステムを構築する場合は、R
1、R2、R3、R4がそれぞれRAIDグループを構
成する。
された書き込みデータは、キャッシュメモリCMに該デ
ータを書き込むと同時に、該データをブロックサイズ単
位に分割し、チャネルD1、D2、D3、D4の内3チ
ャネルにはブロック単位に分割されたデータを、残りの
1チャネルは前記分割データから計算したパリティを、
ディスクアダプタDKAからディスクアレイDAへ送信
する。データ読み出し時は、先ずキャッシュメモリCM
内に該当データの有無を調べる。有る場合は、キャッシ
ュメモリCMからチャネルアダプタCHAを介してキャ
ッシュメモリ内読み出しデータをCPUへ送信する。キ
ャッシュメモリCM内に無い場合にディスクアダプタD
KAは、D1、D2、D3、D4を介してディスクアレ
イDAからブロック単位に分割されたデータを読み出
し、チャネルアダプタCHAを介して読み出しデータを
CPUへ送信する。 この種の従来技術を第1の従来技
術と呼ぶ。第1の従来技術として関連するディスク装置
は、例えば、日経BP社刊の「日経コンピュータ別冊メ
インフレーム’98」(1998年)第144頁から第
153頁に記載されているディスク装置がある。
イッチを介して接続したディスク装置が、特開平5−1
73722号の「マルチチャンネルデータおよびパリテ
ィの交換デバイス」に開示されている。以下、該公報に
記載の従来の技術を第2の従来技術と呼ぶ。第2の従来
の技術によれば、ディスクアレイに関連したバス本数と
ディスクアダプタに関連したバス本数とを独立に設定で
きる。ディスクアダプタとディスクアレイを、バッファ
制御ブロックを介して接続したディスク装置が、特開平
6−19627号の「回転形記憶装置」に開示されてい
る。以下、該公報に記載の従来の技術を第3の従来技術
と呼ぶ。第3の従来技術によれば、ディスクアダプタと
ディスクアレイ間のデータ転送速度を任意に設定でき、
ディスクの回転待ちの影響を低減できる。
歩に伴い、1チャネル当りのデータ転送速度は年々増加
している。例えばディスク装置に使われるファイバチャ
ネルでは、現状でチャネル当りのデータ転送速度が1G
bpsから2Gbpsであるが、近い将来4Gbpsか
ら10Gbpsへ高速化されることが予定されている。
CPUとチャネルアダプタ間(以下フロントエンドと呼
ぶ)のスールプットはこの高速化に従うことが予想され
る。ところが、ディスクアダプタとディスクアレイ間
(以下バックエンドと呼ぶ)のスループットは以下の理
由により、フロントエンドほど高速化されないと予想さ
れる。第1の理由は、ディスクドライブは機械部品を含
むので、電子、光素子のみ高速化を行えば良いフロント
エンドに比べ高速化が難しいこと、である。第2の理由
は、たとえディスクドライブが高速化したとしても、全
てのディスクドライブ毎に高速インターフェイスを搭載
するのは、多数のディスクドライブを有するディスク装
置の高コスト化を招くことである。
チャネル当りのデータ転送速度を向上させても、フロン
トエンドとバックエンドのスループット乖離により、デ
ィスク装置の性能が向上しないという問題があった。ま
た、バックエンドのスループット向上のために低速ポー
トを多数、ディスクアダプタに設けることも考えられる
が、ディスクアダプタのポート数増加は制御を複雑とす
る。第2の従来技術では、ディスクアダプタとディスク
アレイとの間にスイッチを適用することによりディスク
増設ポート数を増加させることができるが、チャネル当
りのデータ転送速度はディスクアレイのデータ転送速度
に制限されるので、ディスクアダプタとディスクアレイ
間のスループットが性能ネックになるという問題があっ
た。第3の従来技術は、ディスクの回転待ち時間の影響
を低減できる技術であり、フロントエンドとバックエン
ドのスループット乖離は低減できないという問題があっ
た。
スクアレイ間のスループットが高いディスク装置を提供
することにある。本発明の他の目的は、ディスクアダプ
タとディスクアレイ間のスループットが高く、且つディ
スクドライブ接続台数が多いディスク装置を提供するこ
とにある。本発明のさらに他の目的は、信頼性が高いデ
ィスクアレイを有するディスク装置を提供することであ
る。本発明のさらに他の目的は、信頼性が高いディスク
アダプタとディスクアレイ間ネットワークを有するディ
スク装置を提供することにある。本発明のさらに他の目
的は、信頼性およびスループットが高いディスクアダプ
タとディスクアレイ間ネットワークを有するディスク装
置を提供することにある。本発明のさらに他の目的は、
ディスクからの読み出しおよびディスクへの書きこみを
高スループット化できるディスク装置を提供することに
ある。本発明のさらに他の目的は、高スループットを維
持できるディスク装置を提供することである。本発明の
さらに他の目的は、高スループットで低コストなディス
ク装置を提供することである。
め、本発明は、ディスクコントローラとディスクアレイ
からなり、ディスクコントローラはチャネルアダプタと
キャッシュメモリとディスクアダプタを有するディスク
装置であり、ディスクアダプタとディスクアレイを、バ
ッファメモリを有するスイッチを介して接続し、ディス
クアダプタとスイッチ間のチャネル当りデータ転送速度
を、スイッチとディスクアレイ間のチャネル当りデータ
転送速度より高く設定し、スイッチは、ディスクアダプ
タが接続されたポートとディスクアレイを構成するディ
スクドライブが接続された各ポートとの間でのポート間
の接続の切り換えを、入力されたフレーム毎に、該フレ
ーム内の送信先情報にしたがって行っている。また、前
記ディスクアレイはループ状に接続した複数のディスク
ドライブからなり、前記ディスクアダプタと前記複数の
ディスクアレイとをバッファメモリを有するスイッチを
介して接続し、ディスクアダプタとスイッチ間のチャネ
ル当りデータ転送速度を、スイッチと複数のディスクア
レイ間のチャネル当りデータ転送速度より高く設定し、
スイッチは、ディスクアダプタが接続されたポートと複
数のディスクアレイが接続された各ポートとの間でのポ
ート間の接続の切り換えを、入力されたフレーム毎に、
該フレーム内の送信先情報にしたがって行っている。ま
た、前記ディスクアダプタと前記ディスクアレイを、バ
ッファメモリを有するスイッチを介して接続し、同一の
スイッチに接続したディスクドライブの組み合わせでR
AIDグループを構成し、ディスクアダプタとスイッチ
間のチャネル当りデータ転送速度を、スイッチとディス
クアレイ間のチャネル当りデータ転送速度より高く設定
し、スイッチは、ディスクアダプタが接続されたポート
とRAIDグループを構成するディスクドライブが接続
された各ポートとの間でのポート間の接続の切り換え
を、入力されたフレーム毎に、該フレーム内の送信先情
報にしたがって行っている。また、第1のディスクコン
トローラと第2のディスクコントローラと複数のディス
クアレイからなり、第1のディスクコントローラは第1
のチャネルアダプタと第1のキャッシュメモリと第1の
ディスクアダプタを有し、第2のディスクコントローラ
は第2のチャネルアダプタと第2のキャッシュメモリと
第2のディスクアダプタを有するディスク装置であり、
第1のディスクアダプタと前記複数のディスクアレイと
をバッファメモリを有する第1のスイッチを介して接続
し、且つ第2のディスクアダプタと前記複数のディスク
アレイとをバッファメモリを有する第2のスイッチを介
して接続し、さらに第1のスイッチと第2のディスクア
ダプタを接続し、第2のスイッチと第1のディスクアダ
プタを接続し、第2のディスクアダプタと第2のスイッ
チ間、および第1のディスクアダプタと第2のスイッチ
間のチャネル当りデータ転送速度を第2のスイッチと前
記複数のディスクアレイ間のチャネル当りデータ転送速
度より高く設定し、第1のスイッチは、第1のディスク
アダプタまたは第2のディスクアダプタが接続されたポ
ートと前記複数のディスクアレイが接続された各ポート
との間でのポート間の接続の切り換えを、入力されたフ
レーム毎に、該フレーム内の送信先情報にしたがって行
い、第2のスイッチは、第1のディスクアダプタまたは
第2のディスクアダプタが接続されたポートと前記複数
のディスクアレイが接続された各ポートとの間でのポー
ト間の接続の切り換えを、入力されたフレーム毎に、該
フレーム内の送信先情報にしたがって行っている。ま
た、さらに、上記第1のスイッチと第2のスイッチを、
上記第1のディスクアダプタと第2のスイッチ間を接続
したチャネルと同等のデータ転送速度を有するチャネル
と、第2のディスクアダプタと第1のスイッチ間を接続
したチャネルと同等のデータ転送速度を有するチャネル
と、を介して接続している。また、前記ディスクアレイ
からのデータ読み出し時には、前記ディスクアレイから
前記スイッチに転送されるデータを前記スイッチにおい
て多重化して前記ディスクアダプタに転送し、前記ディ
スクアレイへのデータ書き込み時には、前記ディスクア
ダプタから前記スイッチに転送されるデータを前記スイ
ッチにおいて逆多重化して前記ディスクアレイに転送す
るようにしている。また、前記ディスクアダプタから前
記ディスクアレイへのデータ書き込み時に、前記ディス
クアダプタは、前記ポート間の接続の切り替えが行われ
るように、送出するフレームに送信先情報を設定し、前
記ディスクアレイから前記ディスクアダプタへのデータ
読み出し時に、前記スイッチは、ラウンドロビン方式に
より前記ポート間の接続を切り替えるようにしている。
また、さらに、切り替えるポート数を、ディスクアダプ
タとスイッチ間のチャネル当りデータ転送速度の、スイ
ッチとディスクアレイ間のチャネル当りデータ転送速度
に対する比、と同程度に設定している。また、前記ディ
スクアダプタと前記スイッチ間を光ファイバケーブルで
接続し、前記スイッチと前記ディスクアレイ間をメタル
ケーブルで接続するようにしている。
施の形態を詳細に説明する。図1に本発明の、第1の実
施の形態であるディスク装置の構成を示す。本実施の形
態のディスク装置は、ディスクコントローラDKCとデ
ィスクアレイDAからなる。ディスクコントローラDK
Cは、チャネルアダプタCHAと、キャッシュメモリC
Mと、ディスクアダプタDKAからなる。チャネルアダ
プタCHAは、上位CPU(図示せず)とディスクコン
トローラDKCとがデータを送受信する際の制御を行
う。C1、C2、C3およびC4は、チャネルアダプタ
CHAがCPUと通信するチャネルである。キャッシュ
メモリCMは、本実施の形態のディスク装置が入出力す
るデータを一時保存するメモリである。ディスクアダプ
タDKAは、ディスクコントローラDKCとディスクア
レイDAとがデータを送受信する際の制御を行う。ディ
スクアダプタDKAは、チャネルD01、D02、D0
3、D04を介して、ディスクアレイDAと接続する。
ディスクアダプタDKAとディスクアレイDAは、チャ
ネルD01、D02、D03、D04上で全二重通信が
可能である。
ディスクアダプタDKAとディスクアレイDAを、スイ
ッチSW1、SW2、SW3、SW4を介して接続して
いる点に特徴がある。ディスクアレイDAは、ディスク
グループR1、R2、R3、R4からなる。ディスクグ
ループR1は、スイッチSW1介してディスクアダプタ
DKAと接続する。同様に、ディスクグループR2はス
イッチSW2を介して、ディスクグループR3はスイッ
チSW3を介して、ディスクグループR4はスイッチS
W4介して、それぞれディスクアダプタDKAと接続す
る。
IDシステムを構築する場合は、ディスクグループR
1、R2、R3、R4を、それぞれRAIDグループと
する。本実施の形態では、4個のディスクドライブでR
AIDグループを構成しているが、RAIDグループを
構成するドライブ数を4個に限るものではない。各ディ
スクグループへのデータ読み出しまたは書き込み時のデ
ータの流れを、ディスクグループR1を例にして述べ
る。ここでR1はRAIDレベル5のRAIDグループ
である。チャネルC1、C2、C3、C4からディスク
グループR1へ書き込むためにCPUから送信されたデ
ータは、ディスクアダプタDKAにおいてブロック単位
に分割されると同時に、該ブロック単位に分割されたデ
ータからパリティが生成される。該ブロック単位に分割
されたデータと、生成されたパリティは、チャネルD0
1を通りスイッチSW1へ入力される。スイッチSW1
は、RAID制御に伴い、該ブロック単位に分割された
データと、生成されたパリティとをルーティングし、チ
ャネルD11、D12、D13、D14へ分配する。デ
ータ読み出し時は、ディスクアダプタDKAは、D1
1、D12、D13、D14を介してディスクグループ
R1からブロック単位に分割されたデータを読み出し、
スイッチSW1でシリアル化して、チャネルD01を介
して読み出しデータを受信する。
ィスクアダプタDKAに接続したチャネルD1、D2、
D3、D4上で、既にディスクアレイへの書き込みデー
タおよびパリティが別々のチャネルに分配されていた。
それに対し、本実施の形態のディスク装置においては、
スイッチSW1通過後に別々のチャネルに分配される点
が従来と異なる。
であるスイッチの動作を、スイッチSW1を例にとり説
明する。SW2〜SW4の動作もSW1の動作と同様で
ある。図1に示すように、スイッチSW1は入出力ポー
トP1、P2、P3、P4、P5を有する。ポートP
1、P2、P3、P4、P5は、全二重通信可能な入出
力ポートであり、ポート毎にバッファメモリを有してい
る。スイッチSW1の内部構成を図2と図3に示す。簡
単のため、データの進行方向によりスイッチ動作を分け
て説明する。また、チャネルD01、D11、D12、
D13、D14上を流れるデータは、フレーム単位で送
受信され、かつデータは8B10B変換で符号化されて
いる。
ームを入力し、ポートP2、P3、P4、P5から出力
する場合を示す。これはディスクアレイへの書き込み時
のスイッチ動作に相当する。スイッチSW1は図2に示
すように、クロスバスイッチXSWと、スイッチコント
ローラCTLからなる。クロスバスイッチXSWは5×
5のクロスバスイッチであり、入力ポートin1、in
2、in3、in4、in5と、出力ポートout1、
out2、out3、out4、out5を有する。ポ
ートP1から入力したフレームは、シリアルパラレル変
換装置SP1と、バッファメモリBM1と、8B10B
変換デコーダDEC1を経由し、スイッチコントローラ
CTLと入力ポートin1へ入力される。スイッチコン
トローラCTLにおいて、入力フレームのヘッダ部分に
書かれた送信先アドレスを解読し、クロスバスイッチX
SWを切り換える。例として、ポートP2が出力先とし
て選ばれた場合は、入力したフレームは出力ポートou
t2と、8B10B変換エンコーダENC2と、バッフ
ァメモリBM2と、パラレルシリアル変換装置PS2を
経由して、ポートP2から出力される。ここで、バッフ
ァメモリBM1、BM2はFIFO(First−In
First−out)メモリである。
10B符号化されたシリアルデータを10bit幅のパ
ラレルデータに変換し、ポートP1におけるデータ転送
速度の1/10の速度に同期してバッファメモリBM1
に書き込む。8B10BデコーダDEC1は、クロスバ
スイッチXSWの動作速度に同期して、10bitパラ
レルデータをバッファメモリBM1から読み出し、8B
10B復号化して、8bitパラレルデータに変換す
る。8B10BエンコーダENC2は、クロスバスイッ
チXSWでスイッチされた8bitパラレルデータを再
び8B10B符号化し、10bitパラレルデータに変
換後、クロスバスイッチXSWの動作速度に同期してバ
ッファメモリBM2に書き込む。パラレルシリアル変換
装置PS2は、ポートP2におけるデータ転送速度の1
/10の速度に同期して、10bitパラレルデータを
バッファメモリBM2から読み出し、シリアル化して、
ポートP2から出力する。以上によりスイッチSW1
は、ポートP1におけるデータ転送速度からポートP2
におけるデータ転送速度へ速度変換する。
と、ポートP2、P3、P4、P5から出力されるフレ
ームを示した図である。波形の凸はフレームが存在する
時間、凹はフレームが存在していない時間を示してい
る。フレームは伝送するデータ容量に従ってそのフレー
ム長が変化するが、ここではディスクアレイへのシーケ
ンシャルアクセスが行われており、フレーム長が一定で
ある。図4では、入力ポートP1でのデータ転送速度が
出力ポートP2、P3、P4、P5におけるデータ転送
速度のm倍あるとする。従って、ポートP1におけるフ
レームFb2の時間T1は、ポートP2からの出力時に
T3へ伸びている。ここでT3=m×T1である。
データ転送速度が遅い場合は、スイッチを周期的に切り
換えないと出力ポートのバッファメモリが溢れ、スルー
プットが低下する。フレームがスループットの低下無く
スイッチを通過するには、図4のように周期的に出力ポ
ートを切り換える必要がある。スイッチ切替えポート数
をnとすると、スイッチ切替え周期T2≒n×T1であ
る(フレームの無い時間は無視した)。T2≧T3なら
ば、フレームの衝突無く、スループットの低下は起こら
ない。T2≧T3はn≧mと同じある。つまり、ディス
クアレイへのデータ書き込み時に、スイッチにおいてス
ループット低下を起こさないための条件は、周期的に切
り替えるスイッチポート数nを、ディスクアダプタとス
イッチ間のチャネル当りデータ転送速度の、スイッチと
ディスクアレイ間のチャネル当りデータ転送速度に対す
る比m、以上に設定することである。この条件が保たれ
れば、スイッチSW1は、ポートP1から入力したデー
タをバッファメモリにおいて速度変換し、フレーム単位
で周期的に切り替えることにより逆多重化し、ポートP
2、P3、P4、P5へ分配して出力する。スイッチを
周期的に切り換える方法の一つは、スイッチに接続した
ディスクグループをRAIDグループとすることであ
る。RAIDのストライピング制御に従えば、スイッチ
は周期的に切り替わる。
らフレームを入力し、ポートP1から出力する場合を示
す。これはディスクアレイからの読み出し時のスイッチ
動作に相当する。例えば、ポートP2から入力したフレ
ームは、シリアルパラレル変換装置SP2と、バッファ
メモリBM2と、8B10B変換デコーダDEC2を経
由し、スイッチコントローラCTLと入力ポートin2
へ入力される。スイッチコントローラCTLにおいて、
入力フレームのヘッダ部分に書かれた送信先アドレスを
解読し、クロスバスイッチXSWを切り換える。図3の
場合は、ラウンドロビン方式によりクロスバススイッチ
XSWを切り替えて、順番にポートP2、P3、P4、
P5から入力されるデータは全てポートP1へ出力す
る。すなわち、読み出し時は、複数の入力ポート(P
2、P3、P4、P5)に同時にフレームが届く。これ
ら複数の入力フレームは同期して入力ポートに届く必要
はない。スイッチは、総当り的に入出力ポート間接続を
切り替えることにより、これら複数の入力フレームを1
フレームずつ出力ポート(P1)へ転送する。このよう
に、スイッチを総当り的に切り替える方式を、ラウンド
ロビン(Round Robin)方式と呼ぶ。ラウンドロビン方式
により、結果的にスイッチは周期的に切り替わることに
なる。なお、読み出し時においても、スイッチはフレー
ム内送信先情報に従って切り替わることに違いはない。
フレームは出力ポートout1と、8B10B変換エン
コーダENC1と、バッファメモリBM1と、パラレル
シリアル変換装置PS1を経由して、ポートP1から出
力される。
10B符号化されたシリアルデータを10bit幅のパ
ラレルデータに変換し、ポートP2におけるデータ転送
速度の1/10の速度に同期してバッファメモリBM2
に書き込む。8B10BデコーダDEC2は、クロスバ
スイッチXSWの動作速度に同期して、10bitパラ
レルデータをバッファメモリBM2から読み出し、8B
10B復号化して、8bitパラレルデータに変換す
る。8B10BエンコーダENC1は、クロスバスイッ
チXSWでスイッチされた8bitパラレルデータを再
び8B10B符号化し、10bitパラレルデータに変
換後、クロスバスイッチXSWの動作速度に同期してバ
ッファメモリBM1に書き込む。パラレルシリアル変換
装置PS1は、ポートP1におけるデータ転送速度の1
/10の速度に同期して、10bitパラレルデータを
バッファメモリBM1から読み出し、シリアル化して、
ポートP1から出力する。以上によりスイッチSW1
は、ポートP2におけるデータ転送速度からポートP1
におけるデータ転送速度へ速度変換する。
入力するフレームと、ポートP1から出力されるフレー
ムを示した図である。波形の凸はフレームが存在する時
間、凹はフレームが存在していない時間を示している。
フレームは伝送するデータ容量に従ってそのフレーム長
が変化するが、ここではディスクアレイへのシーケンシ
ャルアクセスが行われており、フレーム長が一定であ
る。図5では、入力ポートP1でのデータ転送速度が出
力ポートP2、P3、P4、P5におけるデータ転送速
度のm倍あるとする。従って、ポートP5におけるフレ
ームFe5の時間T4は、ポートP1からの出力時にT
5へ縮んでいる。ここでT4=m×T5である。フレー
ムFe2、Fe3、Fe4、Fe5をポートP1から出
力するのにかかる時間をT6とする。スイッチ切り替え
ポート数をnとすると、T6≒n×T5である(フレー
ムの無い時間は無視した)。スイッチにおいて輻輳によ
るスループット低下を防止するためには、T6≦T4と
する必要がある。T6≦T4はn≦mと同じある。
出し時に、スイッチにおいてスループット低下を起こさ
ないための条件は、周期的に切り替えるスイッチポート
数nを、ディスクアダプタとスイッチ間のチャネル当り
データ転送速度の、スイッチとディスクアレイ間のチャ
ネル当りデータ転送速度に対する比m、以下に設定す
る、ことである。この条件が保たれれば、スイッチSW
1は、ポートP2、P3、P4、P5から入力したデー
タをバッファメモリにおいて速度変換し、フレーム単位
で周期的に切り替えることにより多重化し、ポートP1
へ出力する。よって、ディスクアレイへの書き込みおよ
びディスクアレイからの読み出しを高スループット化す
るためには、n≒m、つまり、周期的に切り替えるポー
ト数を、ディスクアダプタとスイッチ間のチャネル当り
データ転送速度の、スイッチとディスクアレイ間のチャ
ネル当りデータ転送速度に対する比、と同程度に設定す
ればよいことが分かる。
4Gbpsのチャネル1本で接続し、スイッチとディス
クアレイ間を1Gbpsのチャネル4本で接続する。ま
た、ディスクアダプタとスイッチ間の10Gbpsのチ
ャネル1本で接続し、スイッチとディスクアレイ間を2
Gbpsのチャネル4本で接続する。この場合、スイッ
チ入出力ポート間でスループットのバランスが取れない
ので、実効的なスループットは2Gbps×4=8Gb
psとなる。
換と多重化、逆多重化が行われるので、チャネルD1
1、D12、D13、D14上のデータ転送速度が低速
でも、チャネルD01、D02、D03、D04でのデ
ータ転送速度は高速にできる。つまり、ディスクアダプ
タDKAとディスクアレイDA間のスループットを向上
できる。本実施の形態のディスク装置におけるデータ転
送方式としては、ファイバチャネルやインフィニバンド
が使用できる。
において、ディスクドライブの増設方法を示した図であ
る。図6では図1に対して、ディスクグループR5とR
6が増設されている。ディスクドライブを増設するた
め、スイッチSW1とSW2としてポート数の多いスイ
ッチを使用している。ディスクドライブを増設すると、
スイッチのディスクアレイ側のスループットが増加し、
ディスクアダプタ側とのスループットバランスが崩れる
ので、スイッチの速度変換機能が有効に働かなくなる可
能性がある。そこでスイッチSW1では、ディスクアダ
プタDKAとの間に、新規チャネルD05を増設してい
る。また、スイッチSW2の場合は新規チャネルを増設
せず、チャネルD02の信号伝送速度を増加させること
で、ディスクアダプタ側とディスクアレイ側のスループ
ットバランスを取っている。例えばスイッチSW1で
は、スイッチとディスクアレイ間を1Gbpsのチャネ
ル8本で接続し、ディスクアダプタとスイッチ間を4G
bpsのチャネル2本で接続する。スイッチSW2で
は、スイッチとディスクアレイ間を1Gbpsのチャネ
ル8本で接続し、ディスクアダプタとスイッチ間を10
Gbpsのチャネル1本で接続する。このように、本実
施の形態のディスク装置は、スイッチのポート数に応じ
て、ディスクドライブを増設可能である。このディスク
ドライブ増設方法は、1ポート当たりに接続できるドラ
イブ数が少ないATA(AT Attachment)
方式ディスクドライブを増設するのに適用できる。
ディスク装置の構成を示す。本実施の形態のディスク装
置は、第1の実施の形態のディスク装置に対して、ディ
スクアレイ部分の構成方法が異なる。本実施の形態のデ
ィスク装置は、ディスクコントローラDKCと、4個の
ディスクアレイDA1、DA2、DA3、DA4からな
る。ディスクコントローラDKCは、チャネルアダプタ
CHA、キャッシュメモリCM、ディスクアダプタDK
Aからなる。ディスクアレイDA1とディスクアダプタ
DKAは、チャネルD01とスイッチSW1を介して接
続する。同様に、ディスクアレイDA2はチャネルD0
2とスイッチSW2を介して、ディスクアレイDA3は
チャネルD03とスイッチSW3を介して、ディスクア
レイDA4はチャネルD04とスイッチSW4を介し
て、それぞれディスクアダプタDKAと接続する。スイ
ッチSW1、SW2、SW3とSW4は、第1の実施の
形態と同様に速度変換と多重化、逆多重化を行うスイッ
チとして機能する。本実施の形態におけるディスクアダ
プタDKAと、スイッチSW1、SW2、SW3、SW
4と、ディスクアレイDA1、DA2、DA3、DA4
との間のデータ転送方式は、ファイバチャネルを使用し
ている。スイッチSW1、SW2、SW3、SW4はフ
ァイバチャネルスイッチである。
成を、ディスクアレイDA1を例に述べる。ディスクア
レイDA1、DA2、DA3、DA4は、同様のドライ
ブ構成である。ディスクアレイDA1は、チャネルD1
1上に接続した4個のディスクからなるディスクアレイ
と、D12上に接続した4個のディスクからなるディス
クアレイと、D13上に接続した4個のディスクからな
るディスクアレイと、D14上に接続した4個のディス
クからなるディスクアレイ、からなる。チャネルD11
を例にとると、ディスクドライブDK1、DK2、DK
3、DK4が、チャネルD11上に接続されている。こ
のように、多数のドライブを一つのチャネル上に接続し
てディスクドライブにアクセスする方法としては、ファ
イバチャネルアービトレイテッドループ(以下FC−A
Lと呼ぶ)がある。
クドライブDK1、DK2、DK3、DK4の接続形態
を例として示す。各ディスクドライブの入出力ポートお
よびスイッチSW1の入出力ポートは、送信機Txと受
信機Rxを有する。FC−ALの接続形態は、例えば図
10に示すように、各ドライブの入出力ポートおよびス
イッチの入出力ポートをループ状に接続するトポロジで
ある。各ドライブの入出力ポートはファイバチャネルの
NL(Node Loop)ポートとして機能する。N
Lポートとは、ループ動作をする装置(ここではディス
クドライブ)のポートである。スイッチSW1のディス
クアレイDA1接続側入出力ポートは、ファイバチャネ
ルのFL(Fabric Loop)ポートとして機能
する。FLポートとは、FC−ALを接続可能なスイッ
チのポートである。FLポートを有するループは、ファ
イバチャネルのパブリックループとして機能するので、
チャネルD11が形成するFC−ALはパブリックルー
プとなる。パブリックループとは、ループ上のディスク
ドライブが、スイッチを介してループ外のポートと通信
可能なループである。よって、ディスクドライブDK
1、DK2、DK3、DK4は、スイッチSW1および
チャネルD01を介してディスクアダプタDKAと通信
可能である。以上、チャネルD11の接続形態を例に説
明したが、チャネルD12、D13、D14でも同様で
ある。本実施の形態のディスク装置においてRAIDシ
ステムを構築する場合は、ディスクグループR1、R
2、R3、R4を、それぞれRAIDグループとする。
本実施の形態では、4個のディスクドライブでRAID
グループを構成しているが、RAIDグループを構成す
るドライブ数を4個に限るものではない。
1、D12、D13、D14において、それぞれFC−
ALを用いてディスクドライブを接続している。FC−
ALの仕様から、チャネルD11、D12、D13、D
14上には、それぞれ最大126台までのディスクドラ
イブが接続可能である。また、チャネルD01、D0
2、D03、D04の媒体として光ファイバケーブル
を、チャネルD11、D12、D13、D14の媒体と
してメタルケーブルを用いる。
スク装置においては、ディスクドライブをFC−ALで
接続しているので、スイッチのポート当りに接続できる
ドライブ台数が増加できる。つまり、ディスク装置当り
の記憶容量を増加させる効果がある。また、ディスクド
ライブをメタルケーブルで接続することにより、ディス
クドライブ毎に高価な光インターフェイスを装備する必
要がなくなるので、ディスクドライブのコストを下げる
効果がある。
ディスク装置の構成を示す。本実施の形態のディスク装
置は、ディスクコントローラとスイッチを二重化した点
に特徴がある。本実施の形態において、ディスクアダプ
タDKA1、DKA2と、スイッチSW1、SW2と、
ディスクアレイDA1との間のデータ転送方式は、ファ
イバチャネルを使用している。本実施の形態のディスク
装置は、ディスクコントローラDKC1、DKC2と、
スイッチSW1、SW2と、ディスクアレイDA1から
なる。スイッチSW1とSW2は、第1の実施の形態と
同様に速度変換と多重化、逆多重化を行うスイッチとし
て機能する。ディスクコントローラDKC1は、チャネ
ルアダプタCHA1と、キャッシュメモリCM1と、デ
ィスクアダプタDKA1からなる。ディスクコントロー
ラDKC2は、チャネルアダプタCHA2と、キャッシ
ュメモリCM2と、ディスクアダプタDKA2からな
る。ディスクアダプタDKA1とスイッチSW1をチャ
ネルD1aで接続し、ディスクアダプタDKA2とスイ
ッチSW2をチャネルD2aで接続し、ディスクアダプ
タDKA1とスイッチSW2をチャネルD1bで接続
し、ディスクアダプタDKA2とスイッチSW1をチャ
ネルD2bで接続する。
ドライブは、入出力ポートを2個有する。例えば、ディ
スクドライブDK1、DK2、DK3、DK4は、チャ
ネルD11およびD21の両チャネルと接続する。ディ
スクアレイDA1は、チャネルD11とD21に接続し
た4個のディスクからなるディスクアレイと、D12と
D22に接続した4個のディスクからなるディスクアレ
イと、D13とD23に接続した4個のディスクからな
るディスクアレイと、D14とD24に接続した4個の
ディスクからなるディスクアレイ、からなる。チャネル
D11、D12、D13、D14、D21、D22、D
23、D24は、FC−ALでディスクドライブを接続
する。
の接続形態を、ディスクドライブDK1、DK2、DK
3、DK4の接続形態を例として示す。各ディスクドラ
イブは、それぞれNLポートを2個有する。各ディスク
ドライブの入出力ポートおよびスイッチSW1、SW2
の入出力ポートは、送信機Txと受信機Rxを有する。
スイッチSW1、SW2のディスクアレイDA1接続側
入出力ポートは、FLポートである。チャネルD11に
より、スイッチSW1、ディスクドライブDK1、DK
2、DK3、DK4をループ状に接続する。同様にチャ
ネルD21により、スイッチSW2、ディスクドライブ
DK1、DK2、DK3、DK4をループ状に接続す
る。これら2個のループは、ファイバチャネルのパブリ
ックループであり、ディスクドライブDK1、DK2、
DK3、DK4は、スイッチSW1またはSW2を介し
てディスクアダプタDKA1またはDKA2と通信可能
である。以上、チャネルD11、D21の接続形態を例
に説明したが、チャネルD12、D13、D14、D2
2、D23、D24でも同様である。本実施の形態のデ
ィスク装置においてRAIDシステムを構築する場合
は、ディスクグループR1、R2、R3、R4を、それ
ぞれRAIDグループとする。本実施の形態では、4個
のディスクドライブでRAIDグループを構成している
が、RAIDグループを構成するドライブ数を4個に限
るものではない。
イブは、ディスクアダプタDKA1およびDKA2のど
ちらからでもアクセス可能である。本実施の形態のディ
スク装置は、チャネルD1b、D2bをスイッチSW
1、SW2故障時の迂回経路として使用する。例えばス
イッチSW1が故障した場合でも、ディスクアダプタD
KA1はチャネルD1bとスイッチSW2経由でディス
クアレイDA1にアクセスできる。逆に、スイッチSW
2が故障した場合は、ディスクアダプタDKA2はチャ
ネルD2bとスイッチSW1経由でディスクアレイDA
1にアクセスできるので、信頼性が高いディスク装置が
実現できる。
るディスク装置の構成を示す。本実施の形態のディスク
装置は、第3の実施の形態のディスク装置に対して、ス
イッチSW1、SW2間を接続するチャネルD3a、D
3bを設けた点に特徴が有る。本実施の形態において、
ディスクアダプタDKA1、DKA2と、スイッチSW
1、SW2と、ディスクアレイDA1との間のデータ転
送方式は、ファイバチャネルを使用している。本実施の
形態のディスク装置は、ディスクコントローラDKC
1、DKC2と、スイッチSW1、SW2と、ディスク
アレイDA1からなる。スイッチSW1とSW2は、第
1の実施の形態と同様に速度変換と多重化、逆多重化を
行うスイッチとして機能する。ディスクコントローラD
KC1は、チャネルアダプタCHA1と、キャッシュメ
モリCM1と、ディスクアダプタDKA1からなる。デ
ィスクコントローラDKC2は、チャネルアダプタCH
A2と、キャッシュメモリCM2と、ディスクアダプタ
DKA2からなる。ディスクアダプタDKA1とスイッ
チSW1をチャネルD1aで接続し、ディスクアダプタ
DKA2とスイッチSW2をチャネルD2aで接続し、
ディスクアダプタDKA1とスイッチSW2をチャネル
D1bで接続し、ディスクアダプタDKA2とスイッチ
SW1をチャネルD2bで接続する。さらに、スイッチ
SW1とSW2をチャネルD3a、D3bで接続する。
ドライブは、入出力ポートを2個有する。例えば、ディ
スクドライブDK1、DK2、DK3、DK4は、チャ
ネルD11およびD21の両チャネルと接続する。ディ
スクアレイDA1は、チャネルD11とD21に接続し
た4個のディスクからなるディスクアレイと、D12と
D22に接続した4個のディスクからなるディスクアレ
イと、D13とD23に接続した4個のディスクからな
るディスクアレイと、D14とD24に接続した4個の
ディスクからなるディスクアレイ、からなる。チャネル
D11、D12、D13、D14、D21、D22、D
23、D24は、図11に示すようにFC−ALでディ
スクドライブを接続する。ディスクアレイDA1内の全
ディスクドライブは、ディスクアダプタDKA1および
DKA2のどちらからでもアクセス可能である。本実施
の形態のディスク装置においてRAIDシステムを構築
する場合は、ディスクグループR1、R2、R3、R4
を、それぞれRAIDグループとする。本実施の形態で
は、4個のディスクドライブでRAIDグループを構成
しているが、RAIDグループを構成するドライブ数を
4個に限るものではない。
ィスクアレイDA1のアクセス経路について、先ず、定
常時(スイッチ故障無しの場合)について説明する。デ
ィスクアダプタDKA1は、チャネルD1aとSW1を
介してディスクアレイDA1にアクセスする経路(経路
1)と、チャネルD1bとスイッチSW2とチャネルD
3aとスイッチSW1を介してディスクアレイDA1に
アクセスする経路(経路2)を有する。同様に、ディス
クアダプタDKA2は、チャネルD2aとSW2を介し
てディスクアレイDA1にアクセスする経路(経路3)
と、チャネルD2bとスイッチSW1とチャネルD3b
とスイッチSW2を介してディスクアレイDA1にアク
セスする経路(経路4)を有する。一方、スイッチ故障
時は、チャネルD1b、D2bを迂回経路として使用す
る。例えばスイッチSW1が故障した場合でも、ディス
クアダプタDKA1はチャネルD1bとスイッチSW2
経由でディスクアレイDA1にアクセスできる。逆に、
スイッチSW2が故障した場合は、ディスクアダプタD
KA2はチャネルD2bとスイッチSW1経由でディス
クアレイDA1にアクセスできる。
プタ−ディスクアレイ間のスループットについて説明す
る。例として、チャネルD1a、D1b、D2a、D2
b、D3a、D3b上のデータ伝送速度をチャネル当り
2Gbpsとし、チャネルD11、D12、D13、D
14、D21、D22、D23、D24上のデータ伝送
速度をチャネル当り1Gbpsであるとする。このと
き、スイッチSW1とディスクアレイDA1間の総スル
ープットは4Gbpsである。ディスクアダプタDKA
1とスイッチSW1間は、上記経路1および経路2でア
クセスすることにより、総スループットは4Gbpsと
なる。スイッチSW1のディスクアダプタDKA1側
と、ディスクアレイDA1側のスループットが共に4G
bpsであるので、ディスクアダプタDKA1とディス
クアレイDA1間のスループットは4Gbpsとなる。
同様に、スイッチSW2とディスクアレイDA1間の総
スループットは4Gbpsである。ディスクアダプタD
KA2とスイッチSW2間は、上記経路3および経路4
でアクセスすることにより、総スループットは4Gbp
sとなる。スイッチSW2のディスクアダプタDKA2
側と、ディスクアレイDA1側のスループットが共に4
Gbpsであるので、ディスクアダプタDKA2とディ
スクアレイDA2間のスループットは4Gbpsとなる
第3の実施の形態(図8)において、上記のチャネル当
りスループット値を適用すると、チャネルD1b、D2
bをスイッチ故障時の迂回経路としか使用しないので、
ディスクアダプタDKA1とディスクアレイDA1間の
スループットは、チャネルD1a上のスループットに制
限され、2Gbpsとなる。同様に、ディスクアダプタ
DKA2とディスクアレイDA1間のスループットは、
チャネルD2a上のスループットに制限され、2Gbp
sとなる。第3の実施の形態において、ディスクアダプ
タ−ディスクアレイ間スループットを4Gbpsにする
ためには、チャネルD1aおよびD2aのデータ伝送速
度を、それぞれ4Gbpsに高める必要がある。以上か
ら、本実施の形態によれば、ディスクアダプタ−スイッ
チ間のチャネル当りデータ伝送速度が低くても、ディス
クアダプタ−ディスクアレイ間の総スループットが高い
ディスク装置が実現できる。
下の効果がある。ディスクアダプタとディスクアレイ間
のスループットが高いディスク装置を提供できる。ま
た、ディスクアダプタとディスクアレイ間のスループッ
トが高く、且つディスクドライブ接続台数が多いディス
ク装置を提供できる。また、信頼性の高いディスクアレ
イを有するディスク装置を提供できる。また、信頼性が
高いディスクアダプタとディスクアレイ間ネットワーク
を有するディスク装置を提供できる。また、信頼性およ
びスループットが高いディスクアダプタとディスクアレ
イ間ネットワーク、を有するディスク装置を提供でき
る。また、ディスクからの読み出しおよびディスクへの
書きこみを高スループット化できるディスク装置を提供
できる。また、高スループットを維持できるディスク装
置を提供できる。また、ディスクアダプタとディスクア
レイ間のスループットが高く低コストなディスク装置を
提供できる。
す図である。
る。
る。
る。
る。
ライブを増設する方法を示す図である。
す図である。
す図である。
る。
る。
示す図である。
14、D21〜D24、D1a、D1b、D2a、D2
b、D3a、D3b チャネル SW1〜SW4 スイッチ P1〜P5 スイッチポート XSW クロスバスイッチ CTL スイッチコントローラ in1〜in5 クロスバスイッチ入力ポート out1〜out5 クロスバスイッチ出力ポート SP1、SP2 シリアルパラレル変換装置 PS1、PS2 パラレルシリアル変換装置 BM1、BM2 パッファメモリ DEC1、DEC2 8B10B変換デコーダ ENC1、ENC2 8B10B変換エンコーダ T1、T2、T3、 T4、T5、T6 フレームの時間 Tx 送信機 Rx 受信機 NL NLポート FL FLポート
Claims (9)
- 【請求項1】 ディスクコントローラとディスクアレイ
からなり、前記ディスクコントローラはチャネルアダプ
タとキャッシュメモリとディスクアダプタを有するディ
スク装置において、 前記ディスクアダプタと前記ディスクアレイを、バッフ
ァメモリを有するスイッチを介して接続し、 前記スイッチは、前記ディスクアダプタが接続されたポ
ートと前記ディスクアレイを構成するディスクドライブ
が接続された各ポートとの間でのポート間の接続の切り
換えを、入力されたフレーム毎に、該フレーム内の送信
先情報にしたがって行うことを特徴とするディスク装
置。 - 【請求項2】 ディスクコントローラと複数のディスク
アレイからなり、前記ディスクコントローラはチャネル
アダプタとキャッシュメモリとディスクアダプタを有す
るディスク装置において、 前記ディスクアレイはループ状に接続した複数のディス
クドライブからなり、前記ディスクアダプタと前記複数
のディスクアレイとをバッファメモリを有するスイッチ
を介して接続し、 前記ディスクアダプタと前記スイッチ間のチャネル当り
データ転送速度を、前記スイッチと前記複数のディスク
アレイ間のチャネル当りデータ転送速度より高く設定
し、 前記スイッチは、前記ディスクアダプタが接続されたポ
ートと前記複数のディスクアレイが接続された各ポート
との間でのポート間の接続の切り換えを、入力されたフ
レーム毎に、該フレーム内の送信先情報にしたがって行
うことを特徴とするディスク装置。 - 【請求項3】 ディスクコントローラとディスクアレイ
からなり、前記ディスクコントローラはチャネルアダプ
タとキャッシュメモリとディスクアダプタを有するディ
スク装置において、 前記ディスクアダプタと前記ディスクアレイを、バッフ
ァメモリを有するスイッチを介して接続し、 同一のスイッチに接続したディスクドライブの組み合わ
せでRAIDグループを構成し、 前記ディスクアダプタと前記スイッチ間のチャネル当り
データ転送速度を、前記スイッチと前記ディスクアレイ
間のチャネル当りデータ転送速度より高く設定し、 前記スイッチは、前記ディスクアダプタが接続されたポ
ートと前記RAIDグループを構成するディスクドライ
ブが接続された各ポートとの間でのポート間の接続の切
り換えを、入力されたフレーム毎に、該フレーム内の送
信先情報にしたがって行うことを特徴とするディスク装
置。 - 【請求項4】 第1のディスクコントローラと第2のデ
ィスクコントローラと複数のディスクアレイからなり、 第1のディスクコントローラは第1のチャネルアダプタ
と第1のキャッシュメモリと第1のディスクアダプタを
有し、 第2のディスクコントローラは第2のチャネルアダプタ
と第2のキャッシュメモリと第2のディスクアダプタを
有するディスク装置において、 第1のディスクアダプタと前記複数のディスクアレイと
をバッファメモリを有する第1のスイッチを介して接続
し、且つ第2のディスクアダプタと前記複数のディスク
アレイとをバッファメモリを有する第2のスイッチを介
して接続し、さらに第1のスイッチと第2のディスクア
ダプタを接続し、第2のスイッチと第1のディスクアダ
プタを接続し、 第1のディスクアダプタと第1のスイッチ間、および第
2のディスクアダプタと第1のスイッチ間のチャネル当
りデータ転送速度を第1のスイッチと前記複数のディス
クアレイ間のチャネル当りデータ転送速度より高く設定
し、 第2のディスクアダプタと第2のスイッチ間、および第
1のディスクアダプタと第2のスイッチ間のチャネル当
りデータ転送速度を第2のスイッチと前記複数のディス
クアレイ間のチャネル当りデータ転送速度より高く設定
し、 第1のスイッチは、第1のディスクアダプタまたは第2
のディスクアダプタが接続されたポートと前記複数のデ
ィスクアレイが接続された各ポートとの間でのポート間
の接続の切り換えを、入力されたフレーム毎に、該フレ
ーム内の送信先情報にしたがって行い、 第2のスイッチは、第1のディスクアダプタまたは第2
のディスクアダプタが接続されたポートと前記複数のデ
ィスクアレイが接続された各ポートとの間でのポート間
の接続の切り換えを、入力されたフレーム毎に、該フレ
ーム内の送信先情報にしたがって行うことを特徴とする
ディスク装置。 - 【請求項5】 第1のディスクコントローラと第2のデ
ィスクコントローラと複数のディスクアレイからなり、 第1のディスクコントローラは第1のチャネルアダプタ
と第1のキャッシュメモリと第1のディスクアダプタを
有し、 第2のディスクコントローラは第2のチャネルアダプタ
と第2のキャッシュメモリと第2のディスクアダプタを
有するディスク装置において、 第1のディスクアダプタと前記複数のディスクアレイと
をバッファメモリを有する第1のスイッチを介して接続
し、且つ第2のディスクアダプタと前記複数のディスク
アレイとをバッファメモリを有する第2のスイッチを介
して接続し、さらに第1のスイッチと第2のディスクア
ダプタを接続し、第2のスイッチと第1のディスクアダ
プタを接続し、 第1のディスクアダプタと第1のスイッチ間、および第
2のディスクアダプタと第1のスイッチ間のチャネル当
りデータ転送速度を第1のスイッチと前記複数のディス
クアレイ間のチャネル当りデータ転送速度より高く設定
し、 第2のディスクアダプタと第2のスイッチ間、および第
1のディスクアダプタと第2のスイッチ間のチャネル当
りデータ転送速度を第2のスイッチと前記複数のディス
クアレイ間のチャネル当りデータ転送速度より高く設定
し、 第1のスイッチと第2のスイッチを、第1のディスクア
ダプタと第2のスイッチ間を接続したチャネルと同等の
データ転送速度を有するチャネルと、第2のディスクア
ダプタと第1のスイッチ間を接続したチャネルと同等の
データ転送速度を有するチャネルと、を介して接続し、 第1のスイッチは、第1のディスクアダプタまたは第2
のディスクアダプタまたは第2のスイッチが接続された
ポートと前記複数のディスクアレイが接続された各ポー
トとの間でのポート間の接続の切り換えを、入力された
フレーム毎に、該フレーム内の送信先情報にしたがって
行い、 第2のスイッチは、第1のディスクアダプタまたは第2
のディスクアダプタまたは第1のスイッチが接続された
ポートと前記複数のディスクアレイが接続された各ポー
トとの間でのポート間の接続の切り換えを、入力された
フレーム毎に、該フレーム内の送信先情報にしたがって
行うことを特徴とするディスク装置。 - 【請求項6】 請求項1乃至請求項5のいずれかの請求
項記載のディスク装置において、 前記ディスクアレイからのデータ読み出し時には、前記
ディスクアレイから前記スイッチに転送されるデータを
前記スイッチにおいて多重化して前記ディスクアダプタ
に転送し、 前記ディスクアレイへのデータ書き込み時には、前記デ
ィスクアダプタから前記スイッチに転送されるデータを
前記スイッチにおいて逆多重化して前記ディスクアレイ
に転送することを特徴とするディスク装置。 - 【請求項7】 請求項1乃至請求項5のいずれかの請求
項記載のディスク装置において、 ディスクアダプタからディスクアレイへのデータ書き込
み時に、前記ディスクアダプタは、前記ポート間の接続
の切り替えが周期的に行われるように、送出するフレー
ムに送信先情報を設定し、 ディスクアレイからディスクアダプタへのデータ読み出
し時に、前記スイッチは、ラウンドロビン方式により前
記ポート間の接続を切り替えることを特徴とするディス
ク装置。 - 【請求項8】 請求項7記載のディスク装置において、 周期的に切り替えるポート数を、ディスクアダプタとス
イッチ間のチャネル当りデータ転送速度の、スイッチと
ディスクアレイ間のチャネル当りデータ転送速度に対す
る比、と同程度に設定することを特徴とするディスク装
置。 - 【請求項9】 請求項1乃至請求項5のいずれかの請求
項記載のディスク装置において、 前記ディスクアダプタと前記スイッチ間を光ファイバケ
ーブルで接続し、前記スイッチと前記ディスクアレイ間
をメタルケーブルで接続することを特徴とするディスク
装置。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002106262A JP2003303055A (ja) | 2002-04-09 | 2002-04-09 | ディスクアダプタとディスクアレイをスイッチを介して接続したディスク装置 |
EP02017669A EP1353264A3 (en) | 2002-04-09 | 2002-08-06 | Disk storage system having disk arrays connected with disk adaptors through switches |
US10/212,882 US6915380B2 (en) | 2002-04-09 | 2002-08-07 | Disk storage system having disk arrays connected with disk adaptors through switches |
CN2006101389972A CN1920766B (zh) | 2002-04-09 | 2002-08-27 | 经由开关连接盘适配器和盘阵列的盘装置 |
CN02141918.3A CN1280701C (zh) | 2002-04-09 | 2002-08-27 | 经由开关连接盘适配器和盘阵列的盘装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002106262A JP2003303055A (ja) | 2002-04-09 | 2002-04-09 | ディスクアダプタとディスクアレイをスイッチを介して接続したディスク装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2003303055A true JP2003303055A (ja) | 2003-10-24 |
Family
ID=28449919
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002106262A Pending JP2003303055A (ja) | 2002-04-09 | 2002-04-09 | ディスクアダプタとディスクアレイをスイッチを介して接続したディスク装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US6915380B2 (ja) |
EP (1) | EP1353264A3 (ja) |
JP (1) | JP2003303055A (ja) |
CN (2) | CN1280701C (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005293595A (ja) * | 2004-04-02 | 2005-10-20 | Seagate Technology Llc | 多数パスの冗長ストーレジ・システム構造及び方法 |
EP1788482A2 (en) | 2005-11-22 | 2007-05-23 | Hitachi, Ltd. | Storage control device, and error information management method for storage control device |
JP2007128527A (ja) * | 2006-11-16 | 2007-05-24 | Hitachi Ltd | ディスクアレイ装置 |
KR100736645B1 (ko) | 2004-11-30 | 2007-07-09 | 후지쯔 가부시끼가이샤 | 데이터 기억 시스템 및 데이터 기억 제어 장치 |
KR100766356B1 (ko) | 2005-11-28 | 2007-10-12 | 후지쯔 가부시끼가이샤 | 데이터 스토리지 시스템 및 데이터 스토리지 제어 장치 |
US7865665B2 (en) | 2003-11-28 | 2011-01-04 | Hitachi, Ltd. | Storage system for checking data coincidence between a cache memory and a disk drive |
US7925930B2 (en) | 2007-01-18 | 2011-04-12 | Hitachi, Ltd. | Storage control system and control method for storage control system |
Families Citing this family (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7346135B1 (en) | 2002-02-13 | 2008-03-18 | Marvell International, Ltd. | Compensation for residual frequency offset, phase noise and sampling phase offset in wireless networks |
US7263153B2 (en) | 2002-10-09 | 2007-08-28 | Marvell International, Ltd. | Clock offset compensator |
US7319705B1 (en) | 2002-10-22 | 2008-01-15 | Marvell International Ltd. | Programmable pre-emphasis circuit for serial ATA |
JP4483168B2 (ja) * | 2002-10-23 | 2010-06-16 | 株式会社日立製作所 | ディスクアレイ制御装置 |
US7752294B2 (en) * | 2002-10-28 | 2010-07-06 | Netapp, Inc. | Method and system for dynamic expansion and contraction of nodes in a storage area network |
US7246192B1 (en) | 2003-01-10 | 2007-07-17 | Marvell International Ltd. | Serial/parallel ATA controller and converter |
JP2004348464A (ja) | 2003-05-22 | 2004-12-09 | Hitachi Ltd | ストレージ装置、及び通信信号の整形回路 |
US8930583B1 (en) | 2003-09-18 | 2015-01-06 | Marvell Israel (M.I.S.L) Ltd. | Method and apparatus for controlling data transfer in a serial-ATA system |
JP4220887B2 (ja) * | 2003-11-17 | 2009-02-04 | 株式会社日立製作所 | ディスク装置及びその制御方法 |
JP4454299B2 (ja) | 2003-12-15 | 2010-04-21 | 株式会社日立製作所 | ディスクアレイ装置及びディスクアレイ装置の保守方法 |
JP4405277B2 (ja) * | 2004-02-16 | 2010-01-27 | 株式会社日立製作所 | ディスク制御装置 |
US7467238B2 (en) | 2004-02-10 | 2008-12-16 | Hitachi, Ltd. | Disk controller and storage system |
JP2005267502A (ja) * | 2004-03-22 | 2005-09-29 | Hitachi Ltd | データ転送用スイッチ |
US20050235080A1 (en) * | 2004-04-16 | 2005-10-20 | Mohamad El-Batal | Speed matching data storage system |
US7958292B2 (en) | 2004-06-23 | 2011-06-07 | Marvell World Trade Ltd. | Disk drive system on chip with integrated buffer memory and support for host memory access |
JP4555029B2 (ja) * | 2004-09-01 | 2010-09-29 | 株式会社日立製作所 | ディスクアレイ装置 |
JP4491330B2 (ja) * | 2004-11-08 | 2010-06-30 | 富士通株式会社 | ディスクアレイ装置とそのデータのリカバリ方法およびデータリカバリプログラム |
JP2006244123A (ja) * | 2005-03-03 | 2006-09-14 | Fujitsu Ltd | データストレージシステム及びデータストレージ制御装置 |
JP2006252328A (ja) * | 2005-03-11 | 2006-09-21 | Toshiba Corp | ディスクアレイ制御装置、ストレージシステム、およびディスクアレイ制御方法 |
JP4649271B2 (ja) * | 2005-06-08 | 2011-03-09 | キヤノン株式会社 | 制御装置 |
JP4345979B2 (ja) * | 2005-06-30 | 2009-10-14 | 富士通株式会社 | Raid装置、通信接続監視方法及びプログラム |
US7752387B2 (en) * | 2006-03-21 | 2010-07-06 | International Business Machines Corporation | Offloading firmware update tasks from RAID adapter to distributed service processors in switched drive connection network enclosure |
JP4897387B2 (ja) * | 2006-08-10 | 2012-03-14 | 株式会社日立製作所 | ストレージ装置およびこれを用いたデータの管理方法 |
JP5179031B2 (ja) * | 2006-09-13 | 2013-04-10 | 株式会社日立製作所 | 空きポートを有効に活用したストレージシステム |
US7567471B2 (en) * | 2006-12-21 | 2009-07-28 | Intel Corporation | High speed fanned out system architecture and input/output circuits for non-volatile memory |
US20090055451A1 (en) * | 2007-08-17 | 2009-02-26 | Clay Andre Reimer | Systems and Methods For Providing Redundant Data Storage |
US20090216942A1 (en) * | 2008-02-23 | 2009-08-27 | Broadcom Corporation | Efficient memory management for hard disk drive (hdd) read channel |
US8006021B1 (en) * | 2008-03-27 | 2011-08-23 | Xilinx, Inc. | Processor local bus bridge for an embedded processor block core in an integrated circuit |
US20120185749A1 (en) * | 2011-01-14 | 2012-07-19 | Hitachi, Ltd. | Storage apparatus and response time control method |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3187525B2 (ja) | 1991-05-17 | 2001-07-11 | ヒュンダイ エレクトロニクス アメリカ | バス接続装置 |
JPH0619627A (ja) | 1992-06-30 | 1994-01-28 | Hitachi Ltd | 回転形記憶装置 |
US5909594A (en) * | 1997-02-24 | 1999-06-01 | Silicon Graphics, Inc. | System for communications where first priority data transfer is not disturbed by second priority data transfer and where allocated bandwidth is removed when process terminates abnormally |
US6112276A (en) * | 1997-10-10 | 2000-08-29 | Signatec, Inc. | Modular disk memory apparatus with high transfer rate |
JP3279248B2 (ja) * | 1998-02-27 | 2002-04-30 | 日本電気株式会社 | スイッチ機構およびこれを有するディスクアレイ装置およびコンピュータシステム |
JP3726484B2 (ja) | 1998-04-10 | 2005-12-14 | 株式会社日立製作所 | 記憶サブシステム |
JP3196726B2 (ja) * | 1998-06-10 | 2001-08-06 | 日本電気株式会社 | ディスクアレイ接続システム及びその障害発生装置検出方法並びにその制御プログラムを記録した記録媒体 |
JP4294142B2 (ja) * | 1999-02-02 | 2009-07-08 | 株式会社日立製作所 | ディスクサブシステム |
US6633946B1 (en) * | 1999-09-28 | 2003-10-14 | Sun Microsystems, Inc. | Flexible switch-based I/O system interconnect |
JP2003084919A (ja) * | 2001-09-06 | 2003-03-20 | Hitachi Ltd | ディスクアレイ装置の制御方法およびディスクアレイ装置 |
-
2002
- 2002-04-09 JP JP2002106262A patent/JP2003303055A/ja active Pending
- 2002-08-06 EP EP02017669A patent/EP1353264A3/en not_active Ceased
- 2002-08-07 US US10/212,882 patent/US6915380B2/en not_active Expired - Fee Related
- 2002-08-27 CN CN02141918.3A patent/CN1280701C/zh not_active Expired - Fee Related
- 2002-08-27 CN CN2006101389972A patent/CN1920766B/zh not_active Expired - Fee Related
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7865665B2 (en) | 2003-11-28 | 2011-01-04 | Hitachi, Ltd. | Storage system for checking data coincidence between a cache memory and a disk drive |
US8468300B2 (en) | 2003-11-28 | 2013-06-18 | Hitachi, Ltd. | Storage system having plural controllers and an expansion housing with drive units |
JP2005293595A (ja) * | 2004-04-02 | 2005-10-20 | Seagate Technology Llc | 多数パスの冗長ストーレジ・システム構造及び方法 |
KR100736645B1 (ko) | 2004-11-30 | 2007-07-09 | 후지쯔 가부시끼가이샤 | 데이터 기억 시스템 및 데이터 기억 제어 장치 |
EP1788482A2 (en) | 2005-11-22 | 2007-05-23 | Hitachi, Ltd. | Storage control device, and error information management method for storage control device |
US7571356B2 (en) | 2005-11-22 | 2009-08-04 | Hitachi, Ltd. | Storage control device, and error information management method for storage control device |
KR100766356B1 (ko) | 2005-11-28 | 2007-10-12 | 후지쯔 가부시끼가이샤 | 데이터 스토리지 시스템 및 데이터 스토리지 제어 장치 |
US7418533B2 (en) | 2005-11-28 | 2008-08-26 | Fujitsu Limited | Data storage system and control apparatus with a switch unit connected to a plurality of first channel adapter and modules wherein mirroring is performed |
JP2007128527A (ja) * | 2006-11-16 | 2007-05-24 | Hitachi Ltd | ディスクアレイ装置 |
JP4486633B2 (ja) * | 2006-11-16 | 2010-06-23 | 株式会社日立製作所 | ディスクアレイ装置 |
US7925930B2 (en) | 2007-01-18 | 2011-04-12 | Hitachi, Ltd. | Storage control system and control method for storage control system |
Also Published As
Publication number | Publication date |
---|---|
CN1920766A (zh) | 2007-02-28 |
US6915380B2 (en) | 2005-07-05 |
CN1920766B (zh) | 2011-09-28 |
CN1450443A (zh) | 2003-10-22 |
US20030191891A1 (en) | 2003-10-09 |
EP1353264A3 (en) | 2005-12-07 |
EP1353264A2 (en) | 2003-10-15 |
CN1280701C (zh) | 2006-10-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2003303055A (ja) | ディスクアダプタとディスクアレイをスイッチを介して接続したディスク装置 | |
US7836249B2 (en) | Disk subsystem | |
JP4220887B2 (ja) | ディスク装置及びその制御方法 | |
US8156270B2 (en) | Dual port serial advanced technology attachment (SATA) disk drive | |
US8074002B2 (en) | Route aware serial advanced technology attachment (SATA) switch | |
US7251701B2 (en) | Disk array apparatus | |
US8266353B2 (en) | Serial advanced technology attachment (SATA ) switch | |
US8683123B2 (en) | Clustered storage network | |
KR20050046543A (ko) | 시리얼 어태치드 스카시 스토리지 네트워크에서의 통신시스템 및 방법 | |
US7406619B2 (en) | Cache synchronization in a RAID subsystem using serial attached SCSI and/or serial ATA | |
EP2285055B1 (en) | Method for aggregating a plurality of links to simulate a unitary connection | |
CN100362790C (zh) | 一种用于海量存储系统的核心存储交换平台系统 | |
US7301956B2 (en) | System and method for storing and retrieving multi-speed data streams within a network switch | |
JP4444636B2 (ja) | ディスクサブシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20040318 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040727 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061026 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061205 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070205 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070731 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070925 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20071128 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20081003 |