JP2003303055A - ディスクアダプタとディスクアレイをスイッチを介して接続したディスク装置 - Google Patents

ディスクアダプタとディスクアレイをスイッチを介して接続したディスク装置

Info

Publication number
JP2003303055A
JP2003303055A JP2002106262A JP2002106262A JP2003303055A JP 2003303055 A JP2003303055 A JP 2003303055A JP 2002106262 A JP2002106262 A JP 2002106262A JP 2002106262 A JP2002106262 A JP 2002106262A JP 2003303055 A JP2003303055 A JP 2003303055A
Authority
JP
Japan
Prior art keywords
disk
switch
adapter
channel
array
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002106262A
Other languages
English (en)
Inventor
Katsuya Tanaka
勝也 田中
Kazuhisa Fujimoto
和久 藤本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2002106262A priority Critical patent/JP2003303055A/ja
Priority to EP02017669A priority patent/EP1353264A3/en
Priority to US10/212,882 priority patent/US6915380B2/en
Priority to CN2006101389972A priority patent/CN1920766B/zh
Priority to CN02141918.3A priority patent/CN1280701C/zh
Publication of JP2003303055A publication Critical patent/JP2003303055A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061Improving I/O performance
    • G06F3/0613Improving I/O performance in relation to throughput
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629Configuration or reconfiguration of storage systems
    • G06F3/0635Configuration or reconfiguration of storage systems by changing the path, e.g. traffic rerouting, path reconfiguration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0656Data buffering arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671In-line storage system
    • G06F3/0683Plurality of storage devices
    • G06F3/0689Disk arrays, e.g. RAID, JBOD
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2002Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where interconnections or communication control functionality are redundant
    • G06F11/2005Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where interconnections or communication control functionality are redundant using redundant communication controllers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2002Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where interconnections or communication control functionality are redundant
    • G06F11/2007Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where interconnections or communication control functionality are redundant using redundant communication media

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

(57)【要約】 【課題】 ディスクコントローラのディスクアダプタと
ディスクアレイ間のスループットが高いディスク装置を
提供することにある。 【解決手段】 ディスクコントローラ(DKC)のディスク
アダプタ(DKA)とディスクアレイ(DA)をスイッチ(SW1、SW
2、SW3、SW4)を介して接続する。スイッチ(SW1)とRAI
Dグループ(R1)間のチャネル(D11、D12、D13、D14)上のデ
ータをスイッチ(SW1)において多重化してスイッチ(SW1)
とディスクアダプタ(DKA)間のチャネル(D01)に転送し、
スイッチ(SW1)とディスクアダプタ(DKA)間のチャネル(D
01)上のデータをスイッチ(SW1)において逆多重化してス
イッチ(SW1)とRAIDグループ(R1)間のチャネル(D11、
D12、D13、D14)に転送する。ディスクアダプタ(DKA)とス
イッチ(SW1)間のチャネル(D01)上のデータ転送速度を、
チャネル(D11、D12、D13、D14)のデータ転送速度より高く
する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、コンピュータシス
テムにおける2次記憶装置に関し、特に入出力データ転
送性能が高いディスク装置に関する。
【0002】
【従来の技術】現在のコンピュータシステムにおいて
は、CPU(中央処理装置)が必要とするデ−タは2次
記憶装置に保存され、CPUなどが必要とするときに応
じて2次記憶装置に対してデ−タの書き込みおよび読み
出しを行う。この2次記憶装置としては、一般に不揮発
な記憶媒体が使用され、代表的なものとして磁気ディス
ク装置や、光ディスクなどのディスク装置がある。近年
高度情報化に伴い、コンピュータシステムにおいて、こ
の種の2次記憶装置の高性能化が要求されている。
【0003】図9に、従来のディスク装置のブロック図
を示す。図9において、ディスク装置はディスクコント
ローラDKCとディスクアレイDAで構成される。ディ
スクコントローラDKCは、上位側CPU(図示せず)
とディスク装置を接続するチャネルアダプタCHAと、
ディスクアレイDAに対して読み書きするデータを一時
保存するキャッシュメモリCMと、ディスクコントロー
ラDKCとディスクアレイDAを接続するディスクアダ
プタDKAからなる。チャネルアダプタCHAとキャッ
シュメモリCMとディスクアダプタDKAは、バスまた
はスイッチで相互接続されている。チャネルアダプタC
HAはC1、C2、C3、C4の4本のチャネルでCP
Uと接続している。ディスクアダプタDKAはD1、D
2、D3、D4の4本のチャネルでディスクアレイと接
続している。ここでディスクアレイDAはディスクグル
ープR1、R2、R3、R4からなる。ディスクアレイ
DAにおいてRAIDシステムを構築する場合は、R
1、R2、R3、R4がそれぞれRAIDグループを構
成する。
【0004】チャネルC1、C2、C3、C4から入力
された書き込みデータは、キャッシュメモリCMに該デ
ータを書き込むと同時に、該データをブロックサイズ単
位に分割し、チャネルD1、D2、D3、D4の内3チ
ャネルにはブロック単位に分割されたデータを、残りの
1チャネルは前記分割データから計算したパリティを、
ディスクアダプタDKAからディスクアレイDAへ送信
する。データ読み出し時は、先ずキャッシュメモリCM
内に該当データの有無を調べる。有る場合は、キャッシ
ュメモリCMからチャネルアダプタCHAを介してキャ
ッシュメモリ内読み出しデータをCPUへ送信する。キ
ャッシュメモリCM内に無い場合にディスクアダプタD
KAは、D1、D2、D3、D4を介してディスクアレ
イDAからブロック単位に分割されたデータを読み出
し、チャネルアダプタCHAを介して読み出しデータを
CPUへ送信する。 この種の従来技術を第1の従来技
術と呼ぶ。第1の従来技術として関連するディスク装置
は、例えば、日経BP社刊の「日経コンピュータ別冊メ
インフレーム’98」(1998年)第144頁から第
153頁に記載されているディスク装置がある。
【0005】ディスクアダプタとディスクアレイを、ス
イッチを介して接続したディスク装置が、特開平5−1
73722号の「マルチチャンネルデータおよびパリテ
ィの交換デバイス」に開示されている。以下、該公報に
記載の従来の技術を第2の従来技術と呼ぶ。第2の従来
の技術によれば、ディスクアレイに関連したバス本数と
ディスクアダプタに関連したバス本数とを独立に設定で
きる。ディスクアダプタとディスクアレイを、バッファ
制御ブロックを介して接続したディスク装置が、特開平
6−19627号の「回転形記憶装置」に開示されてい
る。以下、該公報に記載の従来の技術を第3の従来技術
と呼ぶ。第3の従来技術によれば、ディスクアダプタと
ディスクアレイ間のデータ転送速度を任意に設定でき、
ディスクの回転待ちの影響を低減できる。
【0006】
【発明が解決しようとする課題】ネットワーク技術の進
歩に伴い、1チャネル当りのデータ転送速度は年々増加
している。例えばディスク装置に使われるファイバチャ
ネルでは、現状でチャネル当りのデータ転送速度が1G
bpsから2Gbpsであるが、近い将来4Gbpsか
ら10Gbpsへ高速化されることが予定されている。
CPUとチャネルアダプタ間(以下フロントエンドと呼
ぶ)のスールプットはこの高速化に従うことが予想され
る。ところが、ディスクアダプタとディスクアレイ間
(以下バックエンドと呼ぶ)のスループットは以下の理
由により、フロントエンドほど高速化されないと予想さ
れる。第1の理由は、ディスクドライブは機械部品を含
むので、電子、光素子のみ高速化を行えば良いフロント
エンドに比べ高速化が難しいこと、である。第2の理由
は、たとえディスクドライブが高速化したとしても、全
てのディスクドライブ毎に高速インターフェイスを搭載
するのは、多数のディスクドライブを有するディスク装
置の高コスト化を招くことである。
【0007】第1の従来技術では、チャネルアダプタの
チャネル当りのデータ転送速度を向上させても、フロン
トエンドとバックエンドのスループット乖離により、デ
ィスク装置の性能が向上しないという問題があった。ま
た、バックエンドのスループット向上のために低速ポー
トを多数、ディスクアダプタに設けることも考えられる
が、ディスクアダプタのポート数増加は制御を複雑とす
る。第2の従来技術では、ディスクアダプタとディスク
アレイとの間にスイッチを適用することによりディスク
増設ポート数を増加させることができるが、チャネル当
りのデータ転送速度はディスクアレイのデータ転送速度
に制限されるので、ディスクアダプタとディスクアレイ
間のスループットが性能ネックになるという問題があっ
た。第3の従来技術は、ディスクの回転待ち時間の影響
を低減できる技術であり、フロントエンドとバックエン
ドのスループット乖離は低減できないという問題があっ
た。
【0008】本発明の目的は、ディスクアダプタとディ
スクアレイ間のスループットが高いディスク装置を提供
することにある。本発明の他の目的は、ディスクアダプ
タとディスクアレイ間のスループットが高く、且つディ
スクドライブ接続台数が多いディスク装置を提供するこ
とにある。本発明のさらに他の目的は、信頼性が高いデ
ィスクアレイを有するディスク装置を提供することであ
る。本発明のさらに他の目的は、信頼性が高いディスク
アダプタとディスクアレイ間ネットワークを有するディ
スク装置を提供することにある。本発明のさらに他の目
的は、信頼性およびスループットが高いディスクアダプ
タとディスクアレイ間ネットワークを有するディスク装
置を提供することにある。本発明のさらに他の目的は、
ディスクからの読み出しおよびディスクへの書きこみを
高スループット化できるディスク装置を提供することに
ある。本発明のさらに他の目的は、高スループットを維
持できるディスク装置を提供することである。本発明の
さらに他の目的は、高スループットで低コストなディス
ク装置を提供することである。
【0009】
【課題を解決するための手段】上記目的を達成するた
め、本発明は、ディスクコントローラとディスクアレイ
からなり、ディスクコントローラはチャネルアダプタと
キャッシュメモリとディスクアダプタを有するディスク
装置であり、ディスクアダプタとディスクアレイを、バ
ッファメモリを有するスイッチを介して接続し、ディス
クアダプタとスイッチ間のチャネル当りデータ転送速度
を、スイッチとディスクアレイ間のチャネル当りデータ
転送速度より高く設定し、スイッチは、ディスクアダプ
タが接続されたポートとディスクアレイを構成するディ
スクドライブが接続された各ポートとの間でのポート間
の接続の切り換えを、入力されたフレーム毎に、該フレ
ーム内の送信先情報にしたがって行っている。また、前
記ディスクアレイはループ状に接続した複数のディスク
ドライブからなり、前記ディスクアダプタと前記複数の
ディスクアレイとをバッファメモリを有するスイッチを
介して接続し、ディスクアダプタとスイッチ間のチャネ
ル当りデータ転送速度を、スイッチと複数のディスクア
レイ間のチャネル当りデータ転送速度より高く設定し、
スイッチは、ディスクアダプタが接続されたポートと複
数のディスクアレイが接続された各ポートとの間でのポ
ート間の接続の切り換えを、入力されたフレーム毎に、
該フレーム内の送信先情報にしたがって行っている。ま
た、前記ディスクアダプタと前記ディスクアレイを、バ
ッファメモリを有するスイッチを介して接続し、同一の
スイッチに接続したディスクドライブの組み合わせでR
AIDグループを構成し、ディスクアダプタとスイッチ
間のチャネル当りデータ転送速度を、スイッチとディス
クアレイ間のチャネル当りデータ転送速度より高く設定
し、スイッチは、ディスクアダプタが接続されたポート
とRAIDグループを構成するディスクドライブが接続
された各ポートとの間でのポート間の接続の切り換え
を、入力されたフレーム毎に、該フレーム内の送信先情
報にしたがって行っている。また、第1のディスクコン
トローラと第2のディスクコントローラと複数のディス
クアレイからなり、第1のディスクコントローラは第1
のチャネルアダプタと第1のキャッシュメモリと第1の
ディスクアダプタを有し、第2のディスクコントローラ
は第2のチャネルアダプタと第2のキャッシュメモリと
第2のディスクアダプタを有するディスク装置であり、
第1のディスクアダプタと前記複数のディスクアレイと
をバッファメモリを有する第1のスイッチを介して接続
し、且つ第2のディスクアダプタと前記複数のディスク
アレイとをバッファメモリを有する第2のスイッチを介
して接続し、さらに第1のスイッチと第2のディスクア
ダプタを接続し、第2のスイッチと第1のディスクアダ
プタを接続し、第2のディスクアダプタと第2のスイッ
チ間、および第1のディスクアダプタと第2のスイッチ
間のチャネル当りデータ転送速度を第2のスイッチと前
記複数のディスクアレイ間のチャネル当りデータ転送速
度より高く設定し、第1のスイッチは、第1のディスク
アダプタまたは第2のディスクアダプタが接続されたポ
ートと前記複数のディスクアレイが接続された各ポート
との間でのポート間の接続の切り換えを、入力されたフ
レーム毎に、該フレーム内の送信先情報にしたがって行
い、第2のスイッチは、第1のディスクアダプタまたは
第2のディスクアダプタが接続されたポートと前記複数
のディスクアレイが接続された各ポートとの間でのポー
ト間の接続の切り換えを、入力されたフレーム毎に、該
フレーム内の送信先情報にしたがって行っている。ま
た、さらに、上記第1のスイッチと第2のスイッチを、
上記第1のディスクアダプタと第2のスイッチ間を接続
したチャネルと同等のデータ転送速度を有するチャネル
と、第2のディスクアダプタと第1のスイッチ間を接続
したチャネルと同等のデータ転送速度を有するチャネル
と、を介して接続している。また、前記ディスクアレイ
からのデータ読み出し時には、前記ディスクアレイから
前記スイッチに転送されるデータを前記スイッチにおい
て多重化して前記ディスクアダプタに転送し、前記ディ
スクアレイへのデータ書き込み時には、前記ディスクア
ダプタから前記スイッチに転送されるデータを前記スイ
ッチにおいて逆多重化して前記ディスクアレイに転送す
るようにしている。また、前記ディスクアダプタから前
記ディスクアレイへのデータ書き込み時に、前記ディス
クアダプタは、前記ポート間の接続の切り替えが行われ
るように、送出するフレームに送信先情報を設定し、前
記ディスクアレイから前記ディスクアダプタへのデータ
読み出し時に、前記スイッチは、ラウンドロビン方式に
より前記ポート間の接続を切り替えるようにしている。
また、さらに、切り替えるポート数を、ディスクアダプ
タとスイッチ間のチャネル当りデータ転送速度の、スイ
ッチとディスクアレイ間のチャネル当りデータ転送速度
に対する比、と同程度に設定している。また、前記ディ
スクアダプタと前記スイッチ間を光ファイバケーブルで
接続し、前記スイッチと前記ディスクアレイ間をメタル
ケーブルで接続するようにしている。
【0010】
【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を詳細に説明する。図1に本発明の、第1の実
施の形態であるディスク装置の構成を示す。本実施の形
態のディスク装置は、ディスクコントローラDKCとデ
ィスクアレイDAからなる。ディスクコントローラDK
Cは、チャネルアダプタCHAと、キャッシュメモリC
Mと、ディスクアダプタDKAからなる。チャネルアダ
プタCHAは、上位CPU(図示せず)とディスクコン
トローラDKCとがデータを送受信する際の制御を行
う。C1、C2、C3およびC4は、チャネルアダプタ
CHAがCPUと通信するチャネルである。キャッシュ
メモリCMは、本実施の形態のディスク装置が入出力す
るデータを一時保存するメモリである。ディスクアダプ
タDKAは、ディスクコントローラDKCとディスクア
レイDAとがデータを送受信する際の制御を行う。ディ
スクアダプタDKAは、チャネルD01、D02、D0
3、D04を介して、ディスクアレイDAと接続する。
ディスクアダプタDKAとディスクアレイDAは、チャ
ネルD01、D02、D03、D04上で全二重通信が
可能である。
【0011】ここで、本実施の形態のディスク装置は、
ディスクアダプタDKAとディスクアレイDAを、スイ
ッチSW1、SW2、SW3、SW4を介して接続して
いる点に特徴がある。ディスクアレイDAは、ディスク
グループR1、R2、R3、R4からなる。ディスクグ
ループR1は、スイッチSW1介してディスクアダプタ
DKAと接続する。同様に、ディスクグループR2はス
イッチSW2を介して、ディスクグループR3はスイッ
チSW3を介して、ディスクグループR4はスイッチS
W4介して、それぞれディスクアダプタDKAと接続す
る。
【0012】本実施の形態のディスク装置においてRA
IDシステムを構築する場合は、ディスクグループR
1、R2、R3、R4を、それぞれRAIDグループと
する。本実施の形態では、4個のディスクドライブでR
AIDグループを構成しているが、RAIDグループを
構成するドライブ数を4個に限るものではない。各ディ
スクグループへのデータ読み出しまたは書き込み時のデ
ータの流れを、ディスクグループR1を例にして述べ
る。ここでR1はRAIDレベル5のRAIDグループ
である。チャネルC1、C2、C3、C4からディスク
グループR1へ書き込むためにCPUから送信されたデ
ータは、ディスクアダプタDKAにおいてブロック単位
に分割されると同時に、該ブロック単位に分割されたデ
ータからパリティが生成される。該ブロック単位に分割
されたデータと、生成されたパリティは、チャネルD0
1を通りスイッチSW1へ入力される。スイッチSW1
は、RAID制御に伴い、該ブロック単位に分割された
データと、生成されたパリティとをルーティングし、チ
ャネルD11、D12、D13、D14へ分配する。デ
ータ読み出し時は、ディスクアダプタDKAは、D1
1、D12、D13、D14を介してディスクグループ
R1からブロック単位に分割されたデータを読み出し、
スイッチSW1でシリアル化して、チャネルD01を介
して読み出しデータを受信する。
【0013】図9に示した従来のディスク装置では、デ
ィスクアダプタDKAに接続したチャネルD1、D2、
D3、D4上で、既にディスクアレイへの書き込みデー
タおよびパリティが別々のチャネルに分配されていた。
それに対し、本実施の形態のディスク装置においては、
スイッチSW1通過後に別々のチャネルに分配される点
が従来と異なる。
【0014】次に、本実施の形態のディスク装置の特徴
であるスイッチの動作を、スイッチSW1を例にとり説
明する。SW2〜SW4の動作もSW1の動作と同様で
ある。図1に示すように、スイッチSW1は入出力ポー
トP1、P2、P3、P4、P5を有する。ポートP
1、P2、P3、P4、P5は、全二重通信可能な入出
力ポートであり、ポート毎にバッファメモリを有してい
る。スイッチSW1の内部構成を図2と図3に示す。簡
単のため、データの進行方向によりスイッチ動作を分け
て説明する。また、チャネルD01、D11、D12、
D13、D14上を流れるデータは、フレーム単位で送
受信され、かつデータは8B10B変換で符号化されて
いる。
【0015】図2は、ポートP1からブロック内のフレ
ームを入力し、ポートP2、P3、P4、P5から出力
する場合を示す。これはディスクアレイへの書き込み時
のスイッチ動作に相当する。スイッチSW1は図2に示
すように、クロスバスイッチXSWと、スイッチコント
ローラCTLからなる。クロスバスイッチXSWは5×
5のクロスバスイッチであり、入力ポートin1、in
2、in3、in4、in5と、出力ポートout1、
out2、out3、out4、out5を有する。ポ
ートP1から入力したフレームは、シリアルパラレル変
換装置SP1と、バッファメモリBM1と、8B10B
変換デコーダDEC1を経由し、スイッチコントローラ
CTLと入力ポートin1へ入力される。スイッチコン
トローラCTLにおいて、入力フレームのヘッダ部分に
書かれた送信先アドレスを解読し、クロスバスイッチX
SWを切り換える。例として、ポートP2が出力先とし
て選ばれた場合は、入力したフレームは出力ポートou
t2と、8B10B変換エンコーダENC2と、バッフ
ァメモリBM2と、パラレルシリアル変換装置PS2を
経由して、ポートP2から出力される。ここで、バッフ
ァメモリBM1、BM2はFIFO(First−In
First−out)メモリである。
【0016】シリアルパラレル変換装置SP1は、8B
10B符号化されたシリアルデータを10bit幅のパ
ラレルデータに変換し、ポートP1におけるデータ転送
速度の1/10の速度に同期してバッファメモリBM1
に書き込む。8B10BデコーダDEC1は、クロスバ
スイッチXSWの動作速度に同期して、10bitパラ
レルデータをバッファメモリBM1から読み出し、8B
10B復号化して、8bitパラレルデータに変換す
る。8B10BエンコーダENC2は、クロスバスイッ
チXSWでスイッチされた8bitパラレルデータを再
び8B10B符号化し、10bitパラレルデータに変
換後、クロスバスイッチXSWの動作速度に同期してバ
ッファメモリBM2に書き込む。パラレルシリアル変換
装置PS2は、ポートP2におけるデータ転送速度の1
/10の速度に同期して、10bitパラレルデータを
バッファメモリBM2から読み出し、シリアル化して、
ポートP2から出力する。以上によりスイッチSW1
は、ポートP1におけるデータ転送速度からポートP2
におけるデータ転送速度へ速度変換する。
【0017】図4は、ポートP1へ入力するフレーム
と、ポートP2、P3、P4、P5から出力されるフレ
ームを示した図である。波形の凸はフレームが存在する
時間、凹はフレームが存在していない時間を示してい
る。フレームは伝送するデータ容量に従ってそのフレー
ム長が変化するが、ここではディスクアレイへのシーケ
ンシャルアクセスが行われており、フレーム長が一定で
ある。図4では、入力ポートP1でのデータ転送速度が
出力ポートP2、P3、P4、P5におけるデータ転送
速度のm倍あるとする。従って、ポートP1におけるフ
レームFb2の時間T1は、ポートP2からの出力時に
T3へ伸びている。ここでT3=m×T1である。
【0018】入力のデータ転送速度が速く、且つ出力の
データ転送速度が遅い場合は、スイッチを周期的に切り
換えないと出力ポートのバッファメモリが溢れ、スルー
プットが低下する。フレームがスループットの低下無く
スイッチを通過するには、図4のように周期的に出力ポ
ートを切り換える必要がある。スイッチ切替えポート数
をnとすると、スイッチ切替え周期T2≒n×T1であ
る(フレームの無い時間は無視した)。T2≧T3なら
ば、フレームの衝突無く、スループットの低下は起こら
ない。T2≧T3はn≧mと同じある。つまり、ディス
クアレイへのデータ書き込み時に、スイッチにおいてス
ループット低下を起こさないための条件は、周期的に切
り替えるスイッチポート数nを、ディスクアダプタとス
イッチ間のチャネル当りデータ転送速度の、スイッチと
ディスクアレイ間のチャネル当りデータ転送速度に対す
る比m、以上に設定することである。この条件が保たれ
れば、スイッチSW1は、ポートP1から入力したデー
タをバッファメモリにおいて速度変換し、フレーム単位
で周期的に切り替えることにより逆多重化し、ポートP
2、P3、P4、P5へ分配して出力する。スイッチを
周期的に切り換える方法の一つは、スイッチに接続した
ディスクグループをRAIDグループとすることであ
る。RAIDのストライピング制御に従えば、スイッチ
は周期的に切り替わる。
【0019】図3は、ポートP2、P3、P4、P5か
らフレームを入力し、ポートP1から出力する場合を示
す。これはディスクアレイからの読み出し時のスイッチ
動作に相当する。例えば、ポートP2から入力したフレ
ームは、シリアルパラレル変換装置SP2と、バッファ
メモリBM2と、8B10B変換デコーダDEC2を経
由し、スイッチコントローラCTLと入力ポートin2
へ入力される。スイッチコントローラCTLにおいて、
入力フレームのヘッダ部分に書かれた送信先アドレスを
解読し、クロスバスイッチXSWを切り換える。図3の
場合は、ラウンドロビン方式によりクロスバススイッチ
XSWを切り替えて、順番にポートP2、P3、P4、
P5から入力されるデータは全てポートP1へ出力す
る。すなわち、読み出し時は、複数の入力ポート(P
2、P3、P4、P5)に同時にフレームが届く。これ
ら複数の入力フレームは同期して入力ポートに届く必要
はない。スイッチは、総当り的に入出力ポート間接続を
切り替えることにより、これら複数の入力フレームを1
フレームずつ出力ポート(P1)へ転送する。このよう
に、スイッチを総当り的に切り替える方式を、ラウンド
ロビン(Round Robin)方式と呼ぶ。ラウンドロビン方式
により、結果的にスイッチは周期的に切り替わることに
なる。なお、読み出し時においても、スイッチはフレー
ム内送信先情報に従って切り替わることに違いはない。
フレームは出力ポートout1と、8B10B変換エン
コーダENC1と、バッファメモリBM1と、パラレル
シリアル変換装置PS1を経由して、ポートP1から出
力される。
【0020】シリアルパラレル変換装置SP2は、8B
10B符号化されたシリアルデータを10bit幅のパ
ラレルデータに変換し、ポートP2におけるデータ転送
速度の1/10の速度に同期してバッファメモリBM2
に書き込む。8B10BデコーダDEC2は、クロスバ
スイッチXSWの動作速度に同期して、10bitパラ
レルデータをバッファメモリBM2から読み出し、8B
10B復号化して、8bitパラレルデータに変換す
る。8B10BエンコーダENC1は、クロスバスイッ
チXSWでスイッチされた8bitパラレルデータを再
び8B10B符号化し、10bitパラレルデータに変
換後、クロスバスイッチXSWの動作速度に同期してバ
ッファメモリBM1に書き込む。パラレルシリアル変換
装置PS1は、ポートP1におけるデータ転送速度の1
/10の速度に同期して、10bitパラレルデータを
バッファメモリBM1から読み出し、シリアル化して、
ポートP1から出力する。以上によりスイッチSW1
は、ポートP2におけるデータ転送速度からポートP1
におけるデータ転送速度へ速度変換する。
【0021】図5は、ポートP2、P3、P4、P5へ
入力するフレームと、ポートP1から出力されるフレー
ムを示した図である。波形の凸はフレームが存在する時
間、凹はフレームが存在していない時間を示している。
フレームは伝送するデータ容量に従ってそのフレーム長
が変化するが、ここではディスクアレイへのシーケンシ
ャルアクセスが行われており、フレーム長が一定であ
る。図5では、入力ポートP1でのデータ転送速度が出
力ポートP2、P3、P4、P5におけるデータ転送速
度のm倍あるとする。従って、ポートP5におけるフレ
ームFe5の時間T4は、ポートP1からの出力時にT
5へ縮んでいる。ここでT4=m×T5である。フレー
ムFe2、Fe3、Fe4、Fe5をポートP1から出
力するのにかかる時間をT6とする。スイッチ切り替え
ポート数をnとすると、T6≒n×T5である(フレー
ムの無い時間は無視した)。スイッチにおいて輻輳によ
るスループット低下を防止するためには、T6≦T4と
する必要がある。T6≦T4はn≦mと同じある。
【0022】つまり、ディスクアレイからのデータ読み
出し時に、スイッチにおいてスループット低下を起こさ
ないための条件は、周期的に切り替えるスイッチポート
数nを、ディスクアダプタとスイッチ間のチャネル当り
データ転送速度の、スイッチとディスクアレイ間のチャ
ネル当りデータ転送速度に対する比m、以下に設定す
る、ことである。この条件が保たれれば、スイッチSW
1は、ポートP2、P3、P4、P5から入力したデー
タをバッファメモリにおいて速度変換し、フレーム単位
で周期的に切り替えることにより多重化し、ポートP1
へ出力する。よって、ディスクアレイへの書き込みおよ
びディスクアレイからの読み出しを高スループット化す
るためには、n≒m、つまり、周期的に切り替えるポー
ト数を、ディスクアダプタとスイッチ間のチャネル当り
データ転送速度の、スイッチとディスクアレイ間のチャ
ネル当りデータ転送速度に対する比、と同程度に設定す
ればよいことが分かる。
【0023】例えば、ディスクアダプタとスイッチ間の
4Gbpsのチャネル1本で接続し、スイッチとディス
クアレイ間を1Gbpsのチャネル4本で接続する。ま
た、ディスクアダプタとスイッチ間の10Gbpsのチ
ャネル1本で接続し、スイッチとディスクアレイ間を2
Gbpsのチャネル4本で接続する。この場合、スイッ
チ入出力ポート間でスループットのバランスが取れない
ので、実効的なスループットは2Gbps×4=8Gb
psとなる。
【0024】以上より、スイッチSW1において速度変
換と多重化、逆多重化が行われるので、チャネルD1
1、D12、D13、D14上のデータ転送速度が低速
でも、チャネルD01、D02、D03、D04でのデ
ータ転送速度は高速にできる。つまり、ディスクアダプ
タDKAとディスクアレイDA間のスループットを向上
できる。本実施の形態のディスク装置におけるデータ転
送方式としては、ファイバチャネルやインフィニバンド
が使用できる。
【0025】図6は、第1の実施の形態のディスク装置
において、ディスクドライブの増設方法を示した図であ
る。図6では図1に対して、ディスクグループR5とR
6が増設されている。ディスクドライブを増設するた
め、スイッチSW1とSW2としてポート数の多いスイ
ッチを使用している。ディスクドライブを増設すると、
スイッチのディスクアレイ側のスループットが増加し、
ディスクアダプタ側とのスループットバランスが崩れる
ので、スイッチの速度変換機能が有効に働かなくなる可
能性がある。そこでスイッチSW1では、ディスクアダ
プタDKAとの間に、新規チャネルD05を増設してい
る。また、スイッチSW2の場合は新規チャネルを増設
せず、チャネルD02の信号伝送速度を増加させること
で、ディスクアダプタ側とディスクアレイ側のスループ
ットバランスを取っている。例えばスイッチSW1で
は、スイッチとディスクアレイ間を1Gbpsのチャネ
ル8本で接続し、ディスクアダプタとスイッチ間を4G
bpsのチャネル2本で接続する。スイッチSW2で
は、スイッチとディスクアレイ間を1Gbpsのチャネ
ル8本で接続し、ディスクアダプタとスイッチ間を10
Gbpsのチャネル1本で接続する。このように、本実
施の形態のディスク装置は、スイッチのポート数に応じ
て、ディスクドライブを増設可能である。このディスク
ドライブ増設方法は、1ポート当たりに接続できるドラ
イブ数が少ないATA(AT Attachment)
方式ディスクドライブを増設するのに適用できる。
【0026】図7に本発明の、第2の実施の形態である
ディスク装置の構成を示す。本実施の形態のディスク装
置は、第1の実施の形態のディスク装置に対して、ディ
スクアレイ部分の構成方法が異なる。本実施の形態のデ
ィスク装置は、ディスクコントローラDKCと、4個の
ディスクアレイDA1、DA2、DA3、DA4からな
る。ディスクコントローラDKCは、チャネルアダプタ
CHA、キャッシュメモリCM、ディスクアダプタDK
Aからなる。ディスクアレイDA1とディスクアダプタ
DKAは、チャネルD01とスイッチSW1を介して接
続する。同様に、ディスクアレイDA2はチャネルD0
2とスイッチSW2を介して、ディスクアレイDA3は
チャネルD03とスイッチSW3を介して、ディスクア
レイDA4はチャネルD04とスイッチSW4を介し
て、それぞれディスクアダプタDKAと接続する。スイ
ッチSW1、SW2、SW3とSW4は、第1の実施の
形態と同様に速度変換と多重化、逆多重化を行うスイッ
チとして機能する。本実施の形態におけるディスクアダ
プタDKAと、スイッチSW1、SW2、SW3、SW
4と、ディスクアレイDA1、DA2、DA3、DA4
との間のデータ転送方式は、ファイバチャネルを使用し
ている。スイッチSW1、SW2、SW3、SW4はフ
ァイバチャネルスイッチである。
【0027】本実施の形態におけるディスクアレイの構
成を、ディスクアレイDA1を例に述べる。ディスクア
レイDA1、DA2、DA3、DA4は、同様のドライ
ブ構成である。ディスクアレイDA1は、チャネルD1
1上に接続した4個のディスクからなるディスクアレイ
と、D12上に接続した4個のディスクからなるディス
クアレイと、D13上に接続した4個のディスクからな
るディスクアレイと、D14上に接続した4個のディス
クからなるディスクアレイ、からなる。チャネルD11
を例にとると、ディスクドライブDK1、DK2、DK
3、DK4が、チャネルD11上に接続されている。こ
のように、多数のドライブを一つのチャネル上に接続し
てディスクドライブにアクセスする方法としては、ファ
イバチャネルアービトレイテッドループ(以下FC−A
Lと呼ぶ)がある。
【0028】図10に、FC−ALの接続形態をディス
クドライブDK1、DK2、DK3、DK4の接続形態
を例として示す。各ディスクドライブの入出力ポートお
よびスイッチSW1の入出力ポートは、送信機Txと受
信機Rxを有する。FC−ALの接続形態は、例えば図
10に示すように、各ドライブの入出力ポートおよびス
イッチの入出力ポートをループ状に接続するトポロジで
ある。各ドライブの入出力ポートはファイバチャネルの
NL(Node Loop)ポートとして機能する。N
Lポートとは、ループ動作をする装置(ここではディス
クドライブ)のポートである。スイッチSW1のディス
クアレイDA1接続側入出力ポートは、ファイバチャネ
ルのFL(Fabric Loop)ポートとして機能
する。FLポートとは、FC−ALを接続可能なスイッ
チのポートである。FLポートを有するループは、ファ
イバチャネルのパブリックループとして機能するので、
チャネルD11が形成するFC−ALはパブリックルー
プとなる。パブリックループとは、ループ上のディスク
ドライブが、スイッチを介してループ外のポートと通信
可能なループである。よって、ディスクドライブDK
1、DK2、DK3、DK4は、スイッチSW1および
チャネルD01を介してディスクアダプタDKAと通信
可能である。以上、チャネルD11の接続形態を例に説
明したが、チャネルD12、D13、D14でも同様で
ある。本実施の形態のディスク装置においてRAIDシ
ステムを構築する場合は、ディスクグループR1、R
2、R3、R4を、それぞれRAIDグループとする。
本実施の形態では、4個のディスクドライブでRAID
グループを構成しているが、RAIDグループを構成す
るドライブ数を4個に限るものではない。
【0029】本実施の形態においては、チャネルD1
1、D12、D13、D14において、それぞれFC−
ALを用いてディスクドライブを接続している。FC−
ALの仕様から、チャネルD11、D12、D13、D
14上には、それぞれ最大126台までのディスクドラ
イブが接続可能である。また、チャネルD01、D0
2、D03、D04の媒体として光ファイバケーブル
を、チャネルD11、D12、D13、D14の媒体と
してメタルケーブルを用いる。
【0030】以上説明したように、本実施の形態のディ
スク装置においては、ディスクドライブをFC−ALで
接続しているので、スイッチのポート当りに接続できる
ドライブ台数が増加できる。つまり、ディスク装置当り
の記憶容量を増加させる効果がある。また、ディスクド
ライブをメタルケーブルで接続することにより、ディス
クドライブ毎に高価な光インターフェイスを装備する必
要がなくなるので、ディスクドライブのコストを下げる
効果がある。
【0031】図8に本発明の、第3の実施の形態である
ディスク装置の構成を示す。本実施の形態のディスク装
置は、ディスクコントローラとスイッチを二重化した点
に特徴がある。本実施の形態において、ディスクアダプ
タDKA1、DKA2と、スイッチSW1、SW2と、
ディスクアレイDA1との間のデータ転送方式は、ファ
イバチャネルを使用している。本実施の形態のディスク
装置は、ディスクコントローラDKC1、DKC2と、
スイッチSW1、SW2と、ディスクアレイDA1から
なる。スイッチSW1とSW2は、第1の実施の形態と
同様に速度変換と多重化、逆多重化を行うスイッチとし
て機能する。ディスクコントローラDKC1は、チャネ
ルアダプタCHA1と、キャッシュメモリCM1と、デ
ィスクアダプタDKA1からなる。ディスクコントロー
ラDKC2は、チャネルアダプタCHA2と、キャッシ
ュメモリCM2と、ディスクアダプタDKA2からな
る。ディスクアダプタDKA1とスイッチSW1をチャ
ネルD1aで接続し、ディスクアダプタDKA2とスイ
ッチSW2をチャネルD2aで接続し、ディスクアダプ
タDKA1とスイッチSW2をチャネルD1bで接続
し、ディスクアダプタDKA2とスイッチSW1をチャ
ネルD2bで接続する。
【0032】ディスクアレイDA1を構成するディスク
ドライブは、入出力ポートを2個有する。例えば、ディ
スクドライブDK1、DK2、DK3、DK4は、チャ
ネルD11およびD21の両チャネルと接続する。ディ
スクアレイDA1は、チャネルD11とD21に接続し
た4個のディスクからなるディスクアレイと、D12と
D22に接続した4個のディスクからなるディスクアレ
イと、D13とD23に接続した4個のディスクからな
るディスクアレイと、D14とD24に接続した4個の
ディスクからなるディスクアレイ、からなる。チャネル
D11、D12、D13、D14、D21、D22、D
23、D24は、FC−ALでディスクドライブを接続
する。
【0033】図11に本実施の形態におけるFC−AL
の接続形態を、ディスクドライブDK1、DK2、DK
3、DK4の接続形態を例として示す。各ディスクドラ
イブは、それぞれNLポートを2個有する。各ディスク
ドライブの入出力ポートおよびスイッチSW1、SW2
の入出力ポートは、送信機Txと受信機Rxを有する。
スイッチSW1、SW2のディスクアレイDA1接続側
入出力ポートは、FLポートである。チャネルD11に
より、スイッチSW1、ディスクドライブDK1、DK
2、DK3、DK4をループ状に接続する。同様にチャ
ネルD21により、スイッチSW2、ディスクドライブ
DK1、DK2、DK3、DK4をループ状に接続す
る。これら2個のループは、ファイバチャネルのパブリ
ックループであり、ディスクドライブDK1、DK2、
DK3、DK4は、スイッチSW1またはSW2を介し
てディスクアダプタDKA1またはDKA2と通信可能
である。以上、チャネルD11、D21の接続形態を例
に説明したが、チャネルD12、D13、D14、D2
2、D23、D24でも同様である。本実施の形態のデ
ィスク装置においてRAIDシステムを構築する場合
は、ディスクグループR1、R2、R3、R4を、それ
ぞれRAIDグループとする。本実施の形態では、4個
のディスクドライブでRAIDグループを構成している
が、RAIDグループを構成するドライブ数を4個に限
るものではない。
【0034】ディスクアレイDA1内の全ディスクドラ
イブは、ディスクアダプタDKA1およびDKA2のど
ちらからでもアクセス可能である。本実施の形態のディ
スク装置は、チャネルD1b、D2bをスイッチSW
1、SW2故障時の迂回経路として使用する。例えばス
イッチSW1が故障した場合でも、ディスクアダプタD
KA1はチャネルD1bとスイッチSW2経由でディス
クアレイDA1にアクセスできる。逆に、スイッチSW
2が故障した場合は、ディスクアダプタDKA2はチャ
ネルD2bとスイッチSW1経由でディスクアレイDA
1にアクセスできるので、信頼性が高いディスク装置が
実現できる。
【0035】図12に本発明の、第4の実施の形態であ
るディスク装置の構成を示す。本実施の形態のディスク
装置は、第3の実施の形態のディスク装置に対して、ス
イッチSW1、SW2間を接続するチャネルD3a、D
3bを設けた点に特徴が有る。本実施の形態において、
ディスクアダプタDKA1、DKA2と、スイッチSW
1、SW2と、ディスクアレイDA1との間のデータ転
送方式は、ファイバチャネルを使用している。本実施の
形態のディスク装置は、ディスクコントローラDKC
1、DKC2と、スイッチSW1、SW2と、ディスク
アレイDA1からなる。スイッチSW1とSW2は、第
1の実施の形態と同様に速度変換と多重化、逆多重化を
行うスイッチとして機能する。ディスクコントローラD
KC1は、チャネルアダプタCHA1と、キャッシュメ
モリCM1と、ディスクアダプタDKA1からなる。デ
ィスクコントローラDKC2は、チャネルアダプタCH
A2と、キャッシュメモリCM2と、ディスクアダプタ
DKA2からなる。ディスクアダプタDKA1とスイッ
チSW1をチャネルD1aで接続し、ディスクアダプタ
DKA2とスイッチSW2をチャネルD2aで接続し、
ディスクアダプタDKA1とスイッチSW2をチャネル
D1bで接続し、ディスクアダプタDKA2とスイッチ
SW1をチャネルD2bで接続する。さらに、スイッチ
SW1とSW2をチャネルD3a、D3bで接続する。
【0036】ディスクアレイDA1を構成するディスク
ドライブは、入出力ポートを2個有する。例えば、ディ
スクドライブDK1、DK2、DK3、DK4は、チャ
ネルD11およびD21の両チャネルと接続する。ディ
スクアレイDA1は、チャネルD11とD21に接続し
た4個のディスクからなるディスクアレイと、D12と
D22に接続した4個のディスクからなるディスクアレ
イと、D13とD23に接続した4個のディスクからな
るディスクアレイと、D14とD24に接続した4個の
ディスクからなるディスクアレイ、からなる。チャネル
D11、D12、D13、D14、D21、D22、D
23、D24は、図11に示すようにFC−ALでディ
スクドライブを接続する。ディスクアレイDA1内の全
ディスクドライブは、ディスクアダプタDKA1および
DKA2のどちらからでもアクセス可能である。本実施
の形態のディスク装置においてRAIDシステムを構築
する場合は、ディスクグループR1、R2、R3、R4
を、それぞれRAIDグループとする。本実施の形態で
は、4個のディスクドライブでRAIDグループを構成
しているが、RAIDグループを構成するドライブ数を
4個に限るものではない。
【0037】ディスクアダプタDKA1、DKA2とデ
ィスクアレイDA1のアクセス経路について、先ず、定
常時(スイッチ故障無しの場合)について説明する。デ
ィスクアダプタDKA1は、チャネルD1aとSW1を
介してディスクアレイDA1にアクセスする経路(経路
1)と、チャネルD1bとスイッチSW2とチャネルD
3aとスイッチSW1を介してディスクアレイDA1に
アクセスする経路(経路2)を有する。同様に、ディス
クアダプタDKA2は、チャネルD2aとSW2を介し
てディスクアレイDA1にアクセスする経路(経路3)
と、チャネルD2bとスイッチSW1とチャネルD3b
とスイッチSW2を介してディスクアレイDA1にアク
セスする経路(経路4)を有する。一方、スイッチ故障
時は、チャネルD1b、D2bを迂回経路として使用す
る。例えばスイッチSW1が故障した場合でも、ディス
クアダプタDKA1はチャネルD1bとスイッチSW2
経由でディスクアレイDA1にアクセスできる。逆に、
スイッチSW2が故障した場合は、ディスクアダプタD
KA2はチャネルD2bとスイッチSW1経由でディス
クアレイDA1にアクセスできる。
【0038】次に、本実施の形態におけるディスクアダ
プタ−ディスクアレイ間のスループットについて説明す
る。例として、チャネルD1a、D1b、D2a、D2
b、D3a、D3b上のデータ伝送速度をチャネル当り
2Gbpsとし、チャネルD11、D12、D13、D
14、D21、D22、D23、D24上のデータ伝送
速度をチャネル当り1Gbpsであるとする。このと
き、スイッチSW1とディスクアレイDA1間の総スル
ープットは4Gbpsである。ディスクアダプタDKA
1とスイッチSW1間は、上記経路1および経路2でア
クセスすることにより、総スループットは4Gbpsと
なる。スイッチSW1のディスクアダプタDKA1側
と、ディスクアレイDA1側のスループットが共に4G
bpsであるので、ディスクアダプタDKA1とディス
クアレイDA1間のスループットは4Gbpsとなる。
同様に、スイッチSW2とディスクアレイDA1間の総
スループットは4Gbpsである。ディスクアダプタD
KA2とスイッチSW2間は、上記経路3および経路4
でアクセスすることにより、総スループットは4Gbp
sとなる。スイッチSW2のディスクアダプタDKA2
側と、ディスクアレイDA1側のスループットが共に4
Gbpsであるので、ディスクアダプタDKA2とディ
スクアレイDA2間のスループットは4Gbpsとなる
第3の実施の形態(図8)において、上記のチャネル当
りスループット値を適用すると、チャネルD1b、D2
bをスイッチ故障時の迂回経路としか使用しないので、
ディスクアダプタDKA1とディスクアレイDA1間の
スループットは、チャネルD1a上のスループットに制
限され、2Gbpsとなる。同様に、ディスクアダプタ
DKA2とディスクアレイDA1間のスループットは、
チャネルD2a上のスループットに制限され、2Gbp
sとなる。第3の実施の形態において、ディスクアダプ
タ−ディスクアレイ間スループットを4Gbpsにする
ためには、チャネルD1aおよびD2aのデータ伝送速
度を、それぞれ4Gbpsに高める必要がある。以上か
ら、本実施の形態によれば、ディスクアダプタ−スイッ
チ間のチャネル当りデータ伝送速度が低くても、ディス
クアダプタ−ディスクアレイ間の総スループットが高い
ディスク装置が実現できる。
【0039】
【発明の効果】以上説明したように、本発明によれば以
下の効果がある。ディスクアダプタとディスクアレイ間
のスループットが高いディスク装置を提供できる。ま
た、ディスクアダプタとディスクアレイ間のスループッ
トが高く、且つディスクドライブ接続台数が多いディス
ク装置を提供できる。また、信頼性の高いディスクアレ
イを有するディスク装置を提供できる。また、信頼性が
高いディスクアダプタとディスクアレイ間ネットワーク
を有するディスク装置を提供できる。また、信頼性およ
びスループットが高いディスクアダプタとディスクアレ
イ間ネットワーク、を有するディスク装置を提供でき
る。また、ディスクからの読み出しおよびディスクへの
書きこみを高スループット化できるディスク装置を提供
できる。また、高スループットを維持できるディスク装
置を提供できる。また、ディスクアダプタとディスクア
レイ間のスループットが高く低コストなディスク装置を
提供できる。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態のディスク装置を示
す図である。
【図2】本発明に用いるスイッチの構成を示す図であ
る。
【図3】本発明に用いるスイッチの構成を示す図であ
る。
【図4】本発明に用いるスイッチの動作を示す図であ
る。
【図5】本発明に用いるスイッチの動作を示す図であ
る。
【図6】本発明第1の実施の形態に対して、ディスクド
ライブを増設する方法を示す図である。
【図7】本発明の第2の実施の形態のディスク装置を示
す図である。
【図8】本発明の第3の実施の形態のディスク装置を示
す図である。
【図9】従来のディスク装置を示す図である。
【図10】FC−ALによる接続形態を説明する図であ
る。
【図11】FC−ALによる接続形態を説明する図であ
る。
【図12】本発明の第4の実施の形態のディスク装置を
示す図である。
【符号の説明】
DKC、DKC1、DKC2 ディスクコントローラ CHA、CHA1、CHA2 チャネルアダプタ CM、CM1、CM2 キャッシュメモリ DKA、DKA1、DKA2 ディスクアダプタ DA、DA1〜DA4 ディスクアレイ DK1〜DK4 ディスクドライブ R1〜R6 ディスクグループ C1〜C4、D1〜D4、D01〜D05、D11〜D
14、D21〜D24、D1a、D1b、D2a、D2
b、D3a、D3b チャネル SW1〜SW4 スイッチ P1〜P5 スイッチポート XSW クロスバスイッチ CTL スイッチコントローラ in1〜in5 クロスバスイッチ入力ポート out1〜out5 クロスバスイッチ出力ポート SP1、SP2 シリアルパラレル変換装置 PS1、PS2 パラレルシリアル変換装置 BM1、BM2 パッファメモリ DEC1、DEC2 8B10B変換デコーダ ENC1、ENC2 8B10B変換エンコーダ T1、T2、T3、 T4、T5、T6 フレームの時間 Tx 送信機 Rx 受信機 NL NLポート FL FLポート

Claims (9)

    【特許請求の範囲】
  1. 【請求項1】 ディスクコントローラとディスクアレイ
    からなり、前記ディスクコントローラはチャネルアダプ
    タとキャッシュメモリとディスクアダプタを有するディ
    スク装置において、 前記ディスクアダプタと前記ディスクアレイを、バッフ
    ァメモリを有するスイッチを介して接続し、 前記スイッチは、前記ディスクアダプタが接続されたポ
    ートと前記ディスクアレイを構成するディスクドライブ
    が接続された各ポートとの間でのポート間の接続の切り
    換えを、入力されたフレーム毎に、該フレーム内の送信
    先情報にしたがって行うことを特徴とするディスク装
    置。
  2. 【請求項2】 ディスクコントローラと複数のディスク
    アレイからなり、前記ディスクコントローラはチャネル
    アダプタとキャッシュメモリとディスクアダプタを有す
    るディスク装置において、 前記ディスクアレイはループ状に接続した複数のディス
    クドライブからなり、前記ディスクアダプタと前記複数
    のディスクアレイとをバッファメモリを有するスイッチ
    を介して接続し、 前記ディスクアダプタと前記スイッチ間のチャネル当り
    データ転送速度を、前記スイッチと前記複数のディスク
    アレイ間のチャネル当りデータ転送速度より高く設定
    し、 前記スイッチは、前記ディスクアダプタが接続されたポ
    ートと前記複数のディスクアレイが接続された各ポート
    との間でのポート間の接続の切り換えを、入力されたフ
    レーム毎に、該フレーム内の送信先情報にしたがって行
    うことを特徴とするディスク装置。
  3. 【請求項3】 ディスクコントローラとディスクアレイ
    からなり、前記ディスクコントローラはチャネルアダプ
    タとキャッシュメモリとディスクアダプタを有するディ
    スク装置において、 前記ディスクアダプタと前記ディスクアレイを、バッフ
    ァメモリを有するスイッチを介して接続し、 同一のスイッチに接続したディスクドライブの組み合わ
    せでRAIDグループを構成し、 前記ディスクアダプタと前記スイッチ間のチャネル当り
    データ転送速度を、前記スイッチと前記ディスクアレイ
    間のチャネル当りデータ転送速度より高く設定し、 前記スイッチは、前記ディスクアダプタが接続されたポ
    ートと前記RAIDグループを構成するディスクドライ
    ブが接続された各ポートとの間でのポート間の接続の切
    り換えを、入力されたフレーム毎に、該フレーム内の送
    信先情報にしたがって行うことを特徴とするディスク装
    置。
  4. 【請求項4】 第1のディスクコントローラと第2のデ
    ィスクコントローラと複数のディスクアレイからなり、 第1のディスクコントローラは第1のチャネルアダプタ
    と第1のキャッシュメモリと第1のディスクアダプタを
    有し、 第2のディスクコントローラは第2のチャネルアダプタ
    と第2のキャッシュメモリと第2のディスクアダプタを
    有するディスク装置において、 第1のディスクアダプタと前記複数のディスクアレイと
    をバッファメモリを有する第1のスイッチを介して接続
    し、且つ第2のディスクアダプタと前記複数のディスク
    アレイとをバッファメモリを有する第2のスイッチを介
    して接続し、さらに第1のスイッチと第2のディスクア
    ダプタを接続し、第2のスイッチと第1のディスクアダ
    プタを接続し、 第1のディスクアダプタと第1のスイッチ間、および第
    2のディスクアダプタと第1のスイッチ間のチャネル当
    りデータ転送速度を第1のスイッチと前記複数のディス
    クアレイ間のチャネル当りデータ転送速度より高く設定
    し、 第2のディスクアダプタと第2のスイッチ間、および第
    1のディスクアダプタと第2のスイッチ間のチャネル当
    りデータ転送速度を第2のスイッチと前記複数のディス
    クアレイ間のチャネル当りデータ転送速度より高く設定
    し、 第1のスイッチは、第1のディスクアダプタまたは第2
    のディスクアダプタが接続されたポートと前記複数のデ
    ィスクアレイが接続された各ポートとの間でのポート間
    の接続の切り換えを、入力されたフレーム毎に、該フレ
    ーム内の送信先情報にしたがって行い、 第2のスイッチは、第1のディスクアダプタまたは第2
    のディスクアダプタが接続されたポートと前記複数のデ
    ィスクアレイが接続された各ポートとの間でのポート間
    の接続の切り換えを、入力されたフレーム毎に、該フレ
    ーム内の送信先情報にしたがって行うことを特徴とする
    ディスク装置。
  5. 【請求項5】 第1のディスクコントローラと第2のデ
    ィスクコントローラと複数のディスクアレイからなり、 第1のディスクコントローラは第1のチャネルアダプタ
    と第1のキャッシュメモリと第1のディスクアダプタを
    有し、 第2のディスクコントローラは第2のチャネルアダプタ
    と第2のキャッシュメモリと第2のディスクアダプタを
    有するディスク装置において、 第1のディスクアダプタと前記複数のディスクアレイと
    をバッファメモリを有する第1のスイッチを介して接続
    し、且つ第2のディスクアダプタと前記複数のディスク
    アレイとをバッファメモリを有する第2のスイッチを介
    して接続し、さらに第1のスイッチと第2のディスクア
    ダプタを接続し、第2のスイッチと第1のディスクアダ
    プタを接続し、 第1のディスクアダプタと第1のスイッチ間、および第
    2のディスクアダプタと第1のスイッチ間のチャネル当
    りデータ転送速度を第1のスイッチと前記複数のディス
    クアレイ間のチャネル当りデータ転送速度より高く設定
    し、 第2のディスクアダプタと第2のスイッチ間、および第
    1のディスクアダプタと第2のスイッチ間のチャネル当
    りデータ転送速度を第2のスイッチと前記複数のディス
    クアレイ間のチャネル当りデータ転送速度より高く設定
    し、 第1のスイッチと第2のスイッチを、第1のディスクア
    ダプタと第2のスイッチ間を接続したチャネルと同等の
    データ転送速度を有するチャネルと、第2のディスクア
    ダプタと第1のスイッチ間を接続したチャネルと同等の
    データ転送速度を有するチャネルと、を介して接続し、 第1のスイッチは、第1のディスクアダプタまたは第2
    のディスクアダプタまたは第2のスイッチが接続された
    ポートと前記複数のディスクアレイが接続された各ポー
    トとの間でのポート間の接続の切り換えを、入力された
    フレーム毎に、該フレーム内の送信先情報にしたがって
    行い、 第2のスイッチは、第1のディスクアダプタまたは第2
    のディスクアダプタまたは第1のスイッチが接続された
    ポートと前記複数のディスクアレイが接続された各ポー
    トとの間でのポート間の接続の切り換えを、入力された
    フレーム毎に、該フレーム内の送信先情報にしたがって
    行うことを特徴とするディスク装置。
  6. 【請求項6】 請求項1乃至請求項5のいずれかの請求
    項記載のディスク装置において、 前記ディスクアレイからのデータ読み出し時には、前記
    ディスクアレイから前記スイッチに転送されるデータを
    前記スイッチにおいて多重化して前記ディスクアダプタ
    に転送し、 前記ディスクアレイへのデータ書き込み時には、前記デ
    ィスクアダプタから前記スイッチに転送されるデータを
    前記スイッチにおいて逆多重化して前記ディスクアレイ
    に転送することを特徴とするディスク装置。
  7. 【請求項7】 請求項1乃至請求項5のいずれかの請求
    項記載のディスク装置において、 ディスクアダプタからディスクアレイへのデータ書き込
    み時に、前記ディスクアダプタは、前記ポート間の接続
    の切り替えが周期的に行われるように、送出するフレー
    ムに送信先情報を設定し、 ディスクアレイからディスクアダプタへのデータ読み出
    し時に、前記スイッチは、ラウンドロビン方式により前
    記ポート間の接続を切り替えることを特徴とするディス
    ク装置。
  8. 【請求項8】 請求項7記載のディスク装置において、 周期的に切り替えるポート数を、ディスクアダプタとス
    イッチ間のチャネル当りデータ転送速度の、スイッチと
    ディスクアレイ間のチャネル当りデータ転送速度に対す
    る比、と同程度に設定することを特徴とするディスク装
    置。
  9. 【請求項9】 請求項1乃至請求項5のいずれかの請求
    項記載のディスク装置において、 前記ディスクアダプタと前記スイッチ間を光ファイバケ
    ーブルで接続し、前記スイッチと前記ディスクアレイ間
    をメタルケーブルで接続することを特徴とするディスク
    装置。
JP2002106262A 2002-04-09 2002-04-09 ディスクアダプタとディスクアレイをスイッチを介して接続したディスク装置 Pending JP2003303055A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2002106262A JP2003303055A (ja) 2002-04-09 2002-04-09 ディスクアダプタとディスクアレイをスイッチを介して接続したディスク装置
EP02017669A EP1353264A3 (en) 2002-04-09 2002-08-06 Disk storage system having disk arrays connected with disk adaptors through switches
US10/212,882 US6915380B2 (en) 2002-04-09 2002-08-07 Disk storage system having disk arrays connected with disk adaptors through switches
CN2006101389972A CN1920766B (zh) 2002-04-09 2002-08-27 经由开关连接盘适配器和盘阵列的盘装置
CN02141918.3A CN1280701C (zh) 2002-04-09 2002-08-27 经由开关连接盘适配器和盘阵列的盘装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002106262A JP2003303055A (ja) 2002-04-09 2002-04-09 ディスクアダプタとディスクアレイをスイッチを介して接続したディスク装置

Publications (1)

Publication Number Publication Date
JP2003303055A true JP2003303055A (ja) 2003-10-24

Family

ID=28449919

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002106262A Pending JP2003303055A (ja) 2002-04-09 2002-04-09 ディスクアダプタとディスクアレイをスイッチを介して接続したディスク装置

Country Status (4)

Country Link
US (1) US6915380B2 (ja)
EP (1) EP1353264A3 (ja)
JP (1) JP2003303055A (ja)
CN (2) CN1280701C (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005293595A (ja) * 2004-04-02 2005-10-20 Seagate Technology Llc 多数パスの冗長ストーレジ・システム構造及び方法
EP1788482A2 (en) 2005-11-22 2007-05-23 Hitachi, Ltd. Storage control device, and error information management method for storage control device
JP2007128527A (ja) * 2006-11-16 2007-05-24 Hitachi Ltd ディスクアレイ装置
KR100736645B1 (ko) 2004-11-30 2007-07-09 후지쯔 가부시끼가이샤 데이터 기억 시스템 및 데이터 기억 제어 장치
KR100766356B1 (ko) 2005-11-28 2007-10-12 후지쯔 가부시끼가이샤 데이터 스토리지 시스템 및 데이터 스토리지 제어 장치
US7865665B2 (en) 2003-11-28 2011-01-04 Hitachi, Ltd. Storage system for checking data coincidence between a cache memory and a disk drive
US7925930B2 (en) 2007-01-18 2011-04-12 Hitachi, Ltd. Storage control system and control method for storage control system

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7346135B1 (en) 2002-02-13 2008-03-18 Marvell International, Ltd. Compensation for residual frequency offset, phase noise and sampling phase offset in wireless networks
US7263153B2 (en) 2002-10-09 2007-08-28 Marvell International, Ltd. Clock offset compensator
US7319705B1 (en) 2002-10-22 2008-01-15 Marvell International Ltd. Programmable pre-emphasis circuit for serial ATA
JP4483168B2 (ja) * 2002-10-23 2010-06-16 株式会社日立製作所 ディスクアレイ制御装置
US7752294B2 (en) * 2002-10-28 2010-07-06 Netapp, Inc. Method and system for dynamic expansion and contraction of nodes in a storage area network
US7246192B1 (en) 2003-01-10 2007-07-17 Marvell International Ltd. Serial/parallel ATA controller and converter
JP2004348464A (ja) 2003-05-22 2004-12-09 Hitachi Ltd ストレージ装置、及び通信信号の整形回路
US8930583B1 (en) 2003-09-18 2015-01-06 Marvell Israel (M.I.S.L) Ltd. Method and apparatus for controlling data transfer in a serial-ATA system
JP4220887B2 (ja) * 2003-11-17 2009-02-04 株式会社日立製作所 ディスク装置及びその制御方法
JP4454299B2 (ja) 2003-12-15 2010-04-21 株式会社日立製作所 ディスクアレイ装置及びディスクアレイ装置の保守方法
JP4405277B2 (ja) * 2004-02-16 2010-01-27 株式会社日立製作所 ディスク制御装置
US7467238B2 (en) 2004-02-10 2008-12-16 Hitachi, Ltd. Disk controller and storage system
JP2005267502A (ja) * 2004-03-22 2005-09-29 Hitachi Ltd データ転送用スイッチ
US20050235080A1 (en) * 2004-04-16 2005-10-20 Mohamad El-Batal Speed matching data storage system
US7958292B2 (en) 2004-06-23 2011-06-07 Marvell World Trade Ltd. Disk drive system on chip with integrated buffer memory and support for host memory access
JP4555029B2 (ja) * 2004-09-01 2010-09-29 株式会社日立製作所 ディスクアレイ装置
JP4491330B2 (ja) * 2004-11-08 2010-06-30 富士通株式会社 ディスクアレイ装置とそのデータのリカバリ方法およびデータリカバリプログラム
JP2006244123A (ja) * 2005-03-03 2006-09-14 Fujitsu Ltd データストレージシステム及びデータストレージ制御装置
JP2006252328A (ja) * 2005-03-11 2006-09-21 Toshiba Corp ディスクアレイ制御装置、ストレージシステム、およびディスクアレイ制御方法
JP4649271B2 (ja) * 2005-06-08 2011-03-09 キヤノン株式会社 制御装置
JP4345979B2 (ja) * 2005-06-30 2009-10-14 富士通株式会社 Raid装置、通信接続監視方法及びプログラム
US7752387B2 (en) * 2006-03-21 2010-07-06 International Business Machines Corporation Offloading firmware update tasks from RAID adapter to distributed service processors in switched drive connection network enclosure
JP4897387B2 (ja) * 2006-08-10 2012-03-14 株式会社日立製作所 ストレージ装置およびこれを用いたデータの管理方法
JP5179031B2 (ja) * 2006-09-13 2013-04-10 株式会社日立製作所 空きポートを有効に活用したストレージシステム
US7567471B2 (en) * 2006-12-21 2009-07-28 Intel Corporation High speed fanned out system architecture and input/output circuits for non-volatile memory
US20090055451A1 (en) * 2007-08-17 2009-02-26 Clay Andre Reimer Systems and Methods For Providing Redundant Data Storage
US20090216942A1 (en) * 2008-02-23 2009-08-27 Broadcom Corporation Efficient memory management for hard disk drive (hdd) read channel
US8006021B1 (en) * 2008-03-27 2011-08-23 Xilinx, Inc. Processor local bus bridge for an embedded processor block core in an integrated circuit
US20120185749A1 (en) * 2011-01-14 2012-07-19 Hitachi, Ltd. Storage apparatus and response time control method

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3187525B2 (ja) 1991-05-17 2001-07-11 ヒュンダイ エレクトロニクス アメリカ バス接続装置
JPH0619627A (ja) 1992-06-30 1994-01-28 Hitachi Ltd 回転形記憶装置
US5909594A (en) * 1997-02-24 1999-06-01 Silicon Graphics, Inc. System for communications where first priority data transfer is not disturbed by second priority data transfer and where allocated bandwidth is removed when process terminates abnormally
US6112276A (en) * 1997-10-10 2000-08-29 Signatec, Inc. Modular disk memory apparatus with high transfer rate
JP3279248B2 (ja) * 1998-02-27 2002-04-30 日本電気株式会社 スイッチ機構およびこれを有するディスクアレイ装置およびコンピュータシステム
JP3726484B2 (ja) 1998-04-10 2005-12-14 株式会社日立製作所 記憶サブシステム
JP3196726B2 (ja) * 1998-06-10 2001-08-06 日本電気株式会社 ディスクアレイ接続システム及びその障害発生装置検出方法並びにその制御プログラムを記録した記録媒体
JP4294142B2 (ja) * 1999-02-02 2009-07-08 株式会社日立製作所 ディスクサブシステム
US6633946B1 (en) * 1999-09-28 2003-10-14 Sun Microsystems, Inc. Flexible switch-based I/O system interconnect
JP2003084919A (ja) * 2001-09-06 2003-03-20 Hitachi Ltd ディスクアレイ装置の制御方法およびディスクアレイ装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7865665B2 (en) 2003-11-28 2011-01-04 Hitachi, Ltd. Storage system for checking data coincidence between a cache memory and a disk drive
US8468300B2 (en) 2003-11-28 2013-06-18 Hitachi, Ltd. Storage system having plural controllers and an expansion housing with drive units
JP2005293595A (ja) * 2004-04-02 2005-10-20 Seagate Technology Llc 多数パスの冗長ストーレジ・システム構造及び方法
KR100736645B1 (ko) 2004-11-30 2007-07-09 후지쯔 가부시끼가이샤 데이터 기억 시스템 및 데이터 기억 제어 장치
EP1788482A2 (en) 2005-11-22 2007-05-23 Hitachi, Ltd. Storage control device, and error information management method for storage control device
US7571356B2 (en) 2005-11-22 2009-08-04 Hitachi, Ltd. Storage control device, and error information management method for storage control device
KR100766356B1 (ko) 2005-11-28 2007-10-12 후지쯔 가부시끼가이샤 데이터 스토리지 시스템 및 데이터 스토리지 제어 장치
US7418533B2 (en) 2005-11-28 2008-08-26 Fujitsu Limited Data storage system and control apparatus with a switch unit connected to a plurality of first channel adapter and modules wherein mirroring is performed
JP2007128527A (ja) * 2006-11-16 2007-05-24 Hitachi Ltd ディスクアレイ装置
JP4486633B2 (ja) * 2006-11-16 2010-06-23 株式会社日立製作所 ディスクアレイ装置
US7925930B2 (en) 2007-01-18 2011-04-12 Hitachi, Ltd. Storage control system and control method for storage control system

Also Published As

Publication number Publication date
CN1920766A (zh) 2007-02-28
US6915380B2 (en) 2005-07-05
CN1920766B (zh) 2011-09-28
CN1450443A (zh) 2003-10-22
US20030191891A1 (en) 2003-10-09
EP1353264A3 (en) 2005-12-07
EP1353264A2 (en) 2003-10-15
CN1280701C (zh) 2006-10-18

Similar Documents

Publication Publication Date Title
JP2003303055A (ja) ディスクアダプタとディスクアレイをスイッチを介して接続したディスク装置
US7836249B2 (en) Disk subsystem
JP4220887B2 (ja) ディスク装置及びその制御方法
US8156270B2 (en) Dual port serial advanced technology attachment (SATA) disk drive
US8074002B2 (en) Route aware serial advanced technology attachment (SATA) switch
US7251701B2 (en) Disk array apparatus
US8266353B2 (en) Serial advanced technology attachment (SATA ) switch
US8683123B2 (en) Clustered storage network
KR20050046543A (ko) 시리얼 어태치드 스카시 스토리지 네트워크에서의 통신시스템 및 방법
US7406619B2 (en) Cache synchronization in a RAID subsystem using serial attached SCSI and/or serial ATA
EP2285055B1 (en) Method for aggregating a plurality of links to simulate a unitary connection
CN100362790C (zh) 一种用于海量存储系统的核心存储交换平台系统
US7301956B2 (en) System and method for storing and retrieving multi-speed data streams within a network switch
JP4444636B2 (ja) ディスクサブシステム

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20040318

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040727

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20061026

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070205

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070731

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070925

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20071128

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20081003