JP2007148764A - データストレージシステム及びデータストレージ制御装置 - Google Patents

Abstract

【課題】プロトコルの異なるメインフレーム系ホストとオープン系ホストのアクセスに対し、記憶デバイスを制御する複数の制御モジュールを有するストレージシステムに関し、両アクセスの高速化を実現する。
【解決手段】オープン用チャネルアダプタ（４１）とメインフレーム用チャネルアダプタ（４４）を別に設け、メインフレーム用チャネルアダプタ（４４）を、フロントルータ（６−０，６−１）を介し複数のコントロールマネージャ（４０）に接続し、メインフレーム系ホストのライトアクセスに対し、ライト処理におけるミラーリングを、並行に実行する。処理完了まで接続を継続するメインフレーム系ホストのライト処理を高速化でき、特に、ライトミスの場合でも、ディスクリード処理をパラレルに実行でき、ライトミスの処理の高速化に寄与する。又、オープン系ホストのアクセスに対しても、高いスループットを実現できる。
【選択図】図１

Description

本発明は、コンピュータの外部記憶装置として用いられるデータストレージシステム及びデータストレージ制御装置の構成に関し、特に、ディスクデバイスを多数接続するデータストレージシステムを高性能且つ柔軟に構成できるようなユニットの組み合わせと接続を持つデータストレージシステム及びデータストレージ制御装置に関する。

近年、様々なデータが電子化され、コンピュータ上で扱われるのに従い、データの処理を実行するホストコンピュータとは独立して、大量のデータを効率よく、高い信頼性で格納することのできるデータストレージ装置（外部記憶装置）の重要性が増加している。

このデータストレージ装置として、大量のディスクデバイス（例えば、磁気ディスクや光ディスク）と、これら大量のディスクデバイスを制御するディスクコントローラとから構成されるディスクアレイ装置が利用されている。このディスクアレイ装置は、同時に複数のホストコンピュータからのディスクアクセス要求を受け付けて、大量のディスクに対する制御を行なうことができる。近年では、ディスクデバイスが数１０００台以上、記憶容量では、数百テラバイト以上のディスクデバイス群を１台で制御できるディスクアレイ装置も提供されている。

このようなディスクアレイ装置は、ディスクのキャッシュの役割を果たすメモリを内蔵する。これにより、ホストコンピュータからリード要求及びライト要求を受信した際の、データへのアクセス時間を短縮し、高性能化を実現できる。

一般に、ディスクアレイ装置は、複数の主要ユニット、即ち、ホストコンピュータとの接続部分であるチャネルアダプタ，ディスクドライブとの接続部分であるディスクアダプタ，キャッシュメモリ，キャッシュメモリ及び全体の制御を担当する制御ユニット，及び大量のディスクドライブから構成される。

図１５は、第１の従来例のディスクアレイ装置１００の構成図である。図１５に示すように、従来のディスクアレイ装置１００は、主要ユニットであるキャッシュメモリとキャッシュ制御部とをそなえるコントロールマネージャ（図中ＣＭと表記）１０、ホストコンピュータ（図示略）とのインターフェースであるチャネルアダプタ（図中ＣＡと表記）１１、複数のディスクドライブを備えるディスクエンクロージャ１２、及び、このディスクエンクロージャ１２とのインターフェースであるディスクアダプタ（図中ＤＡと表記）１３をそなえる。

更に、コントロールマネージャ１０，チャネルアダプタ１１，及びディスクアダプタ１３間を互いに接続し、これら主要ユニット間のデータ転送と通信を行うためのルータ（Router；図中ＲＴと表記）１４がそなえられている。

このディスクアレイ装置１００では、コントロールマネージャ１０が４つそなえられ、これらのコントロールマネージャ１０に対応して４つのルータ１４がそなえられている。これらコントロールマネージャ１０とルータ１４とは、１対１で相互に接続されており、これによって、複数のコントロールマネージャ１０間の接続が冗長化されて、可用性が高められている（例えば、特許文献１参照）。

即ち、１つのルータ１４の故障した場合にも、別のルータ１４を経由することで複数のコントロールマネージャ１０間の接続は確保されており、かかる場合にも、ディスクアレイ装置１００は通常の動作を継続することができる。

また、このディスクアレイ装置１００は、各ルータ１４に、２つのチャネルアダプタ１１と２つのディスクアダプタ１３とが接続されている。これらのチャネルアダプタ１１及びディスクアダプタ１３は、コントロールマネージャ１０とルータ１４との相互接続により、全てのコントロールマネージャ１０との間で通信が可能である。

又、チャネルアダプタ１１は、例えば、ファイバチャネルやEthernet（登録商標）によって、データを処理対象とするホストコンピュータ（図示略）に接続されており、ディスクアダプタ１３は、例えば、ファイバチャネルのケーブルによって、ディスクエンクロージャ１２（具体的にはディスクドライブ群）に接続される。

そして、チャネルアダプタ１１とコントロールマネージャ１０との間、及びディスクアダプタ１３とコントロールマネージャ１０との間では、ホストコンピュータからのユーザデータだけではなく、ディスクアレイ装置１００の内部の動作の一貫性を保つための様々な情報のやり取り（例えば、複数のキャッシュメモリ間のデータのミラーリング処理）がなされる。

このディスクアレイ装置１００では、搭載されているディスクのアドレス毎に、キャッシュ機能を担当のコントロールマネージャが決まっているため、ホストからディスクアクセスの要求を受け取ると、まず担当コントロールマネージャを決定する動作が必要になる。また、キャッシュメモリは、揮発性のメモリで構成されるため、何らかの障害発生時に備え、他のコントロールマネージャのキャッシュメモリにも、同一のデータを格納するミラーリングが必要となる。

即ち、ホストコンピュータからのライト動作の場合、ホストコンピュータからのデータを、まずチャネルアダプタ１１が受信する。チャネルアダプタ１１は、１つのコントロールマネージャ１０に対して、ホストからの要求されたディスクを、どのコントロールマネージャ１０が担当しているかを問い合わせた後、担当コントロールマネージャ１０内のキャッシュメモリへデータを書き込む。書き込みが正常に終了すると、チャネルアダプタ１１が、ホストコンピュータに対して完了通知を行う。

又、チャネルアダプタ１１が、ホストコンピュータからのリード要求を受け取った場合も、同様に要求されたデータをどのコントロールマネージャが担当しているかを、１つのコントロールマネージャ１０に対して問い合わせた後、担当のコントロールマネージャ１０に対してデータの要求を行う。

要求を受けたコントロールマネージャ１０は、キャッシュメモリ内にデータがあれば、すぐにチャネルアダプタ１１に読み出すように通知をするが、キャッシュメモリ内にデータがない場合、ディスクアダプタ１３に対して、ディスクからデータを読み出すように要求する。

ディスクアダプタ１３は、ディスクからデータを読み出すと、担当コントロールマネージャ１０のキャッシュメモリへ書き込み、それを受けて担当コントロールマネージャ１０が、チャネルアダプタ１１にデータの読み出しが可能になったことを通知する。チャネルアダプタ１１は、通知を受けると、キャッシュメモリからデータを読み出し、ホストコンピュータへ転送する。

図１６は、第２の従来技術の説明図である。図１６に示すディスクアレイ装置１０２は、コントロールマネージャ（キャッシュメモリと制御部）１２が４つそなえられ、且つ各コントロールマネージャ１０には、チャネルアダプタ１１及びディスクアダプタ１３が接続されている。

また、４つのコントロールマネージャ１０は、一対のルータ１４によって、互いに通信可能に接続されている。又、チャネルアダプタ１１は、例えば、ファイバチャネルもしくはEthernet（登録商標）によって、ホストコンピュータ（図示略）に接続され、ディスクアダプタ１３は、例えば、ファイバチャネルのケーブルによってディスクエンクロージャ１２の各ディスクドライブに接続されている。

更に、ディスクエンクロージャ１２は、２つのポート（例えば、ファイバチャネルポート）を有し、これら２つのポートが、異なるディスクアダプタ１３に接続されている。これにより、冗長性を持たせ、耐故障性を高めている。

このルータ１４により、ディスクアレイ装置１００の内部の動作の一貫性を保つための様々な情報のやり取り（例えば、複数のキャッシュメモリ間のデータのミラーリング処理）がなされる（例えば、特許文献１参照）。

この第２の従来例では、ホストコンピュータからのライトデータをチャネルアダプタ１１が受信し、接続されているコントロールマネージャ１０に転送する。データを受け取ったコントロールマネージャ１０は、担当コントロールマネージャ１０を確認し、自分が担当であれば、チャネルアダプタ１１にデータのライト処理が終わったことを通知する。担当が別のコントロールマネージャ１０の場合は、担当コントロールマネージャ１０にデータを転送してから、チャネルアダプタ１１にデータの処理終了を通知する。チャネルマネージャ１１は、コントロールマネージャ１０からの通知を受けると、ホストに対してライト完了通知を行う。

ホストコンピュータからのリード要求を受け取った場合も、チャネルアダプタ１１は、まず接続されているコントロールマネージャ１０に要求を行い、要求を受けたコントロールマネージャ１０が、担当コントロールマネージャを確認する。自分が担当であれば、キャッシュメモリ内からデータを取り出すか、ディスクアダプタ１３を介しディスクからデータを読み出して、チャネルアダプタ１１へ送信する。

一方、別のコントロールマネージャ１０が担当の場合は、担当コントロールマネージャ１０に要求を行い、担当コントロールマネージャが同様のリード動作で、返してきたデータをチャネルアダプタ１１へ転送する。チャネルアダプタ１１は、コントロールマネージャ１０から受け取ったデータをホストコンピュータへ転送する。
特開２００１−２５６００３号公報（図７、図１２）

近年の電子化の推進により、より大容量で、高速なデータストレージシステムが要求されている。上記にあげた２つの従来例の構成の装置は、いずれも高い可用性と柔軟性を実現しているが、複数種類のホストインターフェースをサポートするためには十分でない面がある。

即ち、ホストインターフェースのプロトコルやスループットの違いに起因し、サポートする形態が異なる。例えば、ＵＮＩＸ（登録商標）やＩＡ（Internet Appliance）サーバのように、Ｏｐｅｎ系と呼ばれるホストコンピュータのインターフェースであるファイバーチャネルやｉＳＣＳＩ（Internet Small Computer System Interface）は、２００ＭＢ／ｓ以上の高いスループットを要求する。これに対し、メインフレーム系のホストコンピュータのインターフェースであるＦＩＣＯＮ（登録商標）やＥＳＣＯＮ（登録商標）は、２０ＭＢ／ｓ〜２００ＭＢ／ｓ程度のスループットを持てば十分である。

また、ホストが期待する応答時間にも差があり、Ｏｐｅｎ系のホストは、リクエストを送信後、一旦ストレージ装置との接続を切り離して、別の処理を行う。一方、メインフレーム系のホストは、最初のリクエスト送信から、データ転送、ステータスの受信までを、ストレージ装置と接続したままで行うことが多いため、メインフレーム系のホストは、１つのデータ転送に対して、短い応答時間を要求する。

このような複数の異なるプロトコルやスループットのホストインターフェースをサポートする場合には、第１の従来技術の構成では、チャネルアダプタ−コントロールマネージャ間、ディスクアダプタ−コントロールマネージャ間、コントロールマネージャ−コントロールマネージャ間が、全てルータを経由するため、スループットの面で、ルータがネックとなりやすい。つまり、チャネルアダプタに対して、十分なスループットを与えるのが難しい構成と言える。

又、第２の従来技術の構成では、チャネルアダプタ−コントロールマネージャ間、ディスクアダプタ−コントロールマネージャ間、コントロールマネージャ−コントロールマネージャ間を接続するバスが、全て独立しているため、スループットの問題は発生しないが、ホストに対する応答速度を満たすことが難しい場合がある。

このことを、最も応答速度が長くなる場合を例にとって説明する。ホストからのデータが、ディスクのデータの一部を書き換えるケースを考える。ディスク上のデータは、ある一定の単位毎に、チェックコードによって保護されているため、その一部を書き換える場合は、その部分だけでなく、データ単位の残りの部分を使って、チェックコードを作り直す必要がある。残りのデータが、キャッシュ上にない場合には、ライトの処理にもかかわらず、ディスクから読み出す動作が必要となり、応答に時間がかかる。

特に、第２の従来技術では、ホストから要求されたデータを担当しているコントロールマネージャが、ホストからの要求を受けたチャネルアダプタと接続されていない場合があり、このような場合にはさらに応答速度が長くなる。以下では、説明のために、ホストから要求を受けたチャネルアダプタが接続されるコントロールマネージャをＣＭ−Ｒ(Receive-ＣＭ)、データを担当しているチャネルマネージャをＣＭ−Ｍ（Master-ＣＭ）、キャッシュデータのミラーを持っているチャネルマネージャをＣＭ−Ｓ(Slave-ＣＭ)と呼ぶことにする。

（１）チャネルアダプタ１１が、ホストからのライトデータを受信する。

（２）ディスクアダプタ１３が、チェックコード生成のために、残りのデータをディスクから読み出す。

（３）ディスクアダプタ１３が、コントロールマネージャＣＭ−Ｍにデータを書き込む。

（４）コントロールマネージャＣＭ−Ｍが、コントロールマネージャＣＭ−Ｒにデータを転送する。

（５）チャネルアダプタ１１が、コントロールマネージャＣＭ−Ｒにデータを書き込む。

（６）コントロールマネージャＣＭ−Ｒが，新しいデータに対するチェックコードを生成し、両コントロールマネージャＣＭ−Ｍ，ＣＭ−Ｓへ転送する。

更に、前述の第２の従来のディスクアレイ装置では、大容量、高速化のため、更に、コントロールマネージャ１０や、チャネルアダプタ１１、ディスクアダプタ１３を増設する場合には、ディスクエンクロージャ１２のポート数を増加し、且つディスクアダプタ１３とディスクエンクロージャ１２の接続ケーブルの本数を増加させる必要がある。

ディスクエンクロージャ１２のポート数を増加することは、１つのディスクエンクロージャに接続されるディスクアダプタの数に応じたケーブル数が、増加し、実装空間が大きくなる。即ち、装置の大型化を招く。又、１つのディスクエンクロージャでは、２系統のパスがあれば、十分な冗長構成をとれるため、ポート数を増加することは、得策でない。しかも、接続されるディスクアダプタの数は、一定でなく、ユーザの要求に応じて、変化するため、多数のポートを増設すると、少ないディスクアダプタでは、無駄が生じ、少数のポートを増設すると、多数のディスクアダプタに対応できない。即ち、汎用性を失うことになる。

一方、第１の従来のディスクアレイ装置では、主要ユニットを多数設けた大規模なディスクアレイ装置を構成する場合には、コントロールマネージャ１０とルータ１４との間の接続線数が急増するため、接続関係が複雑になってしまい、物理的にも実装が困難になる。

例えば、図１５の構成では、図１７に示すように、４つ（４枚）のキャッシュマネージャ１０と、４つ（４枚）のルータ１４とが、バックパネル１５を経由して接続される実装構造をとる。この場合、前述のように、図１５のように、信号本数は、４×４×（１パス当りの信号本数）となる。例えば、前述のように、１パスを、６４ビットのＰＣＩ（パラレルバス）で接続する場合には、制御線を含め、バックパネル１５上では、１００×１６＝１６００本の信号線となる。この信号線を配線するためには、バックパネル１５のプリント基板は、６層の信号層を必要とする。

さらに、大規模構成の場合には、例えば、８つ（４枚）のキャッシュマネージャ１０と、８つ（４枚）のルータ１４とが、バックパネル１５を経由して接続される構成では、信号本数は、１００×８×８＝約６４００本も必要する。このためのバックパネル１５のプリント基板は、４倍の２４層必要となり、実現が困難である。

仮に、６４ビットのＰＣＩバスに代え、信号線の少ない４レーンのＰＣＩ−Ｅｘｐｒｅｓｓで接続すると、信号線数は、１６×８×８＝１０２４本となる。しかし、ＰＣＩバスは、６６ＭＨｚであるのに対し、ＰＣＩ−Ｅｘｐｒｅｓｓは、２．５Ｇｂｐｓの高速バスであり、高速バスの信号品質を保つには、高価な基板材料を使用する必要がある。

更に、低速バスであれば、ビア（Ｖｉａ）を使用することで、配線層の入れ替えが可能であるが、高速バスでは、Ｖｉａは、信号品質の低下を招くことになり、避ける必要もある。このため、高速バスでは、全ての信号線が交差しないよう配置する必要があり、同じ本数の低速バスの約２倍の信号層が必要となる。例えば、基板は、１２層の信号層を必要とし、且つ高価な材料で構成する必要があり、これも実現が困難である。

しかも、第１の従来のディスクアレイ装置１００では、ルータ１４の一つが故障した場合には、当該ルータ１４の故障と同時に、当該ルータ１４配下に接続されたチャネルアダプタ１１及びディスクアダプタ１３も使えなくなってしまう。

従って、本発明の目的は、メインフレーム系のホストへの応答時間を改善するとともに、オープン系ホストのスループットを改善するためのデータストレージシステム及びデータストレージ制御装置を提供することにある。

又、本発明の他の目的は、メインフレーム系ホストとオープン系ホストとの個々のインタフェースに、適切なスループットを実現するためのデータストレージシステム及びデータストレージ制御装置を提供することにある。

更に、本発明の更に他の目的は、メインフレーム系ホストとオープン系ホストに対し、高いスループットと冗長性を保証しつつ、小規模から大規模までの構成を、実装上の問題なく、容易に実現するためのデータストレージシステム及びデータストレージ制御装置を提供することにある。

この目的の達成のため、本発明のデータストレージシステムは、データを記憶する複数の記憶デバイスと、メインフレーム系上位とオープン系上位とのアクセス指示に従い、前記記憶デバイスをアクセスする複数の制御モジュールと、前記メインフレーム系上位とのインターフェース制御を行う第２のチャネルアダプタと、前記第２のチャネルアダプタと前記複数の制御モジュールとに接続され、前記第２のチャネルアダプタと前記複数の制御モジュールとの接続を選択的に切り替えるスイッチユニットとを有し、前記制御モジュールの各々は、前記記憶デバイスに記憶されたデータの一部を格納するキャッシュメモリと、前記オープン系上位とのインターフェース制御を行う第１のチャネルアダプタと、前記複数の記憶デバイスとのインターフェース制御を行うディスクアダプタと、前記アクセスに応じて、キャッシュメモリの制御を行うとともに、前記ディスクアダプタを介し前記記憶デバイスをアクセスする制御ユニットとを有する。

又、本発明のデータストレージ制御装置は、メインフレーム系上位とオープン系上位とのアクセス指示に従い、データを記憶する複数の記憶デバイスをアクセスする複数の制御モジュールと、前記メインフレーム系上位とのインターフェース制御を行う第２のチャネルアダプタと、前記第２のチャネルアダプタと前記複数の制御モジュールとに接続され、前記第２のチャネルアダプタと前記複数の制御モジュールとの接続を選択的に切り替えるスイッチユニットとを有し、前記制御モジュールの各々は、前記記憶デバイスに記憶されたデータの一部を格納するキャッシュメモリと、前記オープン系上位とのインターフェース制御を行う第１のチャネルアダプタと、前記複数の記憶デバイスとのインターフェース制御を行うディスクアダプタと、前記アクセスに応じて、キャッシュメモリの制御を行うとともに、前記ディスクアダプタを介し前記記憶デバイスをアクセスする制御ユニットとを有する。

更に、本発明では、好ましくは、前記第２のチャネルアダプタは、前記メインフレーム系上位からのライトアクセスに応じて、前記スイッチユニットを介し、前記ライトアクセスの対象となるライトデータを担当する制御モジュールと、前記担当制御モジュールのミラーデータを持つ他の制御モジュールに並行にアクセスして、ミラーリングする。

更に、本発明では、好ましくは、前記担当制御モジュールは、前記制御モジュール内のキャッシュメモリに対象となるライトデータブロックが存在するかを判定し、前記対象ライトデータブロックが存在しないライトミスと判定した場合に、前記担当制御モジュールと前記他の制御モジュールとが、前記対象データブロックを記憶する記憶デバイスをアクセスして、前記対象データブロックをリードする。

更に、本発明では、好ましくは、前記第２のチャネルアダプタは、前記メインフレーム系上位のプロトコルに従い、前記メインフレーム系上位のアクセス開始からアクセス終了まで、前記メインフレーム系上位と接続し、前記第１のチャネルアダプタは、前記オープン系上位とのプロトコルに従い、前記オープン系上位の前記アクセスを受信し、前記オープン系上位との接続を切り離す。

更に、本発明では、好ましくは、第２の前記複数の制御モジュールと前記複数の記憶デバイスとの間に設けられ、各制御モジュールの前記第２のインターフェース部と前記複数の記憶デバイスとを選択的に切り替える複数の他のスイッチユニットを更に設け、前記複数の制御モジュールと前記複数の他のスイッチユニットとをバックパネルで接続した。

更に、本発明では、好ましくは、前記制御モジュールは、制御ユニットと前記第１のチャネルアダプタとを、低レンテシイの高速シリアスバスで接続するとともに、前記第１のチャネルアダプタと前記複数の他のスイッチユニットとを、前記バックパネルで、シリアルバスで接続した。

更に、本発明では、好ましくは、前記各制御モジュールと前記他のスイッチユニットとを、前記バックパネルで接続し、前記他のスイッチユニットと前記複数の記憶デバイスをケーブルで接続した。

更に、本発明では、好ましくは、前記各制御モジュールと前記スイッチユニットとを、前記バックパネルで接続し、前記スイッチユニットと前記第２のチャネルアダプタとを前記バックパネルで接続した。

更に、本発明では、好ましくは、前記制御モジュールは、前記キャッシュ制御ユニットと前記第１のチャネルアダプタとを、低レンテシイの高速シリアスバスで接続した。

更に、本発明では、好ましくは、前記各制御モジュールの前記制御ユニットは、接続された前記第１のチャネルアダプタからの前記オープン系上位のデータアクセスが、担当するデータを対象とするものかを判定し、前記担当するデータを対象としない場合には、前記スイッチユニットを介し前記データを担当する制御ユニットに前記前記オープン系上位のデータアクセスをリクエストする。

本発明では、オープン用チャネルアダプタとメインフレーム用チャネルアダプタを別に設け、メインフレーム用チャネルアダプタを、フロントルータを介し複数のコントロールマネージャに接続したので、ライト処理におけるミラーリングが、並行に実行でき、処理完了まで接続を継続するメインフレーム系ホストのライト処理を高速化できる。特に、ライトミスの場合でも、ディスクリード処理をパラレルに実行でき、ライトミスの処理の高速化に寄与する。又、オープン系ホストのアクセスに対しても、高いスループットを実現できる。

以下、本発明の実施の形態を、データストレージシステム、実装構造、メインフレーム系ホストのアクセスのリード／ライト処理、オープン系ホストのアクセスのリード／ライト処理、他の実施の形態の順で説明する。

＊＊データストレージシステム＊＊
図１は、本発明の一実施の形態のデータストレージシステムの構成図、図２は、図１のコントロールモジュールの構成図、図３は、図１のバックエンドルータとディスクエンクロージャの構成図、図４は、図１及び図３のディスクエンクロージャの構成図である。

図１は、４台のコントロールモジュールを持つ中規模なストレージシステムを例に示す。図１に示すように、ストレージシステム１は、データを保持する複数のディスクエンクロージャ２−０〜２−ｎと、複数（ここでは４つ）の制御モジュール（コントロールマネージャ）４−１〜４−３と、これら複数の制御モジュール４−０〜４−３と複数のディスクエンクロージャ２−０〜２−ｎとの間に設けられた複数（ここでは２つ）のBack-end Router（第１スイッチユニット；図中ＢＲＴと表記し、以下、ＢＲＴという）５−０〜５−１と、複数（ここでは２つ）のFront-end Router（第２スイッチユニット；図中ＦＲＴと表記、以下、ＦＲＴという）６−０，６−１とを有する。

制御モジュール４−０〜４−３のそれぞれは、コントロールマネージャ４０と、チャネルアダプタ（第１の上位インターフェース部；図中ＣＡ−Ｏと表記）４１と、ディスクアダプタ（下位インターフェース部；図中ＤＡと表記）４２とを有する。このチャネルアダプタ４１は、コントロールマネージャ４０と直結しており、オープン系ホスト（図示せず）に接続する。一方、ディスクアダプタ４２は、一対のポートを有し、各ＢＲＴ５−０，５−１に接続される。

更に、各ＦＲＴ６−０，６−１は、各コントロールマネージャ４０に接続されるとともに、第２のチャネルアダプタ（第２の上位インターフェース部：図中ＣＡ−Ｍと表記）４４に接続される。この第２のチャネルアダプタ４４は、メインフレーム系ホスト（図示せず）に接続される。

即ち、本発明のこの形態では、メインフレーム系ホストのための第２の上位インターフェース部４４と、オープン系ホストのための第１の上位インターフェース部４１とが設けられている。又、各コントロールマネージャ４０は、ＦＲＴ６−０，６−１を介し第２の上位インターフェース部４４に接続され、第１の上位インターフェース部４１には、直接接続される。

図２により、コントロールモジュール４−０〜４−３を説明する。コントロールマネージャ４０は、ホストコンピュータからの処理要求（リード要求もしくはライト要求）に基づいて、リード／ライト処理を行なうものであり、キャッシュメモリ４０ｂとキャッシュ制御部４０ａとを備える。

キャッシュメモリ４０ｂは、ディスクエンクロージャ２−０〜２−ｎの複数のディスクに保持されたデータの一部を保持する、所謂、複数のディスクに対するキャッシュの役割を果たす。キャッシュ制御部４０ａは、キャッシュメモリ４０ｂ，チャネルアダプタ４１、デバイスアダプタ４２、ＤＭＡ（Direct Memory Access ）部４３の制御を行なう。このため、１つ又は複数（図では、２つ）のＣＰＵ４００，４１０と、メモリコントローラ４２０とを有する。メモリコントローラ４２０は、各メモリのリード／ライトを制御し、且つパスの切り替えを行う。

メモリコントローラ４２０は、メモリバス４３４を介しキャッシュメモリ４０ｂと接続し、ＣＰＵバス４３０，４３２を介しＣＰＵ４００，４１０と接続し、更に、メモリコントローラ４２０は、後述する４レーンの高速シリアルバス（例えば、ＰＣＩ−Ｅｘｐｒｅｓｓ）４４０，４４２を介しディスクアダプタ４２（４２ａ，４２ｂ）に接続する。同様に、メモリコントローラ４２０は、４レーンの高速シリアルバス（例えば、ＰＣＩ−Ｅｘｐｒｅｓｓ）４４３，４４４，４４５，４４６を介し第１のチャネルアダプタ４１（４１ａ，４１ｂ、４１ｃ，４１ｄ）に接続し、４レーンの高速シリアルバス（例えば、ＰＣＩ−Ｅｘｐｒｅｓｓ）４４７，４４８を介しＤＭＡブリッジ回路４３−ａ，４３−ｂに接続する。

後述するように、このＰＣＩ−Ｅｘｐｅｓｓ等の高速シリアルバスは、パケットで通信し、且つシリアルバスを複数レーン設けることにより、信号線本線を減らしても、遅延の少ない、速い応答速度で、所謂、低レンテンシで通信することができる。

第１のチャネルアダプタ４１ａ〜４１ｄは、オープン系ホストコンピュータに対するインターフェースであり、第１のチャネルアダプタ４１ａ〜４１ｄは、それぞれ異なるホストコンピュータと接続される。また、第１のチャネルアダプタ４１ａ〜４１ｄは、それぞれ対応するホストコンピュータのインターフェース部に、バス、例えば、ファイバチャネル（Fiber Channel）やｉＳＣＡＣＩによって接続されることが好ましく、この場合、バスとしては、光ファイバや同軸ケーブルが用いられる。

さらに、これら第１のチャネルアダプタ４１ａ〜４１ｄそれぞれは、各制御モジュール４−０〜４−３の一部として構成される。又、対応するホストコンピュータと制御モジュール４−０〜４−３とのインターフェース部として、複数のプロトコルをサポートする必要がある。対応するホストコンピュータによって実装すべきプロトコルが同一ではないため、各チャネルアダプタ４１ａ〜４１ｄを必要に応じて容易に交換できるように、制御モジュール４−０〜４−３の主要ユニットであるコントロールマネージャ４０とは、図６で後述するように、別のプリント基板に実装されている。

例えば、第１のチャネルアダプタ４１ａ〜４１ｄがサポートすべきホストコンピュータとの間のプロトコルとしては、上述のように、ファイバチャネルや、Ethernet(登録商標）に対応するｉＳＣＳＩ（Internet Small Computer System Interface）等がある。更に、各チャネルアダプタ４１ａ〜４１ｄは、前述のように、ＰＣＩ−Ｅｘｐｒｅｓｓバスのように，ＬＳＩ（Large Scale Integration）やプリント基板の間を接続するために設計されたバスによって、コントロールマネージャ４０と直接結合されている。これにより、各チャネルアダプタ４１ａ〜４１ｄとコントロールマネージャ４０と間に要求される高いスループットを実現することができる。

ディスクアダプタ４２ａ，４２ｂは、ディスクエンクロージャ２−０〜２−ｎのディスクドライブに対するインターフェースであり、ディスクエンクロージャ２−０〜２−ｎに接続されたＢＲＴ５−０〜５−１に接続され，ここでは、４つのＦＣ(Ｆｉｂｅｒ Ｃｈａｎｎｅｌ)ポートを有する。

又、各ディスクアダプタ４２ａ、４２ｂは、前述のように、ＰＣＩ−Ｅｘｐｒｅｓｓバスのように，ＬＳＩ（Large Scale Integration）やプリント基板の間を接続するために設計されたバスによって、コントロールマネージャ４０と直接結合されている。これにより、各ディスクアダプタ４２ａ、４２ｂとキャッシュマネージャ４０と間に要求される高いスループットを実現することができる。

第２のチャネルアダプタ４４は、メインフレーム系ホストコンピュータに対するインターフェースであり、それぞれ異なるホストコンピュータと接続される。また、第２のチャネルアダプタ４４は、それぞれ対応するホストコンピュータのインターフェース部に、バス、例えば、ＦＩＣＯＮ（登録商標）やＥＳＣＯＮ（登録商標）によって接続されることが好ましく、この場合、バスとしては、光ファイバや同軸ケーブルが用いられる。

さらに、これら第２のチャネルアダプタ４４のそれぞれは、ＦＲＴ６−０，６−１を介し、コントロールマネージャ４０のＤＭＡブリッジ回路４３−ａ，４３−ｂに接続される。このＤＭＡ部４３−ａ，４３−ｂは、ＤＭＡ回路とブリッジ回路とを有するＤＭＡブリッジ回路で構成される。

又、対応するメインフレーム系ホストコンピュータと制御モジュール４−０〜４−３とのインターフェース部として、複数のプロトコルをサポートする必要がある。対応するメインフレーム系ホストコンピュータによって実装すべきプロトコルが同一ではないため、第２の各チャネルアダプタ４４を必要に応じて容易に交換できるように、制御モジュール４−０〜４−３の主要ユニットであるコントロールマネージャ４０とは、図６で後述するように、別のプリント基板に実装されている。

例えば、第２のチャネルアダプタ４４がサポートすべきメインフレーム系ホストコンピュータとの間のプロトコルとしては、上述のように、ＦＩＣＯＮや、ＥＳＣＯＮ等がある。又、図１及び図３に示すように、ＢＲＴ５−０〜５−１は、各制御モジュール４−０〜４−３のディスクアダプタ４２ａ，４２ｂと各ディスクエンクロージャ２−０〜２−ｎとを選択的に切り替えて、通信可能に接続する多ポートスイッチである。

図３に示すように、各ディスクディスクエンクロージャ２−０〜２−ｎは、複数（ここでは２つ）のＢＲＴ５−０，５−１が接続される。図４に示すように、各ディスクエンクロージャ２−０は、各々２つのポートを有する複数台のディスクドライブ２００を搭載し、このディスクエンクロージャ２−０の構成は、４つの接続ポート２１０，２１２，２１４，２１６を有する単位ディスクエンクロージャ２０−０〜２３−０で構成される。これらを、直列接続して、容量の増大を実現する。

そして、ディスクエンクロージャ２０−０〜２３−０内では、２つのポート２１０，２１２からの一対のＦＣケーブルにより、各ディスクドライブ２００の各ポートが、２つのポート２１０，２１２に接続される。この２つのポート２１０，２１２は、図３で説明したように、異なるＢＲＴ５−０，５−１に接続される。

図１及び図３に示すように、各制御モジュール４−０〜４−３のディスクアダプタ４２ａ，４２ｂそれぞれを、すべてのディスクエンクロージャ２−０〜２−ｎに接続する。即ち、各制御モジュール４−０〜４−３のディスクアダプタ４２ａは、ディスクエンクロージャ２−０〜２−ｎに接続されたＢＲＴ５−０（図３参照）と、ディスクエンクロージャ２−０〜２−ｎに接続されたＢＲＴ５−１ととにそれぞれ接続される。

このように、各ディスクエンクロージャ２−０〜２−ｎは、複数（ここでは２つ）のＢＲＴ５−０，５−１が接続されるとともに、同一のディスクエンクロージャ２−０〜２−ｎに接続された２つのＢＲＴ５−０，５−１のそれぞれに、同一の制御モジュール４−０〜４−３における異なるディスクアダプタ４２ａ，４２ｂが接続される。

このような構成により、各制御モジュール４−０〜４−３が、いずれのディスクアダプタ４２ａ，４２ｂを通じても、すべてのディスクエンクロージャ（ディスクドライブ）２−０〜２−ｎにアクセスできる。

また、これらディスクアダプタ４２ａ，４２ｂのそれぞれは、制御モジュール４−０〜４−３の一部として構成されており、制御モジュール４−０〜４−３の主要ユニットであるコントロールマネージャ４０の基板上に実装され、各ディスクアダプタ４２ａ，４２ｂは、例えば、ＰＣＩ（Peripheral Component Interconnect）バスによってキャッシュマネージャ４０と直接結合されており、これにより、各ディスクアダプタ４２ａ，４２ｂとコントロールマネージャ４０と間に要求される高いスループットを実現することができる。

さらに、図２に示すごとく、各ディスクアダプタ４２ａ，４２ｂは対応するＢＲＴ５−０〜５−１にバス、例えば、ファイバチャネル（Fiber Channel）やEthernet（登録商標）、によって接続される。この場合、バスは、後述するように、バックパネルのプリント基板に電気的配線で設けられる。

各制御モジュール４−０〜４−３のディスクアダプタ４２ａ，４２ｂとＢＲＴ５−０〜５−１との間は、前述のように、全てのディスクエンクロージャと接続するため、１対１のメッシュ接続になるため、制御モジュール４−０〜４−３の数（つまり、ディスクアダプタ４２ａ，４２ｂの数）が増大するほど、接続数が増加して接続関係が複雑になり、物理的な実装が困難になる。しかし、ディスクアダプタ４２ａ，４２ｂとＢＲＴ５−０〜５−１との間の接続に、インターフェースを構成する信号数が少ないファイバチャネルを採用することにより、プリント基板での実装が可能となる。

なお、各ディスクアダプタ４２ａ，４２ｂと対応するＢＲＴ５−０〜５−１とがファイバチャネル接続される場合、ＢＲＴ５−０〜５−１は，ファイバチャネルのスイッチとなる。また、各ＢＲＴ５−０〜５−１と対応するディスクエンクロージャ２−０〜２−ｎとの間も、例えば、ファイバチャネルによって接続され、この場合には、モジュールが異なるため、光ケーブル５００，５１０（図３参照）で接続される。

図１及び図２に示したように、ＤＭＡブリッジ部４３は、フロントルータ６−０、６−１を介し、第２のチャネルアダプタ４４や、他の制御モジュール４−０〜４−３と相互に通信を行なうものであり、チャネルアダプタ４４や他の制御モジュール４−０〜４−３間との通信とデータ転送処理を担当する。

各制御モジュール４−０〜４−３のＤＭＡブリッジ部４３のそれぞれは、制御モジュール４−０〜４−３の一部として構成されており、制御モジュール４−０〜４−３の主要ユニットであるコントロールマネージャ４０の基板上に実装される。そして、前述の高速シリアルバスによって、コントロールマネージャ４０と直接結合されるとともに、ＦＲＴ６−０，６−１を介して、第２のチャネルアダプタ４４や、他の制御モジュール４−０〜４−３のＤＭＡブリッジ部４３と互いに通信する。

ＦＲＴ６−０，６−１は、複数（特に３以上、ここでは４つ）の制御モジュール４−０〜４−３のＤＭＡブリッジ部４３と、複数の第２のチャネルアダプタ４４に接続され、これらの相互間を選択的に切り替え，通信可能に接続するものである。このような構成により、第２のチャネルアダプタ４４の各々は、ＦＲＴ６−０，６−１を介して、複数のコントロールマネージャ４０との間で、ホストコンピュータからのアクセス要求等に応じて生じる通信やデータ転送処理（例えば、ミラーリング処理）を実行する。

また、図２に示したように、各制御モジュール４−０〜４−３のＤＭＡブリッジ部４３が複数（ここでは２つ）のＤＭＡブリッジ部４３−ａ，４３−ｂで構成され、これら２つのＤＭＡブリッジ部４３−ａ，４３−ｂの各々が、各々２つのＦＲＴ６−０，６−１を使用する。さらに、ＤＭＡブリッジ部４３−ａ，４３−ｂは、前述のように、例えば、PCI−Expressバスによって、キャッシュマネージャ４０に接続されており、低レイテシイを実現する。

また、第２のチャネルアダプタ４４と各制御モジュール４−０〜４−３間（つまり、各制御モジュール４−０〜４−３のコントロールマネージャ４０間）の通信やデータ転送処理では、データ転送量が多く、通信にかかる時間を短くすることが望ましく、高いスループットと同時に低いレイテンシ（速い応答速度）が要求される。このため、図１、図２に示すように、各制御モジュール４−０〜４−３のＤＭＡブリッジ部４３とＦＲＴ６−０，６−１とは、高いスループットと低いレイテンシとの両方の要求を満たすべく設計された、高速シリアル伝送を利用したバス（PCI-ExpressやRapid-IO）によって、接続される。

これらPCI-ExpressやRapid-IOは、２．５Gbpsの高速シリアル伝送を利用したものであり、これらのバスインターフェースには、LVDS（Low Voltage Differential Signaling）という小振幅差動インターフェースが採用される。

＊＊実装構造＊＊
図５は、本発明の一実施の形態による制御モジュールの実装構成例を示す図、図６は、かかる実装構成によるデータストレージシステムのブロック図である。

図５は、ストレージ装置の筐体での下半分の実装図を示す。即ち、ストレージ装置の筐体の上側には、複数台のディスクエンクロージャ２−０〜２−３が搭載される。ストレージ装置の下側半分は、制御回路を搭載する。この下側半分は、図５のように、バックパネル７によって前後に分割されている。バックパネル７の前方、後方には、それぞれスロットが設けられる。図６の中規模構成のストレージシステムでは、前方側（Ｆｒｏｎｔ）には、４枚（４個）のＣＭ−０４−０〜４−３が、後方には、２枚（２個）のＦＲＴ６−０，６−１、４枚（４個）のＢＲＴ５−０〜５−３及び、８枚の第２の上位インターフェース部４４が配置される。尚、図５では、説明の簡単のため、２つのＢＲＴ５−０，５−１を示しているが、同様に、更に、２つのＢＲＴ５−２，５−３が設けられる。

図５では、４枚のＣＭ４−０〜４−３と２枚のＦＲＴ６−０，６−１が、バックパネル７を経由して、４レーンのPCI-Expressで接続される。ＰＣＩ−Ｅｘｐｅｓｓは、４本（差動、両方向のため）の信号線であり、４レーン分で、１６本の信号線となるから、この信号本数は１６×８＝１２８本となる。また、４枚のＣＭ４−０〜４−３と４枚のＢＲＴ５−０〜５−３がバックパネル７を経由して、Fibre Channelで接続される。Fibre Channelは、差動、両方向のため、１×２×２＝４の信号線であり、この信号本数は、４×８×４＝１２８本となる。

更に、８枚のＣＡ−Ｏ４４と２枚のＦＲＴ６−０，６−１が、バックパネル７を経由して、４レーンのPCI-Expressで接続される。ＰＣＩ−Ｅｘｐｅｓｓは、４本（差動、両方向のため）の信号線であり、４レーン分で、１６本の信号線となるから、この信号本数は１６×８＝１２８本となる。

このように、接続箇所毎にバスを使い分けることにより、図９のような大規模構成のストレージシステムでも、ＣＭ４−０〜４−３の４枚、ＦＲＴ６−０，６−１の２枚、ＢＲＴ５−０〜５−３の４枚、ＣＡ−Ｏ４４の８枚の接続が、３８４本の信号線によって実現できる。この信号線数は、バックパネル基板７に十分に実装可能な信号数であり、また基板の信号層数も６層で十分であり、コスト的にも実現可能な範囲内にある。

しかも、各制御モジュール４−０〜４−３のディスクアダプタ４２ａ，４２ｂそれぞれは、ＢＲＴ５−０〜５−３により、すべてのディスクドライブ２００に接続され、各制御モジュール４−０〜４−３が、いずれのディスクアダプタ４２ａ，４２ｂを通じても、すべてのディスクドライブにアクセスできる。

また、これらディスクアダプタ４２ａ，４２ｂのそれぞれは、制御モジュール４−０〜４−３の主要ユニットであるコントロールマネージャ４０の基板上に実装され、各ディスクアダプタ４２ａ，４２ｂは、例えばPCI−Express等の低レンテシイバスによってコントロールマネージャ４０と直接結合でき、高いスループットを実現することができる。

更に、各制御モジュール４−０〜４−３のディスクアダプタ４２ａ，４２ｂとＢＲＴ５−０〜５−３との間は、１対１のメッシュ接続になるため、システムがそなえる制御モジュール４−０〜４−３の数（つまり、ディスクアダプタ４２ａ，４２ｂの数）が増大しても、ディスクアダプタ４２ａ，４２ｂと、ＢＲＴ５−０〜５−３との間の接続に、インターフェースを構成する信号数が少ないファイバチャネルを採用することができ、実装の課題を解決することができる。

また、各制御モジュール４−０〜４−３間（つまり、各制御モジュール４−０〜４−３のコントロールマネージャ４０間）及び第２のインターフェース部４４の通信やデータ転送処理では、データ転送量が多く、通信にかかる時間を短くすることが望ましく、高いスループットと同時に低いレイテンシ（速い応答速度）が要求される。このため、図２に示すごとく、各制御モジュール４−０〜４−３のＤＭＡブリッジ部４３とＦＲＴ６−０，６−１と第２のインターフェース部４４は、高いスループットと低いレイテンシとの両方の要求を満たすべく設計された、高速シリアル伝送を利用したバスPCI-Expressによって接続される。

＊＊メインフレーム系ホストのリード/ライト処理＊＊
次に、図１乃至図４のデータストレージシステムのメインフレームホストからのライト処理を説明する。図７は、図１乃至図２の構成のライト動作の説明図、図８は、図７のライトヒット動作の説明図、図９は、図７のライトミス動作の説明図である。

以下、図８及び図９を参照して、図７の動作を説明する。尚、図中、メインフレーム用チャネルアダプタ４４から見たマスターコントロールマネージャを、「４０−１」、スレーブコントロールマネージャを、「４０−２」とし、マスターコントロールマネージャ４０−１のミラーデータを、スレーブコントロールマネージャ４０−２が保持しているものとして、説明する。

（１）メインフレーム系ホストからのライトデータを、メインフレーム系チャネルアダプタ４４が受け取る。

（１‘）チャネルアダプタ４４は、フロントルータ６−０（６−１）を介し、コントロールマネージャ４０−１に対して、ライトデータを書き込むべきキャッシュメモリ４０ｂのアドレスを尋ねる。コントロールマネージャ４０−１は、そのライトデータを含む対象ブロックが、キャッシュメモリ４０ｂに存在しているかを判定する。

（２）コントロールマネージャ４０−１は、キャッシュメモリ４０ｂに対象データが存在しない場合（図９のライトミス）に、コントロールマネージャ４０−１は、ディスクアダプタ４２を介しライトデータを含むブロックを、ディスク２００からバッファに読み出す（図９参照）。

（２‘）これとともに、スレーブコントロールマネージャ４０−２も、ディスクアダプタ４２を介しライトデータを含むブロックを、ディスク２００からバッファに読み出す（図９参照）。

（３）そして、このチャネルアダプタ４４がコントロールマネージャ４０−１，４０−２からの応答を受け取ると、フロントルータ６−０（６−１）を介しコントロールマネージャ４０−１のバッファにライトデータを書き込む。コントロールマネージャ４０−１が、バッファ（ライトミスの場合）又はキャッシュメモリ（図８のライトヒットの場合）に書かれたライトデータとキャッシュ上の残りのブロックのデータを使ってチェックコードを作り直す（図８及び図９参照）。

（３‘）これとともに、チャネルアダプタ４４は、フロントルータ６−０（６−１）を介しスレーブコントロールマネージャ４０−２のバッファ（ライトミスの場合）又はキャッシュメモリ（図８のライトヒットの場合）にライトデータを書き込む。即ち、当該コントロールマネージャ４０−１とは異なる少なくとも１つのコントロールマネージャ４０−２内のキャッシュメモリ４０ｂにもライトデータを書き込む。コントロールマネージャ４０−２も、バッファに書かれたライトデータとキャッシュ上の残りのブロックのデータを使ってチェックコードを作り直す。

（４）コントロールマネージャ４０−１は、キャッシュメモリ４０ｂに、チエックコードを付加したライトブロックをキャッシュメモリ４０ｂに書き込み、ライト処理の完了をチャネルアダプタ４４に通知する。

（４‘）同様に、コントロールマネージャ４０−２は、キャッシュメモリ４０ｂに、チエックコードを付加したライトブロックをキャッシュメモリ４０ｂに書き込み、ライト処理の完了をチャネルアダプタ４４に通知する。

（５）チャネルアダプタ４４は、ホストへライト処理の完了を通知する。
る。

このように、メインフレーム用チャネルアダプタ４４をフロントルータ６−０（６−１）を介し複数のコントロールマネージャ４０に接続したので、ライト処理におけるミラーリングが、並行に実行でき、処理完了まで接続を継続するメインフレーム系ホストのライト処理を高速化できる。特に、ライトミスの場合でも、ディスクリード処理をパラレルに実行でき、ライトミスの処理の高速化に寄与する。

又、ディスクアダプタ４２をコントロールマネージャ４０に直結したので、ディスクドライブとのリード処理も高速化できる。このリード処理を、図１０で説明する。

（１）コントロールマネージャ４０の制御部４０ａ（ＣＰＵ）は、キャッシュメモリ４０ｂのディスクリプタ領域に、ＦＣヘッダとディスクリプタを作成する。ディスクリプタは、データ転送回路に対して、データ転送を要求する命令であり、ＦＣヘッダのキャッシュメモリ上のアドレス、転送したいデータのキャッシュメモリ上でのアドレスとデータバイト数、データ転送のディスクの論理アドレスを含む。

（２）ディスクアダプタ４２のデータ転送回路を起動する。

（３）ディスクアダプタ４２の起動されたデータ転送回路は、キャッシュメモリ４０ｂからディスクリプタを読み出す。

（４）ディスクアダプタ４２の起動されたデータ転送回路は、キャッシュメモリ４０ｂからＦＣヘッダを読み出す。

（５）ディスクアダプタ４２の起動されたデータ転送回路は、ディスクリプタを解読し、要求ディスク、先頭アドレス、バイト数を得て、ＦＣヘッダを、ファイバーチャネル５００（５１０）より、対象ディスクドライブ２００に転送する。ディスクドライブ２００は、要求された対象データを読み出し、ファイバーチャネル５００（５１０）を介しディスクアダプタ４２のデータ転送回路に送信する。

（６）ディスクドライブ２００は、要求された対象データを読み出し、送信を完了すると、完了通知を、ファイバーチャネル５００（５１０）を介しディスクアダプタ４２のデータ転送回路に送信する。

（７）ディスクアダプタ４２の起動されたデータ転送回路は、完了通知を受けると、ディスクアダプタ４２のメモリからリードデータを読み出し、キャッシュメモリ４０ｂに格納する。

（８）ディスクアダプタ４２の起動されたデータ転送回路は、リード転送が完了すると、コントロールマネージャ４０に、割り込みによる完了通知を行う。

（９）コントロールマネージャ４０の制御部４０ａは、ディスクアダプタ４２の割り込み要因を得て、リード転送を確認する。

（１０）コントロールマネージャ４０の制御部４０ａは、ディスクアダプタ４２の終了ポインタを調べ、リード転送完了を確認する。

このように、十分な性能を得るためには、全ての接続が高いスループットを持つ必要があるが、制御部４０ａとディスクアダプタ４２との間には、信号のやり取りが多く（図では、７回）、特に、低いレイテンシのバスが必要となる。

この実施例では、PCI-Express(4レーン)と、Fibre Channel(４G)を、どちらも
高いスループットの接続として採用しているが、PCI-Expressが低いレイテンシの接続なのに対して、Fibre Channelは比較的レイテンシの大きな(データ転送に時間のかかる) 接続である。

そこで、第１の従来技術では、ＣＭ１０とＤＡ１３、ＣＡ１１との間のＲＴ１４（図１２参照）には、レイテンシが高いFibre Channelを採用できないのに対して、本発明では、図１の構成のため、ＢＲＴ５−０〜５−１に，Fibre Channelを採用することができる。

低いレイテンシを実現するためには、バスの信号本数をある程度より減らすことができないが、本発明では、ディスクアダプタ４２とＢＲＴ５−０間の接続には、信号線本数の少ないFibre Channelを採用することができ、バックパネル上の信号本数が少なくなり、実装上で有効である。

次に、ホストからのリード処理を説明する。図１１は、リードヒットの場合の説明図、図１２は、リードミスの場合の説明図である。

（１）メインフレーム系ホストからのリードコマンドを、メインフレーム系チャネルアダプタ４４が受け取る。

（２）チャネルアダプタ４４は、フロントルータ６−０（６−１）を介し、コントロールマネージャ４０−１に対して、リードデータが存在するキャッシュメモリ４０ｂのアドレスを尋ねる。コントロールマネージャ４０−１は、そのリードデータを含む対象ブロックが、キャッシュメモリ４０ｂに存在しているかを判定する。

（３）コントロールマネージャ４０−１は、キャッシュメモリ４０ｂに対象データが存在しない場合（図１２のリードミスの場合）に、コントロールマネージャ４０−１は、ディスクアダプタ４２を介し当該リードデータを含むブロックを、ディスク２００からバッファに読み出す（図１２参照）。これとともに、スレーブコントロールマネージャ４０−２も、ディスクアダプタ４２を介しリードデータを含むブロックを、ディスク２００からバッファに読み出す（図１２参照）。

（４）コントロールマネージャ４０−１、４０−２は、キャッシュメモリ４０ｂに、リードブロックをキャッシュメモリ４０ｂに書き込み、コントロールマネージャ４０−１は、リードデータをチャネルアダプタ４４に通知する。

（５）チャネルアダプタ４４は、ホストへリードデータを転送する。

＊＊オープン系ホストのリード／ライト処理＊＊
図１３は、本発明の一実施の形態のオープン系ホストのリード／ライト処理の説明図である。

（１）オープン系チャネルアダプタ４１が、オープン系ホストからのライトデータを受信する。

（２）オープン系チャネルアダプタ４１は、接続されたコントロールマネージャ４０−３に通知する。接続されたコントロールマネージャ４０−３が、そのライトデータの処理を担当するコントロールマネージャであるかを判定する。

（３）データを受け取ったコントロールマネージャ４０−３は、担当コントロールマネージャを確認し、自分が担当でなければ、担当コントロールマネージャ４０−１（ＣＭ−Ｍ）にライトヒットかを問い合わせる。

（４）担当コントロールマネージャ４０−１（ＣＭ−Ｍ）は、ライトヒットでない場合には、ディスクアダプタ４２を介し、チェックコード生成のために、残りのデータをディスクから読み出し、ディスクアダプタ４２が、コントロールマネージャ４０−１（ＣＭ−Ｍ）にデータを書き込む。

（５）担当コントロールマネージャ４０−１（ＣＭ−Ｍ）は、受信コントロールマネージャ４０−３（ＣＭ−Ｒ）にデータを転送する。

（６）オープン系チャネルアダプタ４１は、受信コントロールマネージャ４０−３（ＣＭ−Ｒ）にデータを書き込む。受信コントロールマネージャ４０−３（ＣＭ−Ｒ）が，新しいデータに対するチェックコードを生成する。

（６’）受信コントロールマネージャ４０−３（ＣＭ−Ｍ）は、このチエックコードを付加したライトデータを、ＦＲＴ６−０（又は、６−１）を介しコントロールマネージャ４０−１（ＣＭ−Ｍ）と，そのミラーデータを持つコントロールマネージャ４０−２（ＣＭ−Ｓ）へ転送する。そして、チャネルアダプタ４１にデータのライト処理終了を通知する。チャネルマネージャ４１は、コントロールマネージャ４０−３からの通知を受けると、オープン系ホストに対してライト完了通知を行う。

又、（３）でライトヒットの場合には、ステップ（４）、（５）、（６）、（６’）の代わりに、受信コントロールマネージャ４０−３（ＣＭ−Ｒ）が、ライトデータを、ＦＲＴ６−０（又は、６−１）を介しコントロールマネージャ４０−１（ＣＭ−Ｍ）と，そのミラーデータを持つコントロールマネージャ４０−２（ＣＭ−Ｓ）へ転送する。チエックコードは、各コントロールマネージャ４０−１，４０−２で作成する。そして、チャネルアダプタ４１にデータのライト処理終了を通知する。チャネルマネージャ４１は、コントロールマネージャ４０−３からの通知を受けると、オープン系ホストに対してライト完了通知を行う。

このディスクのリード動作も、前述の図１０で説明したように、低レイテンシで実行でき、スループット改善に寄与する。

又、ホストコンピュータからのリード要求を受け取った場合も、チャネルアダプタ４１は、まず接続されているコントロールマネージャ４０−３に要求を行い、要求を受けたコントロールマネージャ４０−３が、担当コントロールマネージャを確認する。自分が担当であれば、キャッシュメモリ内からデータを取り出すか、ディスクアダプタ４２を介しディスクからデータを読み出して、チャネルアダプタ４１へ送信する。

一方、別のコントロールマネージャ４０−２が担当の場合は、担当コントロールマネージャ４０−２に要求を行い、担当コントロールマネージャ４０−２が同様のリード動作で、受信コントロールマネージャ４０−３に返してきたデータをチャネルアダプタ４１へ転送する。チャネルアダプタ４１は、コントロールマネージャ４０−３から受け取ったデータをオープン系ホストコンピュータへ転送する。

次に、前述のライトデータを、対象とするディスクドライブに、書き戻す（ライトバックという）必要がある。キャッシュ制御部４０ａは、内部スケジュールに従い、キャッシュメモリ４０ｂのライトデータを、当該対象データを保持しているディスクドライブ２００にライトバックする。このディスクドライブとのライト処理を、図１４で説明する。

（１）キャッシュマネージャ４０の制御部４０ａ（ＣＰＵ）は、キャッシュメモリ４０ｂのディスクリプタ領域に、ＦＣヘッダとディスクリプタを作成する。ディスクリプタは、データ転送回路に対して、データ転送を要求する命令であり、ＦＣヘッダのキャッシュメモリ上のアドレス、転送したいデータのキャッシュメモリ上でのアドレスとデータバイト数、データ転送のディスクの論理アドレスを含む。

（２）ディスクアダプタ４２のデータ転送回路を起動する。

（３）ディスクアダプタ４２の起動されたデータ転送回路は、キャッシュメモリ４０ｂからディスクリプタを読み出す。

（４）ディスクアダプタ４２の起動されたデータ転送回路は、キャッシュメモリ４０ｂからＦＣヘッダを読み出す。

（５）ディスクアダプタ４２の起動されたデータ転送回路は、ディスクリプタを解読し、要求ディスク、先頭アドレス、バイト数を得て、キャッシュメモリ４０ｂからデータを読み出す。

（６）読み出し完了後、ディスクアダプタ４２のデータ転送回路は、ＦＣヘッダとデータを、ファイバーチャネル５００（５１０）より、対象ディスクドライブ２００に転送する。ディスクドライブ２００は、転送されたデータを内臓するディスクに書き込む。

（７）ディスクドライブ２００は、データの書き込みを完了すると、完了通知を、ファイバーチャネル５００（５１０）を介しディスクアダプタ４２のデータ転送回路に送信する。

（８）ディスクアダプタ４２の起動されたデータ転送回路は、完了通知を受けると、キャッシュマネージャ４０に、割り込みによる完了通知を行う。

（９）キャッシュマネージャ４０の制御部４２ａは、ディスクアダプタ４２の割り込み要因を得て、ライト動作を確認する。

（１０）キャッシュマネージャ４０の制御部４２ａは、ディスクアダプタ４２の終了ポインタを調べ、ライト動作完了を確認する。

この図１４でも、図１０と同様に、矢印は、データなどのパケットの転送を示し、コの字型の矢印は、データのリードを表しており、一方のデータ要求に対してデータが送り返されているのを示す。このように、ＤＡ内の制御回路の起動と終了状態の確認が必要となるため、一回のデータ転送を行うのにＣＭ４０とＤＡ４２の間では、７回のやり取りが行われている。ＤＡ４２とディスク２００の間は２回である。

これによって、キャッシュ制御部４０とディスクアダプタ４２との間の接続に、低いレイテンシが要求され、一方、ディスクアダプタ４２とディスクデバイス２００とは、信号本数の少ないインタフェースを利用できることが理解できる。

＊＊他の実施の形態＊＊
前述の実施の形態では、制御モジュール４−０内の信号線を、PCI-Expressで説明したが, Rapid-IO等の他の高速シリアルバスを利用できる。制御モジュール内のチャネルアダプタ４１，４４やディスクアダプタ４２の数は、必要に応じて、増減できる。

又、ディスクドライブとしては、ハードディスクドライブ、光ディスクドライブ、光磁気ディスクドライブ等の記憶デバイスを適用できる。更に、オープン系ホストのプロトコルや、メインフレーム系ホストのプロトコルは、前述のものに限られず、他のプロトコルを適用できる。

以上、本発明を実施の形態により説明したが、本発明の趣旨の範囲内において、本発明は、種々の変形が可能であり、本発明の範囲からこれらを排除するものではない。

（付記１）データを記憶する複数の記憶デバイスと、メインフレーム系上位とオープン系上位とのアクセス指示に従い、前記記憶デバイスをアクセスする複数の制御モジュールと、前記メインフレーム系上位とのインターフェース制御を行う第２のチャネルアダプタと、前記第２のチャネルアダプタと前記複数の制御モジュールとに接続され、前記第２のチャネルアダプタと前記複数の制御モジュールとの接続を選択的に切り替えるスイッチユニットとを有し、前記制御モジュールの各々は、前記記憶デバイスに記憶されたデータの一部を格納するキャッシュメモリと、オープン系上位とのインターフェース制御を行う第１のチャネルアダプタと、前記複数の記憶デバイスとのインターフェース制御を行うディスクアダプタと、前記アクセスに応じて、キャッシュメモリの制御を行うとともに、前記ディスクアダプタを介し前記記憶デバイスをアクセスする制御ユニットとを有することを特徴とするデータストレージシステム。

（付記２）前記第２のチャネルアダプタは、前記メインフレーム系上位からのライトアクセスに応じて、前記スイッチユニットを介し、前記ライトアクセスの対象となるライトデータを担当する制御モジュールと、前記担当制御モジュールのミラーデータを持つ他の制御モジュールに並行にアクセスして、ミラーリングすることを特徴とする付記１のストレージシステム。

（付記３）前記担当制御モジュールは、前記制御モジュール内のキャッシュメモリに対象となるライトデータブロックが存在するかを判定し、前記対象ライトデータブロックが存在しないライトミスと判定した場合に、前記担当制御モジュールと前記他の制御モジュールとが、前記対象データブロックを記憶する記憶デバイスをアクセスして、前記対象データブロックをリードすることを特徴とする付記２のストレージシステム。

（付記４）前記第２のチャネルアダプタは、前記メインフレーム系上位のプロトコルに従い、前記メインフレーム系上位のアクセス開始からアクセス終了まで、前記メインフレーム系上位と接続し、前記第１のチャネルアダプタは、前記オープン系上位とのプロトコルに従い、前記オープン系上位の前記アクセスを受信し、前記オープン系上位との接続を切り離すことを特徴とする付記１のストレージシステム。

（付記５）第２の前記複数の制御モジュールと前記複数の記憶デバイスとの間に設けられ、各制御モジュールの前記第２のインターフェース部と前記複数の記憶デバイスとを選択的に切り替える複数の他のスイッチユニットを更に設け、前記複数の制御モジュールと前記複数の他のスイッチユニットとをバックパネルで接続したことを特徴とする付記１のデータストレージシステム。

（付記６）前記制御モジュールは、制御ユニットと前記第１のチャネルアダプタとを、低レンテシイの高速シリアスバスで接続するとともに、前記第１のチャネルアダプタと前記複数の他のスイッチユニットとを、前記バックパネルで、シリアルバスで接続したことを特徴とする付記５のデータストレージシステム。

（付記７）前記各制御モジュールと前記他のスイッチユニットとを、前記バックパネルで接続し、前記他のスイッチユニットと前記複数の記憶デバイスをケーブルで接続したことを特徴とする付記６のデータストレージシステム。

（付記８）前記各制御モジュールと前記スイッチユニットとを、前記バックパネルで接続し、前記スイッチユニットと前記第２のチャネルアダプタとを前記バックパネルで接続したことを特徴とする付記５のデータストレージシステム。

（付記９）前記制御モジュールは、前記キャッシュ制御ユニットと前記第１のチャネルアダプタとを、低レンテシイの高速シリアスバスで接続したことを特徴とする付記１のデータストレージシステム。

（付記１０）前記各制御モジュールの前記制御ユニットは、接続された前記第１のチャネルアダプタからの前記オープン系上位のデータアクセスが、担当するデータを対象とするものかを判定し、前記担当するデータを対象としない場合には、前記スイッチユニットを介し前記データを担当する制御ユニットに前記前記オープン系上位のデータアクセスをリクエストすることを特徴とする付記１のデータストレージシステム。

（付記１１）メインフレーム系上位とオープン系上位とのアクセス指示に従い、データを記憶する複数の記憶デバイスをアクセスする複数の制御モジュールと、前記メインフレーム系上位とのインターフェース制御を行う第２のチャネルアダプタと、前記第２のチャネルアダプタと前記複数の制御モジュールとに接続され、前記第２のチャネルアダプタと前記複数の制御モジュールとの接続を選択的に切り替えるスイッチユニットとを有し、前記制御モジュールの各々は、前記記憶デバイスに記憶されたデータの一部を格納するキャッシュメモリと、オープン系上位とのインターフェース制御を行う第１のチャネルアダプタと、前記複数の記憶デバイスとのインターフェース制御を行うディスクアダプタと、前記アクセスに応じて、キャッシュメモリの制御を行うとともに、前記ディスクアダプタを介し前記記憶デバイスをアクセスする制御ユニットとを有することを特徴とするデータストレージ制御装置。

（付記１２）前記第２のチャネルアダプタは、前記メインフレーム系上位からのライトアクセスに応じて、前記スイッチユニットを介し、前記ライトアクセスの対象となるライトデータを担当する制御モジュールと、前記担当制御モジュールのミラーデータを持つ他の制御モジュールに並行にアクセスして、ミラーリングすることを特徴とする付記１１のストレージ制御装置。

（付記１３）前記担当制御モジュールは、前記制御モジュール内のキャッシュメモリに対象となるライトデータブロックが存在するかを判定し、前記対象ライトデータブロックが存在しないライトミスと判定した場合に、前記担当制御モジュールと前記他の制御モジュールとが、前記対象データブロックを記憶する記憶デバイスをアクセスして、前記対象データブロックをリードすることを特徴とする付記１２のストレージ制御装置。

（付記１４）前記第２のチャネルアダプタは、前記メインフレーム系上位のプロトコルに従い、前記メインフレーム系上位のアクセス開始からアクセス終了まで、前記メインフレーム系上位と接続し、前記第１のチャネルアダプタは、前記オープン系上位とのプロトコルに従い、前記オープン系上位の前記アクセスを受信し、前記オープン系上位との接続を切り離すことを特徴とする付記１１のストレージ制御装置。

（付記１５）第２の前記複数の制御モジュールと前記複数の記憶デバイスとの間に設けられ、各制御モジュールの前記第２のインターフェース部と前記複数の記憶デバイスとを選択的に切り替える複数の他のスイッチユニットを更に設け、前記複数の制御モジュールと前記複数の他のスイッチユニットとをバックパネルで接続したことを特徴とする付記１１のデータストレージ制御装置。

（付記１６）前記制御モジュールは、制御ユニットと前記第１のチャネルアダプタとを、低レンテシイの高速シリアスバスで接続するとともに、前記第１のチャネルアダプタと前記複数の他のスイッチユニットとを、前記バックパネルで、シリアルバスで接続したことを特徴とする付記１５のデータストレージ制御装置。

（付記１７）前記各制御モジュールと前記他のスイッチユニットとを、前記バックパネルで接続し、前記他のスイッチユニットと前記複数の記憶デバイスをケーブルで接続したことを特徴とする付記１６のデータストレージ制御装置。

（付記１８）前記各制御モジュールと前記スイッチユニットとを、前記バックパネルで接続し、前記スイッチユニットと前記第２のチャネルアダプタとを前記バックパネルで接続したことを特徴とする付記１５のデータストレージ制御装置。

（付記１９）前記制御モジュールは、前記キャッシュ制御ユニットと前記第１のチャネルアダプタとを、低レンテシイの高速シリアスバスで接続したことを特徴とする付記１１のデータストレージ制御装置。

（付記２０）前記各制御モジュールの前記制御ユニットは、接続された前記第１のチャネルアダプタからの前記オープン系上位のデータアクセスが、担当するデータを対象とするものかを判定し、前記担当するデータを対象としない場合には、前記スイッチユニットを介し前記データを担当する制御ユニットに前記前記オープン系上位のデータアクセスをリクエストすることを特徴とする付記１１のデータストレージ制御装置。

オープン用チャネルアダプタとメインフレーム用チャネルアダプタを別に設け、メインフレーム用チャネルアダプタを、フロントルータを介し複数のコントロールマネージャに接続したので、ライト処理におけるミラーリングが、並行に実行でき、処理完了まで接続を継続するメインフレーム系ホストのライト処理を高速化できる。特に、ライトミスの場合でも、ディスクリード処理をパラレルに実行でき、ライトミスの処理の高速化に寄与する。又、オープン系ホストのアクセスに対しても、高いスループットを実現できる。

本発明の一実施の形態のデータストレージシステムの構成図である。 図１の制御モジュールの構成図である。 図１及び図２のバックエンドルータとディスクエンクロージャの構成図である。 図１及び図３のディスクエンクロージャの構成図である。 本発明の一実施の形態の制御モジュールの実装構成を示す図である。 図５の形態のストレージシステムのブロック図である。 本発明の一実施の形態のメインフレーム系ホストのリード／ライト処理の説明図である。 図７のライトヒット処理の説明図である。 図７のライトミス処理の説明図である。 図９のリード処理の説明図である。 図７のリードヒット処理の説明図である。 図７のリードミス処理の説明図である。 本発明の一実施の形態のオープン系ホストのリード／ライト処理の説明図である。 図７及び図１３の構成のライトバック処理の説明図である。 第１の従来のストレージシステムの構成図である。 第２の従来のストレージシステムの構成図である。 図１５の第１の従来のストレージシステムの実装構成を示す図である。

符号の説明

１ ストレージシステム
２−０〜２−ｎ ディスクエンクロージャ
４−０〜４−７ 制御モジュール
５−０〜５−２ バックエンドルータ
６−０〜６−１ フロントエンドルータ
７ バックパネル
４０ コントロールマネージャ
４０ａ 制御ユニット
４０ｂ キャッシュメモリ
４１ オープン系ホスト用チャネルアダプタ
４２ ディスクアダプタ
４３ 通信ユニット（DMAエンジン）
４４ メインフレーム系ホスト用チャネルアダプタ

Claims (5)

1. データを記憶する複数の記憶デバイスと、
   メインフレーム系上位とオープン系上位とのアクセス指示に従い、前記記憶デバイスをアクセスする複数の制御モジュールと、
   前記メインフレーム系上位とのインターフェース制御を行う第２のチャネルアダプタと、
   前記第２のチャネルアダプタと前記複数の制御モジュールとに接続され、前記第２のチャネルアダプタと前記複数の制御モジュールとの接続を選択的に切り替えるスイッチユニットとを有し、
   前記制御モジュールの各々は、
   前記記憶デバイスに記憶されたデータの一部を格納するキャッシュメモリと、
   前記オープン系上位とのインターフェース制御を行う第１のチャネルアダプタと、
   前記複数の記憶デバイスとのインターフェース制御を行うディスクアダプタと、
   前記アクセスに応じて、キャッシュメモリの制御を行うとともに、前記ディスクアダプタを介し前記記憶デバイスをアクセスする制御ユニットとを有する
   ことを特徴とするデータストレージシステム。
2. 前記第２のチャネルアダプタは、前記メインフレーム系上位からのライトアクセスに応じて、前記スイッチユニットを介し、前記ライトアクセスの対象となるライトデータを担当する制御モジュールと、前記担当制御モジュールのミラーデータを持つ他の制御モジュールに並行にアクセスして、ミラーリングする
   ことを特徴とする請求項１のストレージシステム。
3. 前記担当制御モジュールは、前記制御モジュール内のキャッシュメモリに対象となるライトデータブロックが存在するかを判定し、前記対象ライトデータブロックが存在しないライトミスと判定した場合に、前記担当制御モジュールと前記他の制御モジュールとが、前記対象データブロックを記憶する記憶デバイスをアクセスして、前記対象データブロックをリードする
   ことを特徴とする請求項２のストレージシステム。
4. 前記第２のチャネルアダプタは、前記メインフレーム系上位のプロトコルに従い、前記メインフレーム系上位のアクセス開始からアクセス終了まで、前記メインフレーム系上位と接続し、前記第１のチャネルアダプタは、前記オープン系上位とのプロトコルに従い、前記オープン系上位の前記アクセスを受信し、前記オープン系上位との接続を切り離す
   ことを特徴とする請求項１のストレージシステム。
5. メインフレーム系上位とオープン系上位とのアクセス指示に従い、データを記憶する複数の記憶デバイスをアクセスする複数の制御モジュールと、
   前記メインフレーム系上位とのインターフェース制御を行う第２のチャネルアダプタと、
   前記第２のチャネルアダプタと前記複数の制御モジュールとに接続され、前記第２のチャネルアダプタと前記複数の制御モジュールとの接続を選択的に切り替えるスイッチユニットとを有し、
   前記制御モジュールの各々は、
   前記記憶デバイスに記憶されたデータの一部を格納するキャッシュメモリと、
   前記オープン系上位とのインターフェース制御を行う第１のチャネルアダプタと、
   前記複数の記憶デバイスとのインターフェース制御を行うディスクアダプタと、
   前記アクセスに応じて、キャッシュメモリの制御を行うとともに、前記ディスクアダプタを介し前記記憶デバイスをアクセスする制御ユニットとを有する
   ことを特徴とするデータストレージ制御装置。

Images