JP2004303256A - 記憶システム - Google Patents

Abstract

【課題】大形計算機の記憶システムで、システム規模を容易に拡張変更でき、システムの縮退及び活線挿抜による保守を可能とする。
【解決手段】上位ＣＰＵと接続される複数のホストアダプタ（上位側インタフェース）１と、アレイディスク５と接続される複数のディスクアダプタ（記憶装置側インタフェース）２と、これらのアダプタに共用される一時記憶用キャッシュメモリ３とは、これらアダプタ及びキャッシュメモリに共用されるコモンバス４上に挿抜自在に取り付けられる。規模を拡大するには、必要な数だけこれらアダプタ１，２及びキャッシュメモリ３を付加するだけでよい。アダプタ１，２，キャッシュメモリ及びコモンバスは二重化され、障害時の縮退運転を可能とし、また各アダプタ及びキャッシュメモリとコモンバスとの結合部は、活線挿抜可能としシステム無停止で保守点検部品交換を可能とする。
【選択図】図１

Description

本発明は、大形計算機システムやネットワークシステム等に接続される磁気ディスク装置，磁気テープ装置，半導体記憶装置，または光ディスク装置等の記憶装置を制御する記憶制御装置を含む記憶システムに係り、特に、システムの拡張性が高く縮退運転や活線挿抜対応の可能な記憶システムに関する。

従来、大形計算機に接続される記憶システムとして、例えば特開昭６１−４３７４２号公報に記載されているように、上位装置（ＣＰＵ）に対するインタフェース（ホストアダプタ），キャッシュメモリ，及び磁気ディスク装置等の記憶装置に対するインタフェース（ディスクアダプタ）の相互間をホットライン（専用線）で接続しているものが知られている。

図２０は、従来の記憶システムの構成の概要を示す図である。同図において、２０１−１〜２０１ｎはそれぞれ複数の上位ホスト（ＣＰＵ）に接続されるホストアダプタ（対上位論理モジュール）、２０２−１〜２０２−ｎは、共有の大形ディスク装置２０５に接続されるディスクアダプタ（記憶媒体接続用論理モジュール）、２０３は、複数のホストアダプタに共有のキャッシュメモリ、２０６は同様に共有の管理メモリである。従来装置では、各ホストアダプタ２０１−１〜２０１−ｎとキャッシュメモリ２０３の間、キャッシュメモリ２０３と各ディスクアダプタ２０２−１〜２０２−ｎの間、各ホストアダプタ２０１−１〜２０１−ｎと管理メモリ２０６の間、並びに管理メモリ２０６と各ディスクアダプタ２０１−２〜２０１−ｎの間は、それぞれ別々のホットライン２０７−１〜２０７−ｎ及び２０８−１〜２０８−ｎによって接続されている。また、これらのホストアダプタ及びディスクアダプタの監視及び保守を行なう保守用プロセッサ（ＳＶＰ，図示せず）も各々のホストアダプタ及びディスクアダプタにそれぞれ専用線を介して接続されている。

上記従来技術では、上位装置に対するホストアダプタ（対上位接続論理モジュール）と、記憶装置に対するディスクアダプタ（対記憶媒体接続論理モジュール）と、キャッシュメモリ（キャッシュメモリモジュール）との各間がホットラインで接続されているため、装置構成が複雑になると共に、ホストアダプタ、キャッシュメモリ、ディスクアダプタ、ディスク装置等、装置としての拡張性に乏しくいわゆるスケーラブル（拡張及び縮小自在）なシステム構成が得られなかった。また、システムを多重化することにより障害発生時等に縮退運転（２台のうち１台を停止し他の１台だけで運転するなど）や活線挿抜対応（システムを動作したままで基板や回路の部品等を挿しかえるなど）を可能とすることがなにも配慮されておらず、このため、障害発生時の部品交換やシステムの制御プログラムをグレードアップするときには、システムを一時停止し対応しなければならない等の問題があった。

従って、本発明の目的は、上記従来技術の問題点を解決し、コモンバス方式を採用することにより、システム構成（規模）に応じてホストアダプタ，記憶装置アダプタ等の各論理モジュールやキャッシュメモリ及び記憶媒体を接続することでスケーラブルなシステムを実現することができるようにすると共に、各論理モジュール，記憶媒体及びコモンバスの多重化により、縮退運転と各論理モジュール及び記憶媒体の活線挿抜対応とを可能とし、無停止で保守することができる記憶システムを提供することにある。

上記目的を達成するため、本発明は、上位装置に対するインタフェースを構成する複数の上位側接続論理装置と、記憶装置と、前記記憶装置に対するインタフェースを構成する複数の記憶装置側接続論理装置と、前記複数の上位側接続論理装置及び前記複数の記憶装置側接続論理装置間で転送されるデータを一時記憶するキャッシュメモリ装置とを有する記憶システムにおいて、前記複数の上位側接続論理装置，前記複数の記憶装置側接続論理装置，及び前記キャッシュメモリ装置は、これらの装置に共用されるコモンバスにより相互に接続されるように構成する。

前記複数の上位側接続論理装置，前記複数の記憶装置側接続論理装置，及び前記キャッシュメモリ装置は、いずれもモジュールで構成し、前記モジュールは、それぞれ、前記コモンバスに対し挿抜自在に取付けられるように構成する。

前記コモンバスは、プラッタ上に配設され、前記上位側接続論理装置，前記複数の記憶装置側接続論理装置，及び前記キャッシュメモリ装置を構成するモジュールの各々は、前記プラッタに対し挿抜自在に取付けられるように構成する。

前記上位側接続論理装置，前記記憶装置側接続論理装置，前記キャッシュメモリ装置，及び前記コモンバスは、いずれも少なくとも二重化されており、前記上位側接続論理装置，前記記憶装置側接続論理装置，前記キャッシュメモリ装置，及び前記コモンバスの一方により縮退運転が可能となるように構成する。

前記二重化された上位側接続論理装置、記憶装置側接続論理装置、キャッシュメモリ装置は、いずれも活線挿抜ができるように構成する。

前記記憶装置についても、同様に二重化された電源部を備えることができる。 前記記憶装置は、複数の小形記憶装置を組み合わせたアレイ記憶装置で構成することができる。

前記キャッシュメモリ装置は、キャッシュメモリ本体を持ち、前記コモンバスに直接取り付けられるキャッシュメモリモジュールと、キャッシュメモリを持つ増設用のキャッシュユニットとを有しており、前記キャッシュユニットは、前記コモンバスに直接挿抜自在に取り付けられる増設用のキャッシュポートパッケージを介して接続されるように構成することができる。

前記上位側接続論理装置及び前記記憶装置側接続論理装置は、それぞれ、二重化されたマイクロプロセッサを有し、両マイクロプロセッサによりデータの比較チェックを行なうように構成することができる。

なお、コモンバス上には、上記上位側接続論理モジュールとは別の形式の上位側インタフェースや、上記記憶装置側接続論理モジュールとは別の形式の記憶装置側インタフェースを置き換えたり増設したりすることもできる。

本発明によれば、上位装置に対するインタフェースを構成する複数の上位側接続論理装置と、記憶装置と、前記記憶装置に対するインタフェースを構成する複数の記憶装置側接続論理装置と、これらの装置間で転送されるデータを一時記憶するキャッシュメモリ装置（複数の上位側接続論理装置及び複数の記憶装置側接続論理装置に共有されるキャッシュメモリ装置）とを有する記憶システムにおいて、前記複数の上位装置側接続論理装置，複数の記憶装置側接続論理装置，及びキャッシュメモリ装置は、これらの装置に共有されるコモンバスにより相互に接続されるように構成したので、上位側接続論理装置と記憶装置側接続論理装置とキャッシュメモリの増設または変更は、単にコモンバス上にこれらの装置等を追加しまたは変更して行くだけでよく、増設によるアップグレードが容易に達成できスケーラブルなシステム構成を得ることができる。また、これらの上位側接続論理装置，記憶装置側接続論理装置及びキャッシュメモリ装置は、モジュール化されて、コモンバスの配設されたプラッタに挿抜（着脱）自在に取り付けるようにしたので、これらの装置の必要な数量の増設作業も簡単であるという効果がある。

また、上位側接続論理装置，記憶装置側接続論理装置、キャッシュメモリ装置，及びこれらの間を接続するコモンバスは、二重化され、２系統に分けて配線されているので、これらの装置の一方に障害が発生したときでも、他方の装置を用いて縮退運転が可能である。この場合、上位側接続論理装置，記憶装置側接続論理装置，及びキャッシュメモリ装置は、いずれも活線挿抜対応のコネクタ部を具備しているので、システムを停止することなく保守点検を行なって故障部品の交換を行なったり、増設用の部品を追加したりすることが可能であるという効果がある。

更に、記憶装置は、複数の小形記憶装置を組み合わせたアレイ形とされ、これにより従来の大形ディスク装置１台を用いたものに比べてアクセスタイムを短縮できるという効果がある。

また、キャッシュメモリ装置は、コモンバスに直接取り付けられるキャッシュメモリモジュール（キャッシュメモリパッケージ）と、増設用のキャッシュユニットとで構成され、増設用のキャッシュユニットは、コモンバスに直接挿抜自在に取り付けられる増設用のキャッシュポートパッケージを介して必要数接続されるようになっているので、簡単に増減することができるという効果も得られる。

以上により、高信頼性の記憶システムを得ることができる。

以下に、本発明の実施形態を図面の図１から図１８により説明する。

図１は本発明の概念図を示す。図１により、本実施形態の概要を説明する。

１は、対上位ＣＰＵ（ホスト）接続用論理モジュールであるホストアダプタ部、２は、対記憶媒体接続用論理モジュールであるディスクアダプタ部、３は、両モジュール間で転送されるデータを一時記憶するキャッシュメモリパッケージ（キャッシュメモリモジュール）、４はホストアダプタ１、ディスクアダプタ２、キャッシュメモリパッケージ３の間のデータ転送制御を司るコモンバス、５は、縦横にアレイ状に配置した記憶媒体である磁気ディスク群（以下「アレイディスク」という）である。ホストアダプタ１は、上位インタフェース側のデータ形式及びアドレス形式を記憶媒体インタフェース用のデータ形式及びアドレス形式に変換する手段と、これらを制御管理する二重化したマイクロプロセッサとを有している。ディスクアダプタ２は、記憶媒体へデータを格納するためのアドレス演算機能と、記憶データ保証用冗長データの生成機能と、記憶媒体構成情報を認識する機能と、これらを制御管理するマイクロプロセッサとを有している。

図１において、上位装置（ＣＰＵ）から送られてきた書き込みデータは、ホストアダプタ１からコモンバス４を介して一度キャッシュメモリパッケージ３に書き込むことにより上位に終了報告を行い、その後の空き時間でキャッシュメモリパッケージ３からディスクアダプタ２を経由してアレイディスク５に書き込む。

また、上位装置からのデータ読み出し命令に対しては、キャッシュメモリパッケージ３上にデータが存在する場合はアレイディスク５からは読み出さず、キャッシュメモリパッケージ３上のデータを上位装置に転送する。一方キャッシュメモリパッケージ３上にデータが存在しない場合は、アレイディスク５からディスクアダプタ２によりコモンバス４を経由して一度キャッシュメモリパッケージ３に書き込まれた後同様にホストアダプタ１を経由して上位装置へ転送する。

コモンバス４上のホストアダプタ１、ディスクアダプタ２、キャッシュメモリパッケージ３各々はその接続数を任意に変えることができる。ホストアダプタ１の実装数を変えれば対上位接続パス数が変化し、上位ホストに対するデータ転送能力を高めることができる。ディスクアダプタ２の実装数を変えれば記憶媒体に対する接続パス数が変化し、記憶媒体に対するデータの書き込み／読み出しの転送能力を高めることができる。また、同時に記憶媒体の数も増加することができる。キャッシュメモリパッケージ３の実装数を変えればデータの一時格納場所であるキャッシュメモリの容量が変化し、記憶媒体の総容量に対するキャッシュメモリの容量の比率を高めることができるので、対上位装置からアクセスするデータがキャッシュメモリ上に存在する確率（以下「キャッシュヒット率」という）を高める等スケーラブルな装置構成を実現できる。

図２は、図１の概念図の詳細な構成図を示したものである。図２は、図１の複数台のホストアダプタ及び複数台のディスクアダプタのうち、それぞれ１台だけを示し、他は図示を省略している。

ホストアダプタ１において、６はホストインターフェイスの光信号を電気信号に変換する信号変換部、７は上位データフォーマットをアレイディスク５用フォーマットに変換するフォーマット変換部である。８はコモンバス４とのデータの授受を司るデータ転送制御部で、内部にパケット転送単位のデータを格納する記憶バッファを内蔵している。９は活線挿抜対応可能な小振幅電流駆動形バスドライバ（以下「ＢＴＬ」という）である。

ホストからのデータ転送要求は１０のマイクロプロセッサ（以下「ＭＰ」という）に引継がれ、ホストアダプタ１内のデータ転送制御は当ＭＰ１０の管理下で行われる。

ＭＰ１０はＭＰ内の障害発生を検出するなど高信頼性を確保するために２重化されており、１１のチェッカ部で同じ動作をする２重化されたＭＰ１０とＭＰ１０’を比較チェックしている。

１２はＭＰ１０の制御プログラムを格納するブートデバイスで、このブートデバイス１２には書き替え可能な大容量フラッシュメモリを採用しており、またＭＰ１０は必要に応じて１３のローカルメモリに制御プログラムをコピーして使用することにより、ＭＰ１０のメモリアクセス時間の高速化を実現しており、図中破線で囲まれた部分２９がチャネルアダプタモジュールであり、ホストアダプタ１には当モジュール２９が２回路搭載してある。

ディスクアダプタ２において、１４はアレイディスクに書き込むデータをセクタ単位に格納するバッファメモリ、１５はバッファメモリ１４の制御及びデータ転送制御を行なうデータ制御バッファ部、１６はアレイディスク５に書き込むデータを保証するための冗長データを生成する冗長データ生成部、１７はアレイディスク５（ターゲット）に対するイニシエータ（ＳＣＳＩのマスタ側インタフェース）である。

またディスクアダプタ２内のデータ転送制御は、ホストアダプタ１と同じ構成をとるＭＰ周辺部（ＭＰ１０，ＭＰ１０’，チェッカ１１、ブートデバイス１２、ローカルメモリ１３からなりディスクアダプタ用の制御プログラムを搭載する）の管理下で行なわれる。

アレイディスク５は、図２では４つのディスク（ターゲット）しか示してないが、実際には１台のディスクアダプタ２に対し例えば４（横）×４（縦）〜４（横）×７（縦）つのディスクで構成される。横列はＥＣＣグループ（Ｅｒｒｏｒ Ｃｏｒｒｅｃｔｉｏｎ Ｇｒｏｕｐ）を構成し、各ＥＣＣグループは例えば３つのデータディスクと１つのパリティディスクで構成される。更に、後述のように、このようなアレイディスク５の１組に対し、二重化されたホストアダプタト二重化されたホストアダプタと二重化されたディスクアダプタを通じて、あるＣＰＵからアクセスできるようになっている。そして、ホストアダプタの一方に障害が発生したときには、ホストアダプタの他方もしくはディスクアダプタの他方を通じて、同じＣＰＵから同じアレイディスクにアクセスすることができる。

キャッシュメモリパッケージ３において、１８は各アダプタのＭＰ１０が共通にアクセス可能で種々の管理情報を記憶する共有メモリ部、１９は共有メモリ制御部、２０はキャッシュメモリ部、２１はキャッシュメモリ制御部であり、両メモリ制御部１９、２１は共にメモリ書き込みデータ保証の為のＥＣＣ生成回路、読み出しデータの検査及び訂正回路を内蔵し、キャッシュメモリパッケージ３全体で最大１ＧＢのキャッシュ容量を実現しており、装置構成上は２面化して実装している。

キャッシュメモリ容量を更に増設する場合は、キャッシュメモリパッケージ３の代わりに（または、キャッシュメモリパッケージ３に加えて）２２で示すキャッシュポートパッケージを実装し、２３で示すプラッタ（基板差し込み板）間接続ケーブルを介して２４で示すキャッシュユニットに接続し、（すなわち、増設ユニット２４内のキャッシュメモリには、キャッシュポートパッケージ２２及びケーブル２３を介してアクセスできるように構成され）、これによって、最大８ＧＢ２面までキャッシュ容量を増設することができる。図２では、キャッシュメモリパッケージ２を２面設けたのに加えて、キャッシュポートパッケージ２２を実装し、これにケーブル２４を介していくつかのキャッシュユニット２４を接続した場合を示している。

以上述べたホストアダプタ１、ディスクアダプタ２、キャッシュメモリパッケージ３はコモンバス４を介してつながっているが、このコモンバス中、２５は各アダプタのＭＰ１０が共有メモリをアクセスするためのマルチプロセッサバス（以下「Ｍバス」という）、２６は高速データ転送を行う高速Ｉ／Ｏバス（以下「Ｆバス」という）である。

高速Ｉ／Ｏバス２６は通常は６４ビット幅で２系統同時に動作しているが、障害発生時はどちらか１系統のみでの縮退動作が可能であり、またＭバス２５に障害が発生した場合はＦバス２６のどちらか１系統を使用して動作可能である。

更に活線挿抜対応（挿抜の際、挿抜部品の負荷を小さくして挿抜を行なうことで、システムを稼動状態のまま挿抜を可能とする）のＢＴＬ９をコモンバス４のインターフェイスにすることで、ホストアダプタ１に障害が発生した場合、システムは自動的に本障害パスを閉塞し他のホストアダプタのパスを用いてアレイディスク５に対し対上位（同じＣＰＵ）からのアクセスを継続する。保守員は、システム稼働状態において障害の発生したホストアダプタ１を取り除き、正常なホストアダプタ１をシステムに挿入し、２７の保守用プロセッサ（以下「ＳＶＰ」という）から２８のＬＡＮを介して復旧の指示を与え、システムは交換されたホストアダプタ１の動作をチェックし正常であれば閉塞パスを復旧させることにより、無停止運転を実現している。なお、図中ＬＡＮＣは、ＬＡＮ Ｃｏｎｔｒｏｌｌｅｒ（ＳＶＰインタフェースコントローラ）である。ＳＶＰ２７は、他のホストアダプタ及びディスクアダプタにも同様に接続され、監視及び保守が行なわれるようになっている。

また、各アダプタの制御プログラムに変更がある場合は、ＳＶＰ２７からＬＡＮ２８を介してブートデバイス１２内にある制御プログラムの内容を書き替えることにより無停止のアップグレードが可能である。

即ち、システムの制御プログラムをアップグレードを実施する場合は、まずホストアダプタ／ディスクアダプタの各モジュールを１モジュールずつ閉塞し、制御プログラムのアップグレードを行い再接続する。以上のように１モジュールずつの制御プログラムの入れ換え操作を繰り返すことにより、系全体の制御プログラム入れ換えが実施される。

図３は、図２に示した構成図に沿ってデータの流れとデータの保証を示した図である。

上位からアレイディスクにデータを書き込む場合、例えばＥＳＣＯＮ（光チャネルの商標名、ＩＢＭ社）から、先ず書き込み先の記憶空間上の物理アドレス情報（以下「ＰＡ」という）が送られて来た後、データ（ＣＫＤ（Ｃｏｕｎｔ Ｋｅｙ Ｄａｔａ）フォーマット）＋ＣＲＣコードが送られてくる。これらの光信号は信号変換部６で電気信号に変換すると共にパリティを生成し、フォーマット変換部７ではデータフォーマットをＦＢＡ（Ｆｉｒｅｄ Ｂｌｏｃｋｅｄ Ａｒｃｈｉｔｅｃｔｕｒｅ）フォーマットに変換すると共にＬＲＣ（Ｌｏｎｇｉｔｕｄｉｎａｌ Ｒｅｄｕｎｄａｎｃｙ Ｃｈｅｃｋ，長手方向冗長度チェック）コードを付加し、更にＰＡをデータの一部として取り込んでアレイディスク上の論理アドレス（以下「ＬＡ」という）を生成した後これら総ての情報に対してパリティを付加してＦバス２６に送られる。

キャッシュパッケージ３では、Ｆバス２６からのデータに対して誤り訂正可能なＥＣＣを付加してキャッシュメモリ２０に書き込む。

ディスクアダプタ２では、Ｆバスからのデータに対して更にＣＲＣコードが付加され、該データＳＣＳＩインターフェースを介してアレイディスク５に送られ、磁気ディスク装置個々にＥＣＣを付加して書き込みデータを保証している。

アレイディスク５からのデータ読み出しにおいても同様に、各チェックコードを元に読み出しデータの検査／訂正を行い信頼性を高めている。

以上のように、チェックコードはデータの長さ方向に対してはある長さ毎の水平チェック、データの垂直（幅）方向に対しては（例えばバイト単位の）垂直チェックで２重化されており、また転送が行われる領域間（図中一点鎖線）では当該２重化チェックコードのうち１つを必ずデータとして受け渡すことによりデータ保証に万全を期している。

図４は図１で述べたスケーラビリティを実現するための装置外観図であり、４１はアレイディスクを制御する制御ユニット部、４２はアレイディスクを実装するアレイユニット部で、本装置はこの２つのユニットで構成される。

図５は制御ユニット４１の実装図で（ａ）は正面図、（ｂ）は側面図を表わす。５１はホストアダプタ１、ディスクアダプタ２、キャッシュメモリパッケージ３を実装する論理架部、５２は停電時に揮発メモリであるキャッシュメモリ部に電源を供給するバッテリ部、５３はキャッシュメモリ増設時にキャッシュユニット２４及び増設メモリ用の追加バッテリを実装するキャッシュメモリ増設部、５４はＳＶＰ実装部、５５は論理架に電源を供給する論理架用スイッチング電源、５６はアレイディスクの構成（容量）が小規模の場合のアレイディスク実装部、５７はアレイディスク部に電源を供給するアレイディスク用スイッチング電源、５８は両スイッチング電源５５、５７に電源を供給する商用電源制御部である。

図６は大容量アレイディスクを構成するときのアレイユニット部の実装図で（ａ）は正面図、（ｂ）は側面図を表わす。

アレイディスク実装部５６は、磁気ディスク装置を最大１１２台（８行ｘ７列ｘ２）実装可能であり、各磁気ディスク装置に障害が発生した場合の装置の入れ替えを容易にするために、装置の正面と背面の両面から挿抜可能となるような実装方式をとっている。

６１はユニット全体の発熱を逃がすための冷却ファンで、冷却効果を高めると共に、騒音抑止の観点から小さな冷却ファンを使って小区分化し、床面より天井へ送風する構造をとっている。

図７は図５で説明した論理架部の接続方式図である。

７１はコモンバス４をプリント配線したプラッタ（基板の挿し込み用の板）であり、７２は各アダプタ、パッケージとプラッタ７１を接続するためのコネクタである。

ホストアダプタ１、ディスクアダプタ２、キャッシュメモリパッケージ３の間のデータ転送はコモンバス４を介して行うため、各アダプタ、パッケージはコネクタ７２上の任意のどの位置でも接続可能となり、ホストアダプタ１の実装数、ディスクアダプタ２の実装数を自由に変えることができる。

一方、キャッシュ容量を増設する場合はキャッシュメモリパッケージ３をキャッシュポートパッケージ２２に変えて実装するか、または図７に示すように、キャッシュメモリパッケージ３に加えてキャッシュポートパッケージ２１を実装し、これに、接続ケーブル２３を介してキャッシュユニット４３（図２の２４に相当）に接続することにより、もとの２ＧＢの容量に加えて更に最大８ＧＢ２面分のキャッシュメモリ容量を拡張できる。

図８は図５で示した論理架部の実装イメージ図である。

図８で、コモンバス４は、プラッタ７１上を左右方向にプリント配線されており、このプラッタ７１に対して、キャッシュポートパッケージ２２の基板（ＣＰ）の取付部、キャッシュメモリパッケージ３の基板（Ｃ）の取付部、ホストアダプタモジュールの基板（Ｈ）の取付部、及びディスクアダプタモジュールの基板（Ｄ）の取付部が設けられ、図の矢印８４で示すように、各基板は、挿抜操作面側から着脱されるようになっていて、プラッタ７１に差し込まれるとコモンバス４と電気接続されるものである。

８１は、ホストアダプタ１の基板上の下方部に実装されて、対上位インターフェイスを司る光コネクタ部、８２はディスクアダプタ２の基板上の下方部に実装されて、アレイディスク５と接続するＳＣＳＩコネクタ部、８３はキャッシュポートパッケージ２２を実装したときの接続ケーブル２３用の接続コネクタ部である。８５は、キャシュメモリパッケージ３の基板（Ｃ）の下方部に取付けたキャッシュメモリ本体（図２のキャッシュメモリ２０）である。

各コネクタ部は、障害発生等で各アダプタ、パッケージを挿抜する際の操作性を向上させるため、接続コネクタ８３を除き、操作面８４側へは実装せず、プラッタ７１の接続側に集中実装している。

図９は本発明のソフトウエア構成を示した図である。

９１はホストアダプタ１のブートデバイス１２に書き込まれるチャネルアダプタ制御プログラム（以下「ＣＨＰ」という），である。また、ディスクアダプタ２のブートデバイス１２に書き込まれるディスクアダプタ制御プログラムのうち、９２はアレイディスク固有の処理およびキャッシュメモリとアレイディスク間のデータ転送制御を受け持つディスクアダプタマスタ制御プログラム（以下「ＤＭＰ」という），９３はＤＭＰ９２の制御管理下でキャッシュメモリ２０とアレイディスク５の間のデータ転送制御を受け持つディスクアダプタスレーブ制御プログラム（以下「ＤＳＰ」という）である。

ディスクアダプタ２のブートデバイス１２には、ＤＭＰ９２とＤＳＰ９３の２種類が書き込まれているが、装置構成上ｎセットのディスクアダプタでアレイディスクにアクセスする場合、そのうちの２セットがＤＭＰ９２として動作（２重化）し、残るｎ−２のディスクアダプタがＤＳＰ９３として動作する。

９４はＳＶＰ２７に搭載するＳＶＰ制御プログラムで、ＣＨＰ９１，ＤＭＰ９２，ＤＳＰ９３を監視及び保守するとともに、各制御プログラムの更新時はＳＶＰ２７から更新したいＭＰの制御プログラムを直接、または他のＭＰから当該ＭＰの制御プログラムを更新することができる。

図１０はデータの流れに基づいた図９で示したソフトウエア構成の機能分担を示した図である。

ＣＨＰ９１は、上位からのアドレス形式及びデータ形式を下位アドレス形式及びデータ形式に変換し、キャッシュメモリに書き込む。１０１はセグメント、１０２はブロック、１０３はアレイディスク５上の磁気ディスク１台当りに書き込むデータ量を表すストライプである。ＤＭＰ９２は、キャッシュメモリ上からストライプ単位にデータを読み出し、下位アドレスをアレイディスクの行ＮＯ，列ＮＯ，ＦＢＡ，ブロック数に変換し、ＤＳＰ９３でアレイディスクにデータを書き込む。

また、ＤＭＰ９２はアレイディスク５の構成情報も管理している。

以上のように、各制御プログラムを機能分担することにより、上位インタフェースをＳＣＳＩやファイバーチャネル等に変更する場合はＣＨＰ９１のみ、またアレイディスク構成を変更（ディスクの行数／列数、ＲＡＩＤ（Ｒｅｄｕｎｄａｎｔ Ａｒｒａｙ Ｉｎｅｘｐｅｎｓｉｖｅ Ｄｉｓｋ）方式等）する場合はＤＭＰ９２のみの変更で対応可能であり、ホストアダプタ１、ディスクアダプタ２の接続変更に合わせて各制御プログラムを書き替えることで、スケーラビリティを実現するとともに、ソフトウエア開発の負荷も軽減している。

図１１はコモンバス４の２重化の考え方と縮退動作を説明した図である。

１１１はコモンバス４の使用権を獲得することのできるバスマスタ（ＭＰ１０を搭載しているホストアダプタ１又はディスクアダプタ２）、１１２はバスマスタ１１１からのアクセス要求を受けるバススレーブ（キャッシュメモリパッケージ）である。

Ｆバス２６は通常動作状態では６４ビットバス（２００ＭＢ／Ｓ）２系統を同時に動作させ４００ＭＢ／Ｓを実現しており、各バス系統はパリティチェック又はタイムアウトで障害を検出可能である。障害発生時はバスマスタ１１１は各自縮退状態に入り、残る１系統を使ってバススレーブをアクセスすると共に、この時の縮退情報は共有メモリ１８上の管理エリアに登録される。

またコモンバス内のシステム制御信号（バスリセット等）は信号線を３重化しており、通常動作時は３線一致、縮退動作時は２線一致（多数決）方式を採用することにより信頼性を高めている。

図１２は装置各部位における多重化と縮退運転を示した図である。

１２１は２ポート化されたチャネルパスであり、ホストアダプタ１にはチャネルアダプタ２９が２モジュール、対上位用のチャネルパスが４パス実装しており、障害発生時は交替チャネルアダプタ（ＣＨＰ）、交替チャネルパスを使用して縮退運転に入る。

１２２はディスクアダプタ２とアレイディスク５の間のインタフェースを司るＳＣＳＩパスで、１行の磁気ディスク群に対して別のディスクアダプタ２からもアクセス可能なように２重化しており、当パスに障害が発生した場合は交替ＳＣＳＩパスを使用して縮退運転に入る。また、アレイディスクマスタ制御を行うＤＭＰ９２も２重化しており、障害発生時は交替ＤＭＰ９２を使用して縮退運転に入る。

共有メモリ１８、キャッシュメモリ２０も２重化しており、共有メモリに障害が発生した場合は残るもう一方の使用して縮退運転に入り、キャッシュメモリに障害が発生した場合はライトペンディングデータ（キャッシュメモリ上に残っているデータ）をディスクにデステージし障害発生メモリ部位を除いたメモリで縮退運転を行う。

アレイディスク５上の磁気ディスクに障害が発生した場合は、当該磁気ディスクを切り離し予備の磁気ディスクに修復しながら読み出し書き込み動作を行う。 図１３は装置の電源系の多重化と縮退運転を示した図である。

商用電源制御部５８は各々独立したＡＣ入力で２重化して、論理架用スイッチング電源５５及びアレイディスク用スイッチング電源５７にそれぞれ供給しているため、障害発生時はもう片方の商用電源制御部５８で縮退運転に入る。

１３１は上位ホストからの電源ＯＮ／ＯＦＦの遠隔制御や商用電源制御部５８、両スイッチング電源等の電源回路を制御する電源制御回路（以下「ＰＣＩ」という）である。

論理架用スイッチング電源５５は冗長運転用として必要数より２回路多く実装し電源コモンバスを介して論理架５１及びバッテリ５２に供給することにより、当スイッチング電源５５が２回路故障しても動作可能である。

同様に列単位の磁気ディスク群に供給するにアレイディスク用スイッチング電源５７も、冗長運転用として２回路多く実装し電源コモンバスを介して供給することにより、当スイッチング電源５７が２回路故障しても動作可能であり、さらに両スイッチング電源５５、５７を２重化するよりも安価な構成に仕上げることができる。

また停電時においては、２重化されたバッテリ５２から電源コモンバスを介して論理架内の揮発メモリであるキャッシュメモリ及びＰＣＩ１３１に供給され、片方のバッテリが故障しても動作可能である。

図１４及び図１５はアレイディスクに使用する磁気ディスク装置単体の記憶容量別にアレイディスクを構成したときのシステム性能を比較した図である。

図１４はそれぞれ異なる磁気ディスク装置を使用して同一容量のアレイディスクを実現した場合の構成を示しており、項番１４１が３ＧＢの磁気ディスク装置（３．５インチ径のディスクを使用）、項番１４２が４．０ＧＢの磁気ディスク装置（５インチ径のディスクを使用）、項番１４３が８．４ＧＢの磁気ディスク装置（６．４インチ径のディスクを使用）を使用している。アレイ構成は、ディスク装置１４１が１４枚のデータディスクの２枚のパリティディスク、ディスク装置１４２が１４枚のデータディスクと４枚のパリティディスク、ディスク装置１４３が１４枚のデータディスクと２枚のパリティディスクで構成した場合である。

図１５は各磁気ディスク装置１４１、１４２、１４３についての毎秒当りのＩ／Ｏ命令発行件数と平均応答時間の関係を示しており、アレイディスクシステムとしてのトランザクション性能を向上させるためには、小容量（小径）の磁気ディスク装置を使用してアレイ構成を大きくすることが最も性能を引き出せることから、本発明に於ては３．５インチ磁気ディスク装置１４１を採用してアレイディスクシステムを実現している。従って、同じ記憶容量の磁気ディスク装置を、従来のように大形磁気ディスク装置１台で構成するのと、複数台の小形磁気ディスク装置のアレイで構成するのとでは、後者の小形磁気ディスク装置を多数用いたアレイ構成のものの方が、平均アクセスタイムを短縮できる点で有利である。

以上説明してきたスケーラブルなアーキテクチャを使用して実現できる装置モデル構成例を図１６〜図１９にしめす。

図１６は、コモンバス４上のディスクアダプタ２の実装数を減らし、更にキャッシュポートパッケージ２２を実装し、接続ケーブル２３を介してキャッシュユニット２４に接続することにより、キャッシュヒット率の高める高性能大容量キャッシュメモリ付小形ディスクアレイを実現した時の構成図である。

またディスクアダプタ２を実装しないで、ホストアダプタ１とキャッシュメモリのみで構成した場合（図中の破線内の構成）は、記憶媒体が磁気ディスクから半導体メモリに代わり、更に高速データ転送可能な高性能の半導体ディスク装置を実現する。

図１７はディスクアダプタ２を最大構成とし、キャッシュパッケージ３を実装し又はキャッシュポート２２を実装し接続ケーブル２３を介してキャッシュユニットを接続することにより、高性能大容量キャッシュメモリ付大形ディスクアレイを実現した時の構成図である。

図１８はホストアダプタ１の対上位インターフェースをＳＣＳＩ／ファイバーチャネル等のインターフェースに変えて、ディスクアダプタ２の実装数を減らし、更にＦバス２６のビット幅を半分に縮小した２系統で構成することにより、オープン市場をターゲットにした無停止運転の高性能フォールトトレラント（高信頼性）サーバシステムを実現した時の構成図である。

図１９は図１８の構成を元に２重化、活線挿抜を考慮せずに、最もシンプルな構成をとることによって安価なオープン市場向けのサーバシステムを実現した時の構成図である。なお、図中、４Ｄ＋１Ｐは、データディスク４枚とパリティディスク１枚の趣旨である。

以上の実施形態において、コモンバス４上に、更に光ディスクアダプタ（光ディスク用接続論理モジュール）を介して光ディスク装置を接続し、磁気テープ制御装置（磁気ディスク接続論理モジュール）を介して磁気テープ装置を接続し、あるいは半導体記憶装置接続論理モジュールを介して半導体記憶装置を接続することができる。また、コモンバス４上に別の形式のホストアダプタを介してワークステーションを接続することもできる。このように、コモンバス上に、種々の形式の記憶装置に対する記憶媒体アダプタを接続することができる。

以上説明したように、本発明の実施形態は次のような機能乃至作用を奏するものを含むものである。

本発明によれば、上位装置に対するインタフェースを構成する複数の上位側接続論理装置と、記憶装置と、前記記憶装置に対するインタフェースを構成する複数の記憶装置側接続論理装置と、これらの装置間で転送されるデータを一時記憶するキャッシュメモリ装置（複数の上位側接続論理装置及び複数の記憶装置側接続論理装置に共有されるキャッシュメモリ装置）とを有する記憶システムにおいて、前記複数の上位装置側接続論理装置，複数の記憶側接続論理装置，及びキャッシュメモリ装置は、これらの装置に共有されるコモンバスにより相互に接続されるように構成したので、上位側接続論理装置と記憶装置側接続論理装置とキャッシュメモリの増設または変更は、単にこれらをコモンバス上に追加しまたは変更して行くだけでよく、増設によるアップグレードが容易に達成できスケーラブルなシステム構成を得ることができる。

また、これらの上位側接続論理装置，記憶装置側接続論理装置及びキャッシュメモリ装置は、モジュール化されて、コモンバスの配設されたプラッタに挿抜（着脱）自在に取り付けるようにしたので、これらの装置の必要な数量の増設作業も簡単である。

また、上位側接続論理装置，記憶装置側接続論理装置、キャッシュメモリ装置，及びこれらの間を接続するコモンバスは、二重化され、２系統に分けて配線されているので。これらの装置の一方に障害が発生したときでも、他方の装置を用いて縮退運転が可能である。なお、障害発生時に縮退運転状況を示す情報は、共有メモリに書き込まれる。

この場合、上位側接続論理装置，記憶装置側接続論理装置，及びキャッシュメモリ装置は、いずれも活線挿抜対応のコネクタ部を具備しているので、システムを停止することなく保守点検を行なって故障部品の交換を行なったり、増設用の部品を追加したりすることが可能である。

電源部も二重化され、それにより無停電電源装置を実現する。

記憶装置は、複数の小形記憶装置を組み合わせたアレイ形とされ、これにより従来の大形ディスク装置１台を用いたものに比べてアクセスタイムを短縮できる。

キャッシュメモリ装置は、コモンバスに直接取り付けられるキャッシュメモリモジュール（キャッシュメモリパッケージ）と、増設用のキャッシュユニットとで構成され、増設用のキャッシュユニットは、コモンバスに直接挿抜自在に取り付けられる増設用のキャッシュポートパッケージを介して必要数接続されるようになっているので、簡単に増減することができる。

以上により、高信頼性の記憶システムを得ることができる。

本発明の実施形態の概要を示す概念図である。 本発明の一実施形態の記憶システムの詳細な構成図である。 図２の構成図に沿ったデータの流れとデータ形式を示した図である。 本発明の一実施形態の装置外観図である。 本発明の一実施形態の装置における制御ユニット部の実装方式図である。 本発明の一実施形態の装置におけるアレイディスクユニット部の実装方式図である。 本発明の一実施形態の装置における論理架部の接続方式図である。 本発明の一実施形態の装置における論理架部の実装方式図である。 本発明の実施形態に適用されるソフトウエア構成図である。 本発明の実施形態によるデータの流れとソフトウエアの機能分担を示した図である。 本発明の実施形態によるコモンバスの２重化と縮退動作を示した図である。 本発明の実施形態による装置各部位の２重化と縮退運転を示した図である。 本発明の実施形態による装置の電源系の多重化と縮退運転を示した図である。 アレイディスクに使用する磁気ディスク装置単体のディスク構成を示す図である。 磁気ディスク装置の記憶容量とアレイディスクのシステム性能を示した図である。 高性能大容量キャッシュメモリ付小形ディスクアレイの構成図である。 高性能大容量キャッシュメモリ付大形ディスクアレイの構成図である。 高性能フォールトトレラントサーバシステムの構成図である。 低価格サーバシステムの構成図である。 従来の記憶システムの概略構成図である。

Claims (9)

1. 上位装置に対するインタフェースを構成する複数の上位側接続論理装置と、記憶装置と、前記記憶装置に対するインタフェースを構成する複数の記憶装置側接続論理装置と、前記複数の上位側接続論理装置及び前記複数の記憶装置側接続論理装置間で転送されるデータを一時記憶するキャッシュメモリ装置とを有する記憶システムにおいて、前記複数の上位側接続論理装置，前記複数の記憶装置側接続論理装置，及び前記キャッシュメモリ装置は、これらの装置に共用されるコモンバスにより相互に接続されるように構成したことを特徴とする記憶システム。
2. 前記複数の上位側接続論理装置，前記複数の記憶装置側接続論理装置，及び前記キャッシュメモリ装置は、いずれもモジュールで構成し、前記モジュールは、それぞれ、前記コモンバスに対し挿抜自在に取付けられるように構成したことを特徴とする請求項１記載の記憶システム。
3. 前記コモンバスは、プラッタ上に配設され、前記上位側接続論理装置，前記複数の記憶装置側接続論理装置，及び前記キャッシュメモリ装置を構成するモジュールの各々は、前記プラッタに対し挿抜自在に取付けられるように構成したことを特徴とする請求項１または２記載の記憶システム。
4. 前記上位側接続論理装置，前記記憶装置側接続論理装置，前記キャッシュメモリ装置，及び前記コモンバスは、いずれも少なくとも二重化されており、前記上位側接続論理装置，前記記憶装置側接続論理装置，前記キャッシュメモリ装置，及び前記コモンバスの一方により縮退運転が可能となるように構成したことを特徴とする請求項１ないし３のいずれか１記載の記憶システム。
5. 前記二重化された上位側接続論理装置、記憶装置側接続論理装置、キャッシュメモリ装置は、いずれも活線挿抜ができるように構成したことを特徴とする請求項４記載の記憶システム。
6. 前記記憶装置は、二重化された電源部を備えたことを特徴とする請求項１ないし６のいずれか１記載の記憶システム。
7. 前記記憶装置は、複数の小形記憶装置を組み合わせたアレイ記憶装置で構成したことを特徴とする請求項１ないし３のいずれか１記載の記憶システム。
8. 前記キャッシュメモリ装置は、キャッシュメモリ本体を持ち、前記コモンバスに直接取り付けられるキャッシュメモリモジュールと、キャッシュメモリを持つ増設用のキャッシュユニットとを有しており、前記キャッシュユニットは、前記コモンバスに直接挿抜自在に取り付けられる増設用のキャッシュポートパッケージを介して接続されるように構成したことを特徴とする請求項１〜７のいずれか１記載の記憶システム。
9. 前記上位側接続論理装置及び前記記憶装置側接続論理装置は、それぞれ、二重化されたマイクロプロセッサを有し、両マイクロプロセッサによりデータの比較チェックを行なうように構成したことを特徴とする請求項１ないし８のいずれか１記載の記憶システム。

Images