JP2002073286A

JP2002073286A - 記憶システム

Info

Publication number: JP2002073286A
Application number: JP2001220441A
Authority: JP
Inventors: Tatsuya Ninomiya; 龍也二宮; Hidefumi Masuzaki; 秀文増崎; Hiroyuki Kurosawa; 弘幸黒沢; Naoya Takahashi; 直也高橋; Yasuo Inoue; 靖雄井上; Hidehiko Iwasaki; 秀彦岩崎; Masayuki Hoshino; 政行星野; Soichi Isono; 聡一磯野
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2001-07-19
Filing date: 2001-07-19
Publication date: 2002-03-12
Anticipated expiration: 2019-07-28
Also published as: JP3547411B2

Abstract

(57)【要約】【課題】大型計算機の記憶システムで、システム規模
を容易に拡張変更でき、システムの縮退及び活線挿抜に
よる保守を可能とする。【解決手段】上位ＣＰＵと接続される複数のホストア
ダプタ１と、アレイディスク５と接続される複数のディ
スクアダプタ２と、これらのアダプタに共用される一時
記憶用キャッシュメモリ３とは、これらアダプタ及びキ
ャッシュメモリに共用されるコモンバス４（マルチプロ
セッサバス２５と高速Ｉ／Ｏバスからなる）上に挿抜自
在に取り付けられる。規模を拡大するには、必要な数だ
けこれらアダプタ１，２及びキャッシュメモリ３を付加
するだけでよい。アダプタ１，２キャッシュメモリ及び
コモンバスは二重化され、障害時の縮退運転を可能と
し、また、各アダプタ及びキャッシュメモリとコモンバ
スとの結合点は、活線挿抜可能とし、システム無停止で
保守点検部品交換を可能とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、大形計算機システ
ムやネットワークシステム等に接続される磁気ディスク
装置，磁気テープ装置，半導体記憶装置，または光ディ
スク装置等の記憶装置を制御する記憶制御装置を含む記
憶システムに係り、特に、システムの拡張性が高く縮退
運転や活線挿抜対応の可能な記憶システムに関する。

【０００２】

【従来の技術】従来、大形計算機に接続される記憶シス
テムとして、例えば特開昭６１−４３７４２号公報に記
載されているように、上位装置（ＣＰＵ）に対するイン
タフェース（ホストアダプタ），キャッシュメモリ，及
び磁気ディスク装置等の記憶装置に対するインタフェー
ス（ディスクアダプタ）の相互間をホットライン（専用
線）で接続しているものが知られている。

【０００３】図２０は、従来の記憶システムの構成の概
要を示す図である。同図において、２０１−１〜２０１
ｎはそれぞれ複数の上位ホスト（ＣＰＵ）に接続される
ホストアダプタ（対上位論理モジュール）、２０２−１
〜２０２−ｎは、共有の大形ディスク装置２０５に接続
されるディスクアダプタ（記憶媒体接続用論理モジュー
ル）、２０３は、複数のホストアダプタに共有のキャッ
シュメモリ、２０６は同様に共有の管理メモリである。
従来装置では、各ホストアダプタ２０１−１〜２０１−
ｎとキャッシュメモリ２０３の間、キャッシュメモリ２
０３と各ディスクアダプタ２０２−１〜２０２−ｎの
間、各ホストアダプタ２０１−１〜２０１−ｎと管理メ
モリ２０６の間、並びに管理メモリ２０６と各ディスク
アダプタ２０１−２〜２０１−ｎの間は、それぞれ別々
のホットライン２０７−１〜２０７−ｎ及び２０８−１
〜２０８−ｎによって接続されている。また、これらの
ホストアダプタ及びディスクアダプタの監視及び保守を
行なう保守用プロセッサ（ＳＶＰ，図示せず）も各々の
ホストアダプタ及びディスクアダプタにそれぞれ専用線
を介して接続されている。

【０００４】

【発明が解決しようとする課題】上記従来技術では、上
位装置に対するホストアダプタ（対上位接続論理モジュ
ール）と、記憶装置に対するディスクアダプタ（対記憶
媒体接続論理モジュール）と、キャッシュメモリ（キャ
ッシュメモリモジュール）との各間がホットラインで接
続されているため、装置構成が複雑になると共に、ホス
トアダプタ、キャッシュメモリ、ディスクアダプタ、デ
ィスク装置等、装置としての拡張性に乏しくいわゆるス
ケーラブル（拡張及び縮小自在）なシステム構成が得ら
れなかった。また、システムを多重化することにより障
害発生時等に縮退運転（２台のうち１台を停止し他の１
台だけで運転するなど）や活線挿抜対応（システムを動
作したままで基板や回路の部品等を挿しかえるなど）を
可能とすることがなにも配慮されておらず、このため、
障害発生時の部品交換やシステムの制御プログラムをグ
レードアップするときには、システムを一時停止し対応
しなければならない等の問題があった。

【０００５】従って、本発明の目的は、上記従来技術の
問題点を解決し、コモンバス方式を採用することによ
り、システム構成（規模）に応じてホストアダプタ，記
憶装置アダプタ等の各論理モジュールやキャッシュメモ
リ及び記憶媒体を接続することでスケーラブルなシステ
ムを実現することができるようにすると共に、各論理モ
ジュール，記憶媒体及びコモンバスの多重化により、縮
退運転と各論理モジュール及び記憶媒体の活線挿抜対応
とを可能とし、無停止で保守することができる記憶シス
テムを提供することにある。

【０００６】

【課題を解決するための手段】前記課題を解決するため
に、本発明は次のような構成を採用する。上位装置に接
続され、前記上位装置に対するインタフェースを構成す
る第１の接続論理装置と、上位装置から転送される情報
を記憶する記憶装置と、前記記憶装置に接続され、前記
記憶装置に対するインタフェースを構成する第２の接続
論理装置と、前記第１の接続論理装置と前記第２の接続
論理装置との間で転送されるデータを一時的に記憶する
第１のメモリ装置と、前記第１の接続論理装置、前記第
２の接続論理装置及び前記第１のメモリ装置のために制
御情報を記憶する第２のメモリ装置と、前記第１の接続
論理装置と前記第２の接続論理装置と前記第２のメモリ
装置とに接続され、制御情報の転送を行う第１のバス
と、前記第１の接続論理装置と前記第２の接続論理装置
と前記第１のメモリ装置と前記第２のメモリ装置とに接
続され、前記第１の接続論理装置と前記第２の接続論理
装置と前記第１のメモリ装置との間のデータ転送を行う
複数の第２のバスとを含むコモンバスと、を有する記憶
システムであって、前記第１のバスに障害が生じた場
合、前記複数の第２のバスのうちの１つの第２のバスで
制御情報の転送を行い、残りの第２のバスでデータ転送
を行う記憶システム。

【０００７】そして、本発明によれば、上位装置に対す
るインタフェースを構成する複数の上位側接続論理装置
と、記憶装置と、前記記憶装置に対するインタフェース
を構成する複数の記憶装置側接続論理装置と、これらの
装置間で転送されるデータを一時記憶するキャッシュメ
モリ装置（複数の上位側接続論理装置及び複数の記憶装
置側接続論理装置に共有されるキャッシュメモリ装置）
とを有する記憶システムにおいて、前記複数の上位装置
側接続論理装置，複数の記憶側接続論理装置，及びキャ
ッシュメモリ装置は、これらの装置に共有されるコモン
バスにより相互に接続されるように構成したので、上位
側接続論理装置と記憶装置側接続論理装置とキャッシュ
メモリの増設または変更は、単にこれらをコモンバス上
に追加しまたは変更して行くだけでよく、増設によるア
ップグレードが容易に達成できスケーラブルなシステム
構成を得ることができる。

【０００８】また、これらの上位側接続論理装置，記憶
装置側接続論理装置及びキャッシュメモリ装置は、モジ
ュール化されて、コモンバスの配設されたプラッタに挿
抜（着脱）自在に取り付けるようにしたので、これらの
装置の必要な数量の増設作業も簡単である。

【０００９】また、上位側接続論理装置，記憶装置側接
続論理装置、キャッシュメモリ装置，及びこれらの間を
接続するコモンバスは、二重化され、２系統に分けて配
線されているので。これらの装置の一方に障害が発生し
たときでも、他方の装置を用いて縮退運転が可能であ
る。なお、障害発生時に縮退運転状況を示す情報は、共
有メモリに書き込まれる。

【００１０】この場合、上位側接続論理装置，記憶装置
側接続論理装置，及びキャッシュメモリ装置は、いずれ
も活線挿抜対応のコネクタ部を具備しているので、シス
テムを停止することなく保守点検を行なって故障部品の
交換を行なったり、増設用の部品を追加したりすること
が可能である。

【００１１】キャッシュメモリ装置は、コモンバスに直
接取り付けられるキャッシュメモリモジュール（キャッ
シュメモリパッケージ）と、増設用のキャッシュユニッ
トとで構成され、増設用のキャッシュユニットは、コモ
ンバスに直接挿抜自在に取り付けられる増設用のキャッ
シュポートパッケージを介して必要数接続されるように
なっているので、簡単に増減することができる。

【００１２】

【発明の実施の形態】以下に、本発明の実施例を図面の
図１から図１８により説明する。

【００１３】図１は本発明の概念図を示す。図１によ
り、本実施例の概要を説明する。

【００１４】１は、対上位ＣＰＵ（ホスト）接続用論理
モジュールであるホストアダプタ部、２は、対記憶媒体
接続用論理モジュールであるディスクアダプタ部、３
は、両モジュール間で転送されるデータを一時記憶する
キャッシュメモリパッケージ（キャッシュメモリモジュ
ール）、４はホストアダプタ１、ディスクアダプタ２、
キャッシュメモリパッケージ３の間のデータ転送制御を
司るコモンバス、５は、縦横にアレイ状に配置した記憶
媒体である磁気ディスク群（以下「アレイディスク」と
いう）である。ホストアダプタ１は、上位インタフェー
ス側のデータ形式及びアドレス形式を記憶媒体インタフ
ェース用のデータ形式及びアドレス形式に変換する手段
と、これらを制御管理する二重化したマイクロプロセッ
サとを有している。ディスクアダプタ２は、記憶媒体へ
データを格納するためのアドレス演算機能と、記憶デー
タ保証用冗長データの生成機能と、記憶媒体構成情報を
認識する機能と、これらを制御管理するマイクロプロセ
ッサとを有している。

【００１５】図１において、上位装置（ＣＰＵ）から送
られてきた書き込みデータは、ホストアダプタ１からコ
モンバス４を介して一度キャッシュメモリパッケージ３
に書き込むことにより上位に終了報告を行い、その後の
空き時間でキャッシュメモリパッケージ３からディスク
アダプタ２を経由してアレイディスク５に書き込む。

【００１６】また、上位装置からのデータ読み出し命令
に対しては、キャッシュメモリパッケージ３上にデータ
が存在する場合はアレイディスク５からは読み出さず、
キャッシュメモリパッケージ３上のデータを上位装置に
転送する。一方キャッシュメモリパッケージ３上にデー
タが存在しない場合は、アレイディスク５からディスク
アダプタ２によりコモンバス４を経由して一度キャッシ
ュメモリパッケージ３に書き込まれた後同様にホストア
ダプタ１を経由して上位装置へ転送する。

【００１７】コモンバス４上のホストアダプタ１、ディ
スクアダプタ２、キャッシュメモリパッケージ３各々は
その接続数を任意に変えることができる。ホストアダプ
タ１の実装数を変えれば対上位接続パス数が変化し、上
位ホストに対するデータ転送能力を高めることができ
る。ディスクアダプタ２の実装数を変えれば記憶媒体に
対する接続パス数が変化し、記憶媒体に対するデータの
書き込み／読み出しの転送能力を高めることができる。
また、同時に記憶媒体の数も増加することができる。キ
ャッシュメモリパッケージ３の実装数を変えればデータ
の一時格納場所であるキャッシュメモリの容量が変化
し、記憶媒体の総容量に対するキャッシュメモリの容量
の比率を高めることができるので、対上位装置からアク
セスするデータがキャッシュメモリ上に存在する確率
（以下「キャッシュヒット率」という）を高める等スケ
ーラブルな装置構成を実現できる。

【００１８】図２は、図１の概念図の詳細な構成図を示
したものである。図２は、図１の複数台のホストアダプ
タ及び複数台のディスクアダプタのうち、それぞれ１台
だけを示し、他は図示を省略している。

【００１９】ホストアダプタ１において、６はホストイ
ンターフェイスの光信号を電気信号に変換する信号変換
部、７は上位データフォーマットをアレイディスク５用
フォーマットに変換するフォーマット変換部である。８
はコモンバス４とのデータの授受を司るデータ転送制御
部で、内部にパケット転送単位のデータを格納する記憶
バッファを内蔵している。９は活線挿抜対応可能な小振
幅電流駆動形バスドライバ（以下「ＢＴＬ」という）で
ある。

【００２０】ホストからのデータ転送要求は１０のマイ
クロプロセッサ（以下「ＭＰ」という）に引継がれ、ホ
ストアダプタ１内のデータ転送制御は当ＭＰ１０の管理
下で行われる。

【００２１】ＭＰ１０はＭＰ内の障害発生を検出するな
ど高信頼性を確保するために２重化されており、１１の
チェッカ部で同じ動作をする２重化されたＭＰ１０とＭ
Ｐ１０’を比較チェックしている。

【００２２】１２はＭＰ１０の制御プログラムを格納す
るブートデバイスで、このブートデバイス１２には書き
替え可能な大容量フラッシュメモリを採用しており、ま
たＭＰ１０は必要に応じて１３のローカルメモリに制御
プログラムをコピーして使用することにより、ＭＰ１０
のメモリアクセス時間の高速化を実現しており、図中破
線で囲まれた部分２９がチャネルアダプタモジュールで
あり、ホストアダプタ１には当モジュール２９が２回路
搭載してある。

【００２３】ディスクアダプタ２において、１４はアレ
イディスクに書き込むデータをセクタ単位に格納するバ
ッファメモリ、１５はバッファメモリ１４の制御及びデ
ータ転送制御を行なうデータ制御バッファ部、１６はア
レイディスク５に書き込むデータを保証するための冗長
データを生成する冗長データ生成部、１７はアレイディ
スク５（ターゲット）に対するイニシエータ（ＳＣＳＩ
のマスタ側インタフェース）である。

【００２４】またディスクアダプタ２内のデータ転送制
御は、ホストアダプタ１と同じ構成をとるＭＰ周辺部
（ＭＰ１０，ＭＰ１０’，チェッカ１１、ブートデバイ
ス１２、ローカルメモリ１３からなりディスクアダプタ
用の制御プログラムを搭載する）の管理下で行なわれ
る。

【００２５】アレイディスク５は、図２では４つのディ
スク（ターゲット）しか示してないが、実際には１台の
ディスクアダプタ２に対し例えば４（横）×４（縦）〜
４（横）×７（縦）つのディスクで構成される。横列は
ＥＣＣグループ（ＥｒｒｏｒＣｏｒｒｅｃｔｉｏｎＧ
ｒｏｕｐ）を構成し、各ＥＣＣグループは例えば３つの
データディスクと１つのパリティディスクで構成され
る。更に、後述のように、このようなアレイディスク５
の１組に対し、二重化されたホストアダプタト二重化さ
れたホストアダプタと二重化されたディスクアダプタを
通じて、あるＣＰＵからアクセスできるようになってい
る。そして、ホストアダプタの一方に障害が発生したと
きには、ホストアダプタの他方もしくはディスクアダプ
タの他方を通じて、同じＣＰＵから同じアレイディスク
にアクセスすることができる。

【００２６】キャッシュメモリパッケージ３において、
１８は各アダプタのＭＰ１０が共通にアクセス可能で種
々の管理情報を記憶する共有メモリ部、１９は共有メモ
リ制御部、２０はキャッシュメモリ部、２１はキャッシ
ュメモリ制御部であり、両メモリ制御部１９、２１は共
にメモリ書き込みデータ保証の為のＥＣＣ生成回路、読
み出しデータの検査及び訂正回路を内蔵し、キャッシュ
メモリパッケージ３全体で最大１ＧＢのキャッシュ容量
を実現しており、装置構成上は２面化して実装してい
る。

【００２７】キャッシュメモリ容量を更に増設する場合
は、キャッシュメモリパッケージ３の代わりに（また
は、キャッシュメモリパッケージ３に加えて）２２で示
すキャッシュポートパッケージを実装し、２３で示すプ
ラッタ（基板差し込み板）間接続ケーブルを介して２４
で示すキャッシュユニットに接続し、（すなわち、増設
ユニット２４内のキャッシュメモリには、キャッシュポ
ートパッケージ２２及びケーブル２３を介してアクセス
できるように構成され）、これによって、最大８ＧＢ２
面までキャッシュ容量を増設することができる。図２で
は、キャッシュメモリパッケージ２を２面設けたのに加
えて、キャッシュポートパッケージ２２を実装し、これ
にケーブル２４を介していくつかのキャッシュユニット
２４を接続した場合を示している。

【００２８】以上述べたホストアダプタ１、ディスクア
ダプタ２、キャッシュメモリパッケージ３はコモンバス
４を介してつながっているが、このコモンバス中、２５
は各アダプタのＭＰ１０が共有メモリをアクセスするた
めのマルチプロセッサバス（以下「Ｍバス」という）、
２６は高速データ転送を行う高速Ｉ／Ｏバス（以下「Ｆ
バス」という）である。

【００２９】高速Ｉ／Ｏバス２６は通常は６４ビット幅
で２系統同時に動作しているが、障害発生時はどちらか
１系統のみでの縮退動作が可能であり、またＭバス２５
に障害が発生した場合はＦバス２６のどちらか１系統を
使用して動作可能である。

【００３０】更に活線挿抜対応（挿抜の際、挿抜部品の
負荷を小さくして挿抜を行なうことで、システムを稼動
状態のまま挿抜を可能とする）のＢＴＬ９をコモンバス
４のインターフェイスにすることで、ホストアダプタ１
に障害が発生した場合、システムは自動的に本障害パス
を閉塞し他のホストアダプタのパスを用いてアレイディ
スク５に対し対上位（同じＣＰＵ）からのアクセスを継
続する。保守員は、システム稼働状態において障害の発
生したホストアダプタ１を取り除き、正常なホストアダ
プタ１をシステムに挿入し、２７の保守用プロセッサ
（以下「ＳＶＰ」という）から２８のＬＡＮを介して復
旧の指示を与え、システムは交換されたホストアダプタ
１の動作をチェックし正常であれば閉塞パスを復旧させ
ることにより、無停止運転を実現している。なお、図中
ＬＡＮＣは、ＬＡＮＣｏｎｔｒｏｌｌｅｒ（ＳＶＰイ
ンタフェースコントローラ）である。ＳＶＰ２７は、他
のホストアダプタ及びディスクアダプタにも同様に接続
され、監視及び保守が行なわれるようになっている。

【００３１】また、各アダプタの制御プログラムに変更
がある場合は、ＳＶＰ２７からＬＡＮ２８を介してブー
トデバイス１２内にある制御プログラムの内容を書き替
えることにより無停止のアップグレードが可能である。

【００３２】即ち、システムの制御プログラムをアップ
グレードを実施する場合は、まずホストアダプタ／ディ
スクアダプタの各モジュールを１モジュールずつ閉塞
し、制御プログラムのアップグレードを行い再接続す
る。以上のように１モジュールずつの制御プログラムの
入れ換え操作を繰り返すことにより、系全体の制御プロ
グラム入れ換えが実施される。

【００３３】図３は、図２に示した構成図に沿ってデー
タの流れとデータの保証を示した図である。

【００３４】上位からアレイディスクにデータを書き込
む場合、例えばＥＳＣＯＮ（光チャネルの商標名、ＩＢ
Ｍ社）から、先ず書き込み先の記憶空間上の物理アドレ
ス情報（以下「ＰＡ」という）が送られて来た後、デー
タ（ＣＫＤ（ＣｏｕｎｔＫｅｙＤａｔａ）フォーマ
ット）＋ＣＲＣコードが送られてくる。これらの光信号
は信号変換部６で電気信号に変換すると共にパリティを
生成し、フォーマット変換部７ではデータフォーマット
をＦＢＡ（ＦｉｒｅｄＢｌｏｃｋｅｄＡｒｃｈｉｔ
ｅｃｔｕｒｅ）フォーマットに変換すると共にＬＲＣ
（ＬｏｎｇｉｔｕｄｉｎａｌＲｅｄｕｎｄａｎｃｙ
Ｃｈｅｃｋ，長手方向冗長度チェック）コードを付加
し、更にＰＡをデータの一部として取り込んでアレイデ
ィスク上の論理アドレス（以下「ＬＡ」という）を生成
した後これら総ての情報に対してパリティを付加してＦ
バス２６に送られる。

【００３５】キャッシュパッケージ３では、Ｆバス２６
からのデータに対して誤り訂正可能なＥＣＣを付加して
キャッシュメモリ２０に書き込む。

【００３６】ディスクアダプタ２では、Ｆバスからのデ
ータに対して更にＣＲＣコードが付加され、該データＳ
ＣＳＩインターフェースを介してアレイディスク５に送
られ、磁気ディスク装置個々にＥＣＣを付加して書き込
みデータを保証している。

【００３７】アレイディスク５からのデータ読み出しに
おいても同様に、各チェックコードを元に読み出しデー
タの検査／訂正を行い信頼性を高めている。

【００３８】以上のように、チェックコードはデータの
長さ方向に対してはある長さ毎の水平チェック、データ
の垂直（幅）方向に対しては（例えばバイト単位の）垂
直チェックで２重化されており、また転送が行われる領
域間（図中一点鎖線）では当該２重化チェックコードの
うち１つを必ずデータとして受け渡すことによりデータ
保証に万全を期している。

【００３９】図４は図１で述べたスケーラビリティを実
現するための装置外観図であり、４１はアレイディスク
を制御する制御ユニット部、４２はアレイディスクを実
装するアレイユニット部で、本装置はこの２つのユニッ
トで構成される。

【００４０】図５は制御ユニット４１の実装図で（ａ）
は正面図、（ｂ）は側面図を表わす。５１はホストアダ
プタ１、ディスクアダプタ２、キャッシュメモリパッケ
ージ３を実装する論理架部、５２は停電時に揮発メモリ
であるキャッシュメモリ部に電源を供給するバッテリ
部、５３はキャッシュメモリ増設時にキャッシュユニッ
ト２４及び増設メモリ用の追加バッテリを実装するキャ
ッシュメモリ増設部、５４はＳＶＰ実装部、５５は論理
架に電源を供給する論理架用スイッチング電源、５６は
アレイディスクの構成（容量）が小規模の場合のアレイ
ディスク実装部、５７はアレイディスク部に電源を供給
するアレイディスク用スイッチング電源、５８は両スイ
ッチング電源５５、５７に電源を供給する商用電源制御
部である。

【００４１】図６は大容量アレイディスクを構成すると
きのアレイユニット部の実装図で（ａ）は正面図、
（ｂ）は側面図を表わす。

【００４２】アレイディスク実装部５６は、磁気ディス
ク装置を最大１１２台（８行ｘ７列ｘ２）実装可能であ
り、各磁気ディスク装置に障害が発生した場合の装置の
入れ替えを容易にするために、装置の正面と背面の両面
から挿抜可能となるような実装方式をとっている。

【００４３】６１はユニット全体の発熱を逃がすための
冷却ファンで、冷却効果を高めると共に、騒音抑止の観
点から小さな冷却ファンを使って小区分化し、床面より
天井へ送風する構造をとっている。

【００４４】図７は図５で説明した論理架部の接続方式
図である。

【００４５】７１はコモンバス４をプリント配線したプ
ラッタ（基板の挿し込み用の板）であり、７２は各アダ
プタ、パッケージとプラッタ７１を接続するためのコネ
クタである。

【００４６】ホストアダプタ１、ディスクアダプタ２、
キャッシュメモリパッケージ３の間のデータ転送はコモ
ンバス４を介して行うため、各アダプタ、パッケージは
コネクタ７２上の任意のどの位置でも接続可能となり、
ホストアダプタ１の実装数、ディスクアダプタ２の実装
数を自由に変えることができる。

【００４７】一方、キャッシュ容量を増設する場合はキ
ャッシュメモリパッケージ３をキャッシュポートパッケ
ージ２２に変えて実装するか、または図７に示すよう
に、キャッシュメモリパッケージ３に加えてキャッシュ
ポートパッケージ２１を実装し、これに、接続ケーブル
２３を介してキャッシュユニット４３（図２の２４に相
当）に接続することにより、もとの２ＧＢの容量に加え
て更に最大８ＧＢ２面分のキャッシュメモリ容量を拡張
できる。

【００４８】図８は図５で示した論理架部の実装イメー
ジ図である。

【００４９】図８で、コモンバス４は、プラッタ７１上
を左右方向にプリント配線されており、このプラッタ７
１に対して、キャッシュポートパッケージ２２の基板
（ＣＰ）の取付部、キャッシュメモリパッケージ３の基
板（Ｃ）の取付部、ホストアダプタモジュールの基板
（Ｈ）の取付部、及びディスクアダプタモジュールの基
板（Ｄ）の取付部が設けられ、図の矢印８４で示すよう
に、各基板は、挿抜操作面側から着脱されるようになっ
ていて、プラッタ７１に差し込まれるとコモンバス４と
電気接続されるものである。

【００５０】８１は、ホストアダプタ１の基板上の下方
部に実装されて、対上位インターフェイスを司る光コネ
クタ部、８２はディスクアダプタ２の基板上の下方部に
実装されて、アレイディスク５と接続するＳＣＳＩコネ
クタ部、８３はキャッシュポートパッケージ２２を実装
したときの接続ケーブル２３用の接続コネクタ部であ
る。８５は、キャシュメモリパッケージ３の基板（Ｃ）
の下方部に取付けたキャッシュメモリ本体（図２のキャ
ッシュメモリ２０）である。

【００５１】各コネクタ部は、障害発生等で各アダプ
タ、パッケージを挿抜する際の操作性を向上させるた
め、接続コネクタ８３を除き、操作面８４側へは実装せ
ず、プラッタ７１の接続側に集中実装している。

【００５２】図９は本発明のソフトウエア構成を示した
図である。

【００５３】９１はホストアダプタ１のブートデバイス
１２に書き込まれるチャネルアダプタ制御プログラム
（以下「ＣＨＰ」という），である。また、ディスクア
ダプタ２のブートデバイス１２に書き込まれるディスク
アダプタ制御プログラムのうち、９２はアレイディスク
固有の処理およびキャッシュメモリとアレイディスク間
のデータ転送制御を受け持つディスクアダプタマスタ制
御プログラム（以下「ＤＭＰ」という），９３はＤＭＰ
９２の制御管理下でキャッシュメモリ２０とアレイディ
スク５の間のデータ転送制御を受け持つディスクアダプ
タスレーブ制御プログラム（以下「ＤＳＰ」という）で
ある。

【００５４】ディスクアダプタ２のブートデバイス１２
には、ＤＭＰ９２とＤＳＰ９３の２種類が書き込まれて
いるが、装置構成上ｎセットのディスクアダプタでアレ
イディスクにアクセスする場合、そのうちの２セットが
ＤＭＰ９２として動作（２重化）し、残るｎ−２のディ
スクアダプタがＤＳＰ９３として動作する。

【００５５】９４はＳＶＰ２７に搭載するＳＶＰ制御プ
ログラムで、ＣＨＰ９１，ＤＭＰ９２，ＤＳＰ９３を監
視及び保守するとともに、各制御プログラムの更新時は
ＳＶＰ２７から更新したいＭＰの制御プログラムを直
接、または他のＭＰから当該ＭＰの制御プログラムを更
新することができる。

【００５６】図１０はデータの流れに基づいた図９で示
したソフトウエア構成の機能分担を示した図である。

【００５７】ＣＨＰ９１は、上位からのアドレス形式及
びデータ形式を下位アドレス形式及びデータ形式に変換
し、キャッシュメモリに書き込む。１０１はセグメン
ト、１０２はブロック、１０３はアレイディスク５上の
磁気ディスク１台当りに書き込むデータ量を表すストラ
イプである。ＤＭＰ９２は、キャッシュメモリ上からス
トライプ単位にデータを読み出し、下位アドレスをアレ
イディスクの行ＮＯ，列ＮＯ，ＦＢＡ，ブロック数に変
換し、ＤＳＰ９３でアレイディスクにデータを書き込
む。

【００５８】また、ＤＭＰ９２はアレイディスク５の構
成情報も管理している。

【００５９】以上のように、各制御プログラムを機能分
担することにより、上位インタフェースをＳＣＳＩやフ
ァイバーチャネル等に変更する場合はＣＨＰ９１のみ、
またアレイディスク構成を変更（ディスクの行数／列
数、ＲＡＩＤ（ＲｅｄｕｎｄａｎｔＡｒｒａｙＩｎ
ｅｘｐｅｎｓｉｖｅＤｉｓｋ）方式等）する場合はＤ
ＭＰ９２のみの変更で対応可能であり、ホストアダプタ
１、ディスクアダプタ２の接続変更に合わせて各制御プ
ログラムを書き替えることで、スケーラビリティを実現
するとともに、ソフトウエア開発の負荷も軽減してい
る。

【００６０】図１１はコモンバス４の２重化の考え方と
縮退動作を説明した図である。

【００６１】１１１はコモンバス４の使用権を獲得する
ことのできるバスマスタ（ＭＰ１０を搭載しているホス
トアダプタ１又はディスクアダプタ２）、１１２はバス
マスタ１１１からのアクセス要求を受けるバススレーブ
（キャッシュメモリパッケージ）である。

【００６２】Ｆバス２６は通常動作状態では６４ビット
バス（２００ＭＢ／Ｓ）２系統を同時に動作させ４００
ＭＢ／Ｓを実現しており、各バス系統はパリティチェッ
ク又はタイムアウトで障害を検出可能である。障害発生
時はバスマスタ１１１は各自縮退状態に入り、残る１系
統を使ってバススレーブをアクセスすると共に、この時
の縮退情報は共有メモリ１８上の管理エリアに登録され
る。

【００６３】またコモンバス内のシステム制御信号（バ
スリセット等）は信号線を３重化しており、通常動作時
は３線一致、縮退動作時は２線一致（多数決）方式を採
用することにより信頼性を高めている。

【００６４】図１２は装置各部位における多重化と縮退
運転を示した図である。

【００６５】１２１は２ポート化されたチャネルパスで
あり、ホストアダプタ１にはチャネルアダプタ２９が２
モジュール、対上位用のチャネルパスが４パス実装して
おり、障害発生時は交替チャネルアダプタ（ＣＨＰ）、
交替チャネルパスを使用して縮退運転に入る。

【００６６】１２２はディスクアダプタ２とアレイディ
スク５の間のインタフェースを司るＳＣＳＩパスで、１
行の磁気ディスク群に対して別のディスクアダプタ２か
らもアクセス可能なように２重化しており、当パスに障
害が発生した場合は交替ＳＣＳＩパスを使用して縮退運
転に入る。また、アレイディスクマスタ制御を行うＤＭ
Ｐ９２も２重化しており、障害発生時は交替ＤＭＰ９２
を使用して縮退運転に入る。

【００６７】共有メモリ１８、キャッシュメモリ２０も
２重化しており、共有メモリに障害が発生した場合は残
るもう一方の使用して縮退運転に入り、キャッシュメモ
リに障害が発生した場合はライトペンディングデータ
（キャッシュメモリ上に残っているデータ）をディスク
にデステージし障害発生メモリ部位を除いたメモリで縮
退運転を行う。

【００６８】アレイディスク５上の磁気ディスクに障害
が発生した場合は、当該磁気ディスクを切り離し予備の
磁気ディスクに修復しながら読み出し書き込み動作を行
う。図１３は装置の電源系の多重化と縮退運転を示した
図である。

【００６９】商用電源制御部５８は各々独立したＡＣ入
力で２重化して、論理架用スイッチング電源５５及びア
レイディスク用スイッチング電源５７にそれぞれ供給し
ているため、障害発生時はもう片方の商用電源制御部５
８で縮退運転に入る。

【００７０】１３１は上位ホストからの電源ＯＮ／ＯＦ
Ｆの遠隔制御や商用電源制御部５８、両スイッチング電
源等の電源回路を制御する電源制御回路（以下「ＰＣ
Ｉ」という）である。

【００７１】論理架用スイッチング電源５５は冗長運転
用として必要数より２回路多く実装し電源コモンバスを
介して論理架５１及びバッテリ５２に供給することによ
り、当スイッチング電源５５が２回路故障しても動作可
能である。

【００７２】同様に列単位の磁気ディスク群に供給する
にアレイディスク用スイッチング電源５７も、冗長運転
用として２回路多く実装し電源コモンバスを介して供給
することにより、当スイッチング電源５７が２回路故障
しても動作可能であり、さらに両スイッチング電源５
５、５７を２重化するよりも安価な構成に仕上げること
ができる。

【００７３】また停電時においては、２重化されたバッ
テリ５２から電源コモンバスを介して論理架内の揮発メ
モリであるキャッシュメモリ及びＰＣＩ１３１に供給さ
れ、片方のバッテリが故障しても動作可能である。

【００７４】図１４及び図１５はアレイディスクに使用
する磁気ディスク装置単体の記憶容量別にアレイディス
クを構成したときのシステム性能を比較した図である。

【００７５】図１４はそれぞれ異なる磁気ディスク装置
を使用して同一容量のアレイディスクを実現した場合の
構成を示しており、項番１４１が３ＧＢの磁気ディスク
装置（３．５インチ径のディスクを使用）、項番１４２
が４．０ＧＢの磁気ディスク装置（５インチ径のディス
クを使用）、項番１４３が８．４ＧＢの磁気ディスク装
置（６．４インチ径のディスクを使用）を使用してい
る。アレイ構成は、ディスク装置１４１が１４枚のデー
タディスクの２枚のパリティディスク、ディスク装置１
４２が１４枚のデータディスクと４枚のパリティディス
ク、ディスク装置１４３が１４枚のデータディスクと２
枚のパリティディスクで構成した場合である。

【００７６】図１５は各磁気ディスク装置１４１、１４
２、１４３についての毎秒当りのＩ／Ｏ命令発行件数と
平均応答時間の関係を示しており、アレイディスクシス
テムとしてのトランザクション性能を向上させるために
は、小容量（小径）の磁気ディスク装置を使用してアレ
イ構成を大きくすることが最も性能を引き出せることか
ら、本発明に於ては３．５インチ磁気ディスク装置１４
１を採用してアレイディスクシステムを実現している。
従って、同じ記憶容量の磁気ディスク装置を、従来のよ
うに大形磁気ディスク装置１台で構成するのと、複数台
の小形磁気ディスク装置のアレイで構成するのとでは、
後者の小形磁気ディスク装置を多数用いたアレイ構成の
ものの方が、平均アクセスタイムを短縮できる点で有利
である。

【００７７】以上説明してきたスケーラブルなアーキテ
クチャを使用して実現できる装置モデル構成例を図１６
〜図１９にしめす。

【００７８】図１６は、コモンバス４上のディスクアダ
プタ２の実装数を減らし、更にキャッシュポートパッケ
ージ２２を実装し、接続ケーブル２３を介してキャッシ
ュユニット２４に接続することにより、キャッシュヒッ
ト率の高める高性能大容量キャッシュメモリ付小形ディ
スクアレイを実現した時の構成図である。

【００７９】またディスクアダプタ２を実装しないで、
ホストアダプタ１とキャッシュメモリのみで構成した場
合（図中の破線内の構成）は、記憶媒体が磁気ディスク
から半導体メモリに代わり、更に高速データ転送可能な
高性能の半導体ディスク装置を実現する。

【００８０】図１７はディスクアダプタ２を最大構成と
し、キャッシュパッケージ３を実装し又はキャッシュポ
ート２２を実装し接続ケーブル２３を介してキャッシュ
ユニットを接続することにより、高性能大容量キャッシ
ュメモリ付大形ディスクアレイを実現した時の構成図で
ある。

【００８１】図１８はホストアダプタ１の対上位インタ
ーフェースをＳＣＳＩ／ファイバーチャネル等のインタ
ーフェースに変えて、ディスクアダプタ２の実装数を減
らし、更にＦバス２６のビット幅を半分に縮小した２系
統で構成することにより、オープン市場をターゲットに
した無停止運転の高性能フォールトトレラント（高信頼
性）サーバシステムを実現した時の構成図である。

【００８２】図１９は図１８の構成を元に２重化、活線
挿抜を考慮せずに、最もシンプルな構成をとることによ
って安価なオープン市場向けのサーバシステムを実現し
た時の構成図である。なお、図中、４Ｄ＋１Ｐは、デー
タディスク４枚とパリティディスク１枚の趣旨である。

【００８３】以上の実施例において、コモンバス４上
に、更に光ディスクアダプタ（光ディスク用接続論理モ
ジュール）を介して光ディスク装置を接続し、磁気テー
プ制御装置（磁気ディスク接続論理モジュール）を介し
て磁気テープ装置を接続し、あるいは半導体記憶装置接
続論理モジュールを介して半導体記憶装置を接続するこ
とができる。また、コモンバス４上に別の形式のホスト
アダプタを介してワークステーションを接続することも
できる。このように、コモンバス上に、種々の形式の記
憶装置に対する記憶媒体アダプタを接続することができ
る。

【００８４】

【発明の効果】以上詳しく説明したように、本発明によ
れば、上位装置に対するインタフェースを構成する複数
の上位側接続論理装置と、記憶装置と、前記記憶装置に
対するインタフェースを構成する複数の記憶装置側接続
論理装置と、これらの装置間で転送されるデータを一時
記憶するキャッシュメモリ装置（複数の上位側接続論理
装置及び複数の記憶装置側接続論理装置に共有されるキ
ャッシュメモリ装置）とを有する記憶システムにおい
て、前記複数の上位装置側接続論理装置，複数の記憶装
置側接続論理装置，及びキャッシュメモリ装置は、これ
らの装置に共有されるコモンバスにより相互に接続され
るように構成したので、上位側接続論理装置と記憶装置
側接続論理装置とキャッシュメモリの増設または変更
は、単にコモンバス上にこれらの装置等を追加しまたは
変更して行くだけでよく、増設によるアップグレードが
容易に達成できスケーラブルなシステム構成を得ること
ができる。また、これらの上位側接続論理装置，記憶装
置側接続論理装置及びキャッシュメモリ装置は、モジュ
ール化されて、コモンバスの配設されたプラッタに挿抜
（着脱）自在に取り付けるようにしたので、これらの装
置の必要な数量の増設作業も簡単であるという効果があ
る。

【００８５】また、上位側接続論理装置，記憶装置側接
続論理装置、キャッシュメモリ装置，及びこれらの間を
接続するコモンバスは、二重化され、２系統に分けて配
線されているので、これらの装置の一方に障害が発生し
たときでも、他方の装置を用いて縮退運転が可能であ
る。この場合、上位側接続論理装置，記憶装置側接続論
理装置，及びキャッシュメモリ装置は、いずれも活線挿
抜対応のコネクタ部を具備しているので、システムを停
止することなく保守点検を行なって故障部品の交換を行
なったり、増設用の部品を追加したりすることが可能で
あるという効果がある。

【００８６】更に、記憶装置は、複数の小形記憶装置を
組み合わせたアレイ形とされ、これにより従来の大形デ
ィスク装置１台を用いたものに比べてアクセスタイムを
短縮できるという効果がある。

【００８７】また、キャッシュメモリ装置は、コモンバ
スに直接取り付けられるキャッシュメモリモジュール
（キャッシュメモリパッケージ）と、増設用のキャッシ
ュユニットとで構成され、増設用のキャッシュユニット
は、コモンバスに直接挿抜自在に取り付けられる増設用
のキャッシュポートパッケージを介して必要数接続され
るようになっているので、簡単に増減することができる
という効果も得られる。

【００８８】以上により、高信頼性の記憶システムを得
ることができる。

【図面の簡単な説明】

【図１】本発明の実施例の概要を示す概念図である。

【図２】本発明の一実施例の記憶システムの詳細な構成
図である。

【図３】図２の構成図に沿ったデータの流れとデータ形
式を示した図である。

【図４】本発明の一実施例の装置外観図である。

【図５】本発明の一実施例の装置における制御ユニット
部の実装方式図である。

【図６】本発明の一実施例の装置におけるアレイディス
クユニット部の実装方式図である。

【図７】本発明の一実施例の装置における論理架部の接
続方式図である。

【図８】本発明の一実施例の装置における論理架部の実
装方式図である。

【図９】本発明の実施例に適用されるソフトウエア構成
図である。

【図１０】本発明の実施例によるデータの流れとソフト
ウエアの機能分担を示した図である。

【図１１】本発明の実施例によるコモンバスの２重化と
縮退動作を示した図である。

【図１２】本発明の実施例による装置各部位の２重化と
縮退運転を示した図である。

【図１３】本発明の実施例による装置の電源系の多重化
と縮退運転を示した図である。

【図１４】アレイディスクに使用する磁気ディスク装置
単体のディスク構成を示す図である。

【図１５】磁気ディスク装置の記憶容量とアレイディス
クのシステム性能を示した図である。

【図１６】高性能大容量キャッシュメモリ付小形ディス
クアレイの構成図である。

【図１７】高性能大容量キャッシュメモリ付大形ディス
クアレイの構成図である。

【図１８】高性能フォールトトレラントサーバシステム
の構成図である。

【図１９】低価格サーバシステムの構成図である。

【図２０】従来の記憶システムの概略構成図である。

【符号の説明】

１ホストアダプタ２ディスクアダプタ３キャッシュメモリパッケージ４コモンバス５アレイディスク１８共有メモリ２０キャッシュメモリ２２キャッシュポートパッケージ２４増設キャッシュユニット２５マルチプロセッサバス２６高速Ｉ／Ｏバス

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成１３年８月１０日（２００１．８．１
０）

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】特許請求の範囲

【補正方法】変更

【補正内容】

【特許請求の範囲】

【手続補正２】

【補正対象書類名】明細書

【補正対象項目名】０００６

【補正方法】変更

【補正内容】

【０００６】

【課題を解決するための手段】前記課題を解決するため
に、本発明は主として次のような構成を採用する。上位
装置に接続され、前記上位装置に対するインタフェース
を構成する複数の上位側接続論理装置と、前記上位装置
から転送される情報を記憶する記憶装置と、前記記憶装
置に接続され、前記記憶装置に対するインタフェースを
構成する複数の記憶装置側接続論理装置と、前記上位側
接統論理装置と前記記憶装置側接続論理装置との間で転
送されるデータを一時的に記憶するキャッシュメモリを
有するキャッシュメモリ装置と、前記上位側接続論理装
置と前記記憶装置側接続論理装置と前記キャッシュメモ
リに接続され、前記上位側接続論理装置と前記記憶装置
側接続論理装置と前記キャッシュメモリとの間のデータ
転送を行う２系統のＩ／Ｏバスと、を有する記憶システ
ムであって、前記２系統のＩ／Ｏバスは、通常は２系統
を同時に動作させて異なるデータを転送し、前記２系統
のＩ／Ｏバスのうち１系統のＩ／Ｏバスに障害が発生し
た場合、残りの１系統のＩ／Ｏバスでデータ転送を行う
記憶システム。

───────────────────────────────────────────────────── フロントページの続き (72)発明者黒沢弘幸神奈川県小田原市国府津2880番地株式会社日立製作所ストレージシステム事業部内 (72)発明者高橋直也神奈川県小田原市国府津2880番地株式会社日立製作所ストレージシステム事業部内 (72)発明者井上靖雄神奈川県小田原市国府津2880番地株式会社日立製作所ストレージシステム事業部内 (72)発明者岩崎秀彦神奈川県小田原市国府津2880番地株式会社日立製作所ストレージシステム事業部内 (72)発明者星野政行神奈川県小田原市国府津2880番地株式会社日立製作所ストレージシステム事業部内 (72)発明者磯野聡一神奈川県小田原市国府津2880番地株式会社日立製作所ストレージシステム事業部内Ｆターム(参考） 5B065 BA01 BA03 BA05 CA11 CE11

Claims

【特許請求の範囲】

【請求項１】上位装置に接続され、前記上位装置に対
するインタフェースを構成する第１の接続論理装置と、上位装置から転送される情報を記憶する記憶装置と、前記記憶装置に接続され、前記記憶装置に対するインタ
フェースを構成する第２の接続論理装置と、前記第１の接続論理装置と前記第２の接続論理装置との
間で転送されるデータを一時的に記憶する第１のメモリ
装置と、前記第１の接続論理装置、前記第２の接続論理装置及び
前記第１のメモリ装置のために制御情報を記憶する第２
のメモリ装置と、前記第１の接続論理装置と前記第２の接続論理装置と前
記第２のメモリ装置とに接続され、制御情報の転送を行
う第１のバスと、前記第１の接続論理装置と前記第２の
接続論理装置と前記第１のメモリ装置と前記第２のメモ
リ装置とに接続され、前記第１の接続論理装置と前記第
２の接続論理装置と前記第１のメモリ装置との間のデー
タ転送を行う複数の第２のバスとを含むコモンバスと、を有する記憶システムであって、前記第１のバスに障害が生じた場合、前記複数の第２の
バスのうちの１つの第２のバスで制御情報の転送を行
い、残りの第２のバスでデータ転送を行うことを特徴と
する記憶システム。