JP2003345530A

JP2003345530A - 記憶システム

Info

Publication number: JP2003345530A
Application number: JP2003176520A
Authority: JP
Inventors: Tatsuya Ninomiya; 龍也二宮; Hidefumi Masuzaki; 秀文増崎; Hiroyuki Kurosawa; 弘幸黒沢; Naoya Takahashi; 直也高橋; Yasuo Inoue; 靖雄井上; Hidehiko Iwasaki; 秀彦岩崎; Masayuki Hoshino; 政行星野; Soichi Isono; 聡一磯野
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2003-06-20
Filing date: 2003-06-20
Publication date: 2003-12-05
Anticipated expiration: 2021-02-01
Also published as: JP3742405B2

Abstract

(57)【要約】【課題】大型計算機の記憶システムで、システム規模
を容易に拡張変更でき、システムの縮退及び活線挿抜に
よる保守を可能とすること。【解決手段】上位ＣＰＵと接続される複数のホストア
ダプタ１と、アレイディスク５と接続される複数のディ
スクアダプタ２と、これらのアダプタに共用される一時
記憶用キャッシュメモリ３とは、これらアダプタ及びキ
ャッシュメモリに共用されるコモンバス４（マルチプロ
セッサバス２５と高速Ｉ／Ｏバスからなる）上に挿抜自
在に取り付けられる。規模を拡大するには、必要な数だ
けこれらアダプタ１，２及びキャッシュメモリ３を付加
するだけでよい。アダプタ１，２キャッシュメモリ及び
コモンバスは二重化され、障害時の縮退運転を可能と
し、ホストアダプタの変換部で上位ＣＰＵからのフォー
マットをアレイディスク用フォーマットに変換してデー
タ保証をすること。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、大形計算機システ
ムやネットワークシステム等に接続される磁気ディスク
装置，磁気テープ装置，半導体記憶装置，または光ディ
スク装置等の記憶装置を制御する記憶制御装置を含む記
憶システムに係り、特に、システムの拡張性が高く縮退
運転や活線挿抜対応の可能な記憶システムに関する。

【０００２】

【従来の技術】従来、大形計算機に接続される記憶シス
テムとして、例えば特開昭６１−４３７４２号公報に記
載されているように、上位装置（ＣＰＵ）に対するイン
タフェース（ホストアダプタ），キャッシュメモリ，及
び磁気ディスク装置等の記憶装置に対するインタフェー
ス（ディスクアダプタ）の相互間をホットライン（専用
線）で接続しているものが知られている。

【０００３】図２０は、従来の記憶システムの構成の概
要を示す図である。同図において、２０１−１〜２０１
ｎはそれぞれ複数の上位ホスト（ＣＰＵ）に接続される
ホストアダプタ（対上位論理モジュール）、２０２−１
〜２０２−ｎは、共有の大形ディスク装置２０５に接続
されるディスクアダプタ（記憶媒体接続用論理モジュー
ル）、２０３は、複数のホストアダプタに共有のキャッ
シュメモリ、２０６は同様に共有の管理メモリである。
従来装置では、各ホストアダプタ２０１−１〜２０１−
ｎとキャッシュメモリ２０３の間、キャッシュメモリ２
０３と各ディスクアダプタ２０２−１〜２０２−ｎの
間、各ホストアダプタ２０１−１〜２０１−ｎと管理メ
モリ２０６の間、並びに管理メモリ２０６と各ディスク
アダプタ２０１−２〜２０１−ｎの間は、それぞれ別々
のホットライン２０７−１〜２０７−ｎ及び２０８−１
〜２０８−ｎによって接続されている。また、これらの
ホストアダプタ及びディスクアダプタの監視及び保守を
行なう保守用プロセッサ（ＳＶＰ，図示せず）も各々の
ホストアダプタ及びディスクアダプタにそれぞれ専用線
を介して接続されている。

【０００４】

【発明が解決しようとする課題】上記従来技術では、上
位装置に対するホストアダプタ（対上位接続論理モジュ
ール）と、記憶装置に対するディスクアダプタ（対記憶
媒体接続論理モジュール）と、キャッシュメモリ（キャ
ッシュメモリモジュール）との各間がホットラインで接
続されているため、装置構成が複雑になると共に、ホス
トアダプタ、キャッシュメモリ、ディスクアダプタ、デ
ィスク装置等、装置としての拡張性に乏しくいわゆるス
ケーラブル（拡張及び縮小自在）なシステム構成が得ら
れなかった。また、システムを多重化することにより障
害発生時等に縮退運転（２台のうち１台を停止し他の１
台だけで運転するなど）や活線挿抜対応（システムを動
作したままで基板や回路の部品等を挿しかえるなど）を
可能とすることがなにも配慮されておらず、このため、
障害発生時の部品交換やシステムの制御プログラムをグ
レードアップするときには、システムを一時停止し対応
しなければならない等の問題があった。

【０００５】従って、本発明の目的は、上記従来技術の
問題点を解決し、コモンバス方式を採用することによ
り、システム構成（規模）に応じてホストアダプタ，記
憶装置アダプタ等の各論理モジュールやキャッシュメモ
リ及び記憶媒体を接続することでスケーラブルなシステ
ムを実現することができるようにすると共に、各論理モ
ジュール，記憶媒体及びコモンバスの多重化により、縮
退運転と各論理モジュール及び記憶媒体の活線挿抜対応
とを可能とし、無停止で保守するとともに、ホストアダ
プタの変換部で上位装置からのフォーマットを記録装置
用フォーマットに変換してデータ保証をすることができ
る記憶システムを提供することにある。

【０００６】

【課題を解決するための手段】前記課題を解決するため
に、本発明は主として次のような構成を採用する。

【０００７】上位装置に接続され、前記上位装置に対す
るインタフェースを構成する上位側接続論理装置と、前
記上位装置から転送される情報を記憶する記憶装置と、
前記記憶装置に接続され、前記記憶装置に対するインタ
フェースを構成する記憶装置側接続論理装置と、前記上
位側接続論理装置と前記記憶装置側接続論理装置との間
で転送されるデータを一時的に記憶するキャッシュメモ
リ部と、前記上位側接続論理装置及び前記記憶装置側接
続論理装置及び前記キャッシュメモリ部のために制御情
報を記憶する共有メモリ部と、を有する記憶システムで
あって、この記憶システムは、前記上位側接続論理装置
と前記記憶装置側接続論理装置と前記共有メモリとに接
続され、制御情報の転送を行う制御情報用バスと、前記
上位側接続論理装置と前記記憶装置側接続論理装置と前
記キャッシュメモリ部と前記共有メモリ部とに接続さ
れ、前記上位側接続論理装置と前記記憶装置側接続論理
装置と前記キャッシュメモリ部との間のデータ転送を行
うデータ転送用バスと、からなる二重化されたコモンバ
スと、前記上位装置のデータフォーマットを前記記憶装
置用のデータフォーマットに変換するフォーマット変換
部と、を含み、前記フォーマット変換部は、前記上位装
置からのデータのフォーマット変更をおこなった後に前
記データ転送用バスを介して前記キャッシュメモリ部に
変更後のデータを書き込む構成とする。

【０００８】また、上位装置に接続され、前記上位装置
に対するインタフェースを構成する上位側接続論理装置
と、前記上位装置から転送される情報を記憶する記憶装
置と、前記記憶装置に接続され、前記記憶装置に対する
インタフェースを構成する記憶装置側接続論理装置と、
前記上位側接続論理装置と前記記憶装置側接続論理装置
との間で転送されるデータを一時的に記憶するキャッシ
ュメモリ部と前記上位側接続論理装置及び前記記憶装置
側接続論理装置及び前記キャッシュメモリ部を制御する
制御情報を記憶する共有メモリ部と、前記上位側接続論
理装置と前記記憶装置側接続論理装置と前記キャッシュ
メモリ部と前記共有メモリ部と、に接続される二重化さ
れたコモンバスと、を有する記憶システムであって、こ
の記憶システムは、前記上位装置接続論理装置は、前記
上位装置からのデータフォーマットを前記記憶装置用の
データフォーマットに変換するフォーマット変換部と、
を含み、前記フォーマット変換部は、前記上位装置から
のデータのフォーマット変更をおこなった後に前記コモ
ンバスを介して前記キャッシュメモリ部に変更後のデー
タを書込む構成とする。

【０００９】

【発明の実施の形態】以下に、本発明の実施例を図面の
図１から図１８により説明する。

【００１０】図１は本発明の概念図を示す。図１によ
り、本実施例の概要を説明する。

【００１１】１は、対上位ＣＰＵ（ホスト）接続用論理
モジュールであるホストアダプタ部、２は、対記憶媒体
接続用論理モジュールであるディスクアダプタ部、３
は、両モジュール間で転送されるデータを一時記憶する
キャッシュメモリパッケージ（キャッシュメモリモジュ
ール）、４はホストアダプタ１、ディスクアダプタ２、
キャッシュメモリパッケージ３の間のデータ転送制御を
司るコモンバス、５は、縦横にアレイ状に配置した記憶
媒体である磁気ディスク群（以下「アレイディスク」と
いう）である。ホストアダプタ１は、上位インタフェー
ス側のデータ形式及びアドレス形式を記憶媒体インタフ
ェース用のデータ形式及びアドレス形式に変換する手段
と、これらを制御管理する二重化したマイクロプロセッ
サとを有している。ディスクアダプタ２は、記憶媒体へ
データを格納するためのアドレス演算機能と、記憶デー
タ保証用冗長データの生成機能と、記憶媒体構成情報を
認識する機能と、これらを制御管理するマイクロプロセ
ッサとを有している。

【００１２】図１において、上位装置（ＣＰＵ）から送
られてきた書き込みデータは、ホストアダプタ１からコ
モンバス４を介して一度キャッシュメモリパッケージ３
に書き込むことにより上位に終了報告を行い、その後の
空き時間でキャッシュメモリパッケージ３からディスク
アダプタ２を経由してアレイディスク５に書き込む。

【００１３】また、上位装置からのデータ読み出し命令
に対しては、キャッシュメモリパッケージ３上にデータ
が存在する場合はアレイディスク５からは読み出さず、
キャッシュメモリパッケージ３上のデータを上位装置に
転送する。一方キャッシュメモリパッケージ３上にデー
タが存在しない場合は、アレイディスク５からディスク
アダプタ２によりコモンバス４を経由して一度キャッシ
ュメモリパッケージ３に書き込まれた後同様にホストア
ダプタ１を経由して上位装置へ転送する。

【００１４】コモンバス４上のホストアダプタ１、ディ
スクアダプタ２、キャッシュメモリパッケージ３各々は
その接続数を任意に変えることができる。ホストアダプ
タ１の実装数を変えれば対上位接続パス数が変化し、上
位ホストに対するデータ転送力を高めることができる。
ディスクアダプタ２の実装数を変えれば記憶媒体に対す
る接続パス数が変化し、記憶媒体に対するデータの書き
込み／読み出しの転送能力を高めることができる。ま
た、同時に記憶媒体の数も増加することができる。キャ
ッシュメモリパッケージ３の実装数を変えればデータの
一時格納場所であるキャッシュメモリの容量が変化し、
記憶媒体の総容量に対するキャッシュメモリの容量の比
率を高めることができるので、対上位装置からアクセス
するデータがキャッシュメモリ上に存在する確率（以下
「キャッシュヒット率」という）を高める等スケーラブ
ルな装置構成を実現できる。

【００１５】図２は、図１の概念図の詳細な構成図を示
したものである。図２は、図１の複数台のホストアダプ
タ及び複数台のディスクアダプタのうち、それぞれ１台
だけを示し、他は図示を省略している。

【００１６】ホストアダプタ１において、６はホストイ
ンターフェイスの光信号を電気信号に変換する信号変換
部、７は上位データフォーマットをアレイディスク５用
フォーマットに変換するフォーマット変換部である。８
はコモンバス４とのデータの授受を司るデータ転送制御
部で、内部にパケット転送単位のデータを格納する記憶
バッファを内蔵している。９は活線挿抜対応可能な小振
幅電流駆動形バスドライバ（以下「ＢＴＬ」という）で
ある。

【００１７】ホストからのデータ転送要求は１０のマイ
クロプロセッサ（以下「ＭＰ」という）に引継がれ、ホ
ストアダプタ１内のデータ転送制御は当ＭＰ１０の管理
下で行われる。

【００１８】ＭＰ１０はＭＰ内の障害発生を検出するな
ど高信頼性を確保するために２重化されており、１１の
チェッカ部で同じ動作をする２重化されたＭＰ１０とＭ
Ｐ１０’を比較チェックしている。

【００１９】１２はＭＰ１０の制御プログラムを格納す
るブートデバイスで、このブートデバイス１２には書き
替え可能な大容量フラッシュメモリを採用しており、ま
たＭＰ１０は必要に応じて１３のローカルメモリに制御
プログラムをコピーして使用することにより、ＭＰ１０
のメモリアクセス時間の高速化を実現しており、図中破
線で囲まれた部分２９がチャネルアダプタモジュールで
あり、ホストアダプタ１には当モジュール２９が２回路
搭載してある。

【００２０】ディスクアダプタ２において、１４はアレ
イディスクに書き込むデータをセクタ単位に格納するバ
ッファメモリ、１５はバッファメモリ１４の制御及びデ
ータ転送制御を行なうデータ制御バッファ部、１６はア
レイディスク５に書き込むデータを保証するための冗長
データを生成する冗長データ生成部、１７はアレイディ
スク５（ターゲット）に対するイニシエータ（ＳＣＳＩ
のマスタ側インタフェース）である。

【００２１】またディスクアダプタ２内のデータ転送制
御は、ホストアダプタ１と同じ構成をとるＭＰ周辺部
（ＭＰ１０，ＭＰ１０’，チェッカ１１、ブートデバイ
ス１２、ローカルメモリ１３からなりディスクアダプタ
用の制御プログラムを搭載する）の管理下で行なわれ
る。

【００２２】アレイディスク５は、図２では４つのディ
スク（ターゲット）しか示してないが、実際には１台の
ディスクアダプタ２に対し例えば４（横）×４（縦）〜
４（横）×７（縦）つのディスクで構成される。横列は
ＥＣＣグループ（ＥｒｒｏｒＣｏｒｒｅｃｔｉｏｎＧ
ｒｏｕｐ）を構成し、各ＥＣＣグループは例えば３つの
データディスクと１つのパリティディスクで構成され
る。更に、後述のように、このようなアレイディスク５
の１組に対し、二重化されたホストアダプタト二重化さ
れたホストアダプタと二重化されたディスクアダプタを
通じて、あるＣＰＵからアクセスできるようになってい
る。そして、ホストアダプタの一方に障害が発生したと
きには、ホストアダプタの他方もしくはディスクアダプ
タの他方を通じて、同じＣＰＵから同じアレイディスク
にアクセスすることができる。

【００２３】キャッシュメモリパッケージ３において、
１８は各アダプタのＭＰ１０が共通にアクセス可能で種
々の管理情報を記憶する共有メモリ部、１９は共有メモ
リ制御部、２０はキャッシュメモリ部、２１はキャッシ
ュメモリ制御部であり、両メモリ制御部１９、２１は共
にメモリ書き込みデータ保証の為のＥＣＣ生成回路、読
み出しデータの検査及び訂正回路を内蔵し、キャッシュ
メモリパッケージ３全体で最大１ＧＢのキャッシュ容量
を実現しており、装置構成上は２面化して実装してい
る。

【００２４】キャッシュメモリ容量を更に増設する場合
は、キャッシュメモリパッケージ３の代わりに（また
は、キャッシュメモリパッケージ３に加えて）２２で示
すキャッシュポートパッケージを実装し、２３で示すプ
ラッタ（基板差し込み板）間接続ケーブルを介して２４
で示すキャッシュユニットに接続し、（すなわち、増設
ユニット２４内のキャッシュメモリには、キャッシュポ
ートパッケージ２２及びケーブル２３を介してアクセス
できるように構成され）、これによって、最大８ＧＢ２
面までキャッシュ容量を増設することができる。図２で
は、キャッシュメモリパッケージ２を２面設けたのに加
えて、キャッシュポートパッケージ２２を実装し、これ
にケーブル２４を介していくつかのキャッシュユニット
２４を接続した場合を示している。

【００２５】以上述べたホストアダプタ１、ディスクア
ダプタ２、キャッシュメモリパッケージ３はコモンバス
４を介してつながっているが、このコモンバス中、２５
は各アダプタのＭＰ１０が共有メモリをアクセスするた
めのマルチプロセッサバス（以下「Ｍバス」という）、
２６は高速データ転送を行う高速Ｉ／Ｏバス（以下「Ｆ
バス」という）である。

【００２６】高速Ｉ／Ｏバス２６は通常は６４ビット幅
で２系統同時に動作しているが、障害発生時はどちらか
１系統のみでの縮退動作が可能であり、またＭバス２５
に障害が発生した場合はＦバス２６のどちらか１系統を
使用して動作可能である。

【００２７】更に活線挿抜対応（挿抜の際、挿抜部品の
負荷を小さくして挿抜を行なうことで、システムを稼動
状態のまま挿抜を可能とする）のＢＴＬ９をコモンバス
４のインターフェイスにすることで、ホストアダプタ１
に障害が発生した場合、システムは自動的に本障害パス
を閉塞し他のホストアダプタのパスを用いてアレイディ
スク５に対し対上位（同じＣＰＵ）からのアクセスを継
続する。保守員は、システム稼働状態において障害の発
生したホストアダプタ１を取り除き、正常なホストアダ
プタ１をシステムに挿入し、２７の保守用プロセッサ
（以下「ＳＶＰ」という）から２８のＬＡＮを介して復
旧の指示を与え、システムは交換されたホストアダプタ
１の動作をチェックし正常であれば閉塞パスを復旧させ
ることにより、無停止運転を実現している。なお、図中
ＬＡＮＣは、ＬＡＮＣｏｎｔｒｏｌｌｅｒ（ＳＶＰイ
ンタフェースコントローラ）である。ＳＶＰ２７は、他
のホストアダプタ及びディスクアダプタにも同様に接続
され、監視及び保守が行なわれるようになっている。

【００２８】また、各アダプタの制御プログラムに変更
がある場合は、ＳＶＰ２７からＬＡＮ２８を介してブー
トデバイス１２内にある制御プログラムの内容を書き替
えることにより無停止のアップグレードが可能である。

【００２９】即ち、システムの制御プログラムをアップ
グレードを実施する場合は、まずホストアダプタ／ディ
スクアダプタの各モジュールを１モジュールずつ閉塞
し、制御プログラムのアップグレードを行い再接続す
る。以上のように１モジュールずつの制御プログラムの
入れ換え操作を繰り返すことにより、系全体の制御プロ
グラム入れ換えが実施される。

【００３０】図３は、図２に示した構成図に沿ってデー
タの流れとデータの保証を示した図である。

【００３１】上位からアレイディスクにデータを書き込
む場合、例えばＥＳＣＯＮ（光チャネルの商標名、ＩＢ
Ｍ社）から、先ず書き込み先の記憶空間上の物理アドレ
ス情報（以下「ＰＡ」という）が送られて来た後、デー
タ（ＣＫＤ（ＣｏｕｎｔＫｅｙＤａｔａ）フォーマ
ット）＋ＣＲＣコードが送られてくる。これらの光信号
は信号変換部６で電気信号に変換すると共にパリティを
生成し、フォーマット変換部７ではデータフォーマット
をＦＢＡ（ＦｉｒｅｄＢｌｏｃｋｅｄＡｒｃｈｉｔ
ｅｃｔｕｒｅ）フォーマットに変換すると共にＬＲＣ
（ＬｏｎｇｉｔｕｄｉｎａｌＲｅｄｕｎｄａｎｃｙ
Ｃｈｅｃｋ，長手方向冗長度チェック）コードを付加
し、更にＰＡをデータの一部として取り込んでアレイデ
ィスク上の論理アドレス（以下「ＬＡ」という）を生成
した後これら総ての情報に対してパリティを付加してＦ
バス２６に送られる。

【００３２】キャッシュパッケージ３では、Ｆバス２６
からのデータに対して誤り訂正可能なＥＣＣを付加して
キャッシュメモリ２０に書き込む。

【００３３】ディスクアダプタ２では、Ｆバスからのデ
ータに対して更にＣＲＣコードが付加され、該データＳ
ＣＳＩインターフェースを介してアレイディスク５に送
られ、磁気ディスク装置個々にＥＣＣを付加して書き込
みデータを保証している。

【００３４】アレイディスク５からのデータ読み出しに
おいても同様に、各チェックコードを元に読み出しデー
タの検査／訂正を行い信頼性を高めている。

【００３５】以上のように、チェックコードはデータの
長さ方向に対してはある長さ毎の水平チェック、データ
の垂直（幅）方向に対しては（例えばバイト単位の）垂
直チェックで２重化されており、また転送が行われる領
域間（図中一点鎖線）では当該２重化チェックコードの
うち１つを必ずデータとして受け渡すことによりデータ
保証に万全を期している。

【００３６】図４は図１で述べたスケーラビリティを実
現するための装置外観図であり、４１はアレイディスク
を制御する制御ユニット部、４２はアレイディスクを実
装するアレイユニット部で、本装置はこの２つのユニッ
トで構成される。

【００３７】図５は制御ユニット４１の実装図で（ａ）
は正面図、（ｂ）は側面図を表わす。５１はホストアダ
プタ１、ディスクアダプタ２、キャッシュメモリパッケ
ージ３を実装する論理架部、５２は停電時に揮発メモリ
であるキャッシュメモリ部に電源を供給するバッテリ
部、５３はキャッシュメモリ増設時にキャッシュユニッ
ト２４及び増設メモリ用の追加バッテリを実装するキャ
ッシュメモリ増設部、５４はＳＶＰ実装部、５５は論理
架に電源を供給する論理架用スイッチング電源、５６は
アレイディスクの構成（容量）が小規模の場合のアレイ
ディスク実装部、５７はアレイディスク部に電源を供給
するアレイディスク用スイッチング電源、５８は両スイ
ッチング電源５５、５７に電源を供給する商用電源制御
部である。

【００３８】図６は大容量アレイディスクを構成すると
きのアレイユニット部の実装図で（ａ）は正面図、
（ｂ）は側面図を表わす。

【００３９】アレイディスク実装部５６は、磁気ディス
ク装置を最大１１２台（８行ｘ７列ｘ２）実装可能であ
り、各磁気ディスク装置に障害が発生した場合の装置の
入れ替えを容易にするために、装置の正面と背面の両面
から挿抜可能となるような実装方式をとっている。

【００４０】６１はユニット全体の発熱を逃がすための
冷却ファンで、冷却効果を高めると共に、騒音抑止の観
点から小さな冷却ファンを使って小区分化し、床面より
天井へ送風する構造をとっている。

【００４１】図７は図５で説明した論理架部の接続方式
図である。

【００４２】７１はコモンバス４をプリント配線したプ
ラッタ（基板の挿し込み用の板）であり、７２は各アダ
プタ、パッケージとプラッタ７１を接続するためのコネ
クタである。

【００４３】ホストアダプタ１、ディスクアダプタ２、
キャッシュメモリパッケージ３の間のデータ転送はコモ
ンバス４を介して行うため、各アダプタ、パッケージは
コネクタ７２上の任意のどの位置でも接続可能となり、
ホストアダプタ１の実装数、ディスクアダプタ２の実装
数を自由に変えることができる。

【００４４】一方、キャッシュ容量を増設する場合はキ
ャッシュメモリパッケージ３をキャッシュポートパッケ
ージ２２に変えて実装するか、または図７に示すよう
に、キャッシュメモリパッケージ３に加えてキャッシュ
ポートパッケージ２１を実装し、これに、接続ケーブル
２３を介してキャッシュユニット４３（図２の２４に相
当）に接続することにより、もとの２ＧＢの容量に加え
て更に最大８ＧＢ２面分のキャッシュメモリ容量を拡張
できる。

【００４５】図８は図５で示した論理架部の実装イメー
ジ図である。

【００４６】図８で、コモンバス４は、プラッタ７１上
を左右方向にプリント配線されており、このプラッタ７
１に対して、キャッシュポートパッケージ２２の基板
（ＣＰ）の取付部、キャッシュメモリパッケージ３の基
板（Ｃ）の取付部、ホストアダプタモジュールの基板
（Ｈ）の取付部、及びディスクアダプタモジュールの基
板（Ｄ）の取付部が設けられ、図の矢印８４で示すよう
に、各基板は、挿抜操作面側から着脱されるようになっ
ていて、プラッタ７１に差し込まれるとコモンバス４と
電気接続されるものである。

【００４７】８１は、ホストアダプタ１の基板上の下方
部に実装されて、対上位インターフェイスを司る光コネ
クタ部、８２はディスクアダプタ２の基板上の下方部に
実装されて、アレイディスク５と接続するＳＣＳＩコネ
クタ部、８３はキャッシュポートパッケージ２２を実装
したときの接続ケーブル２３用の接続コネクタ部であ
る。８５は、キャシュメモリパッケージ３の基板（Ｃ）
の下方部に取付けたキャッシュメモリ本体（図２のキャ
ッシュメモリ２０）である。

【００４８】各コネクタ部は、障害発生等で各アダプ
タ、パッケージを挿抜する際の操作性を向上させるた
め、接続コネクタ８３を除き、操作面８４側へは実装せ
ず、プラッタ７１の接続側に集中実装している。

【００４９】図９は本発明のソフトウエア構成を示した
図である。

【００５０】９１はホストアダプタ１のブートデバイス
１２に書き込まれるチャネルアダプタ制御プログラム
（以下「ＣＨＰ」という），である。また、ディスクア
ダプタ２のブートデバイス１２に書き込まれるディスク
アダプタ制御プログラムのうち、９２はアレイディスク
固有の処理およびキャッシュメモリとアレイディスク間
のデータ転送制御を受け持つディスクアダプタマスタ制
御プログラム（以下「ＤＭＰ」という），９３はＤＭＰ
９２の制御管理下でキャッシュメモリ２０とアレイディ
スク５の間のデータ転送制御を受け持つディスクアダプ
タスレーブ制御プログラム（以下「ＤＳＰ」という）で
ある。

【００５１】ディスクアダプタ２のブートデバイス１２
には、ＤＭＰ９２とＤＳＰ９３の２種類が書き込まれて
いるが、装置構成上ｎセットのディスクアダプタでアレ
イディスクにアクセスする場合、そのうちの２セットが
ＤＭＰ９２として動作（２重化）し、残るｎ−２のディ
スクアダプタがＤＳＰ９３として動作する。

【００５２】９４はＳＶＰ２７に搭載するＳＶＰ制御プ
ログラムで、ＣＨＰ９１，ＤＭＰ９２，ＤＳＰ９３を監
視及び保守するとともに、各制御プログラムの更新時は
ＳＶＰ２７から更新したいＭＰの制御プログラムを直
接、または他のＭＰから当該ＭＰの制御プログラムを更
新することができる。

【００５３】図１０はデータの流れに基づいた図９で示
したソフトウエア構成の機能分担を示した図である。

【００５４】ＣＨＰ９１は、上位からのアドレス形式及
びデータ形式を下位アドレス形式及びデータ形式に変換
し、キャッシュメモリに書き込む。１０１はセグメン
ト、１０２はブロック、１０３はアレイディスク５上の
磁気ディスク１台当りに書き込むデータ量を表すストラ
イプである。ＤＭＰ９２は、キャッシュメモリ上からス
トライプ単位にデータを読み出し、下位アドレスをアレ
イディスクの行ＮＯ，列ＮＯ，ＦＢＡ，ブロック数に変
換し、ＤＳＰ９３でアレイディスクにデータを書き込
む。

【００５５】また、ＤＭＰ９２はアレイディスク５の構
成情報も管理している。

【００５６】以上のように、各制御プログラムを機能分
担することにより、上位インタフェースをＳＣＳＩやフ
ァイバーチャネル等に変更する場合はＣＨＰ９１のみ、
またアレイディスク構成を変更（ディスクの行数／列
数、ＲＡＩＤ（ＲｅｄｕｎｄａｎｔＡｒｒａｙＩｎ
ｅｘｐｅｎｓｉｖｅＤｉｓｋ）方式等）する場合はＤ
ＭＰ９２のみの変更で対応可能であり、ホストアダプタ
１、ディスクアダプタ２の接続変更に合わせて各制御プ
ログラムを書き替えることで、スケーラビリティを実現
するとともに、ソフトウエア開発の負荷も軽減してい
る。

【００５７】図１１はコモンバス４の２重化の考え方と
縮退動作を説明した図である。

【００５８】１１１はコモンバス４の使用権を獲得する
ことのできるバスマスタ（ＭＰ１０を搭載しているホス
トアダプタ１又はディスクアダプタ２）、１１２はバス
マスタ１１１からのアクセス要求を受けるバススレーブ
（キャッシュメモリパッケージ）である。

【００５９】Ｆバス２６は通常動作状態では６４ビット
バス（２００ＭＢ／Ｓ）２系統を同時に動作させ４００
ＭＢ／Ｓを実現しており、各バス系統はパリティチェッ
ク又はタイムアウトで障害を検出可能である。障害発生
時はバスマスタ１１１は各自縮退状態に入り、残る１系
統を使ってバススレーブをアクセスすると共に、この時
の縮退情報は共有メモリ１８上の管理エリアに登録され
る。

【００６０】またコモンバス内のシステム制御信号（バ
スリセット等）は信号線を３重化しており、通常動作時
は３線一致、縮退動作時は２線一致（多数決）方式を採
用することにより信頼性を高めている。

【００６１】図１２は装置各部位における多重化と縮退
運転を示した図である。

【００６２】１２１は２ポート化されたチャネルパスで
あり、ホストアダプタ１にはチャネルアダプタ２９が２
モジュール、対上位用のチャネルパスが４パス実装して
おり、障害発生時は交替チャネルアダプタ（ＣＨＰ）、
交替チャネルパスを使用して縮退運転に入る。

【００６３】１２２はディスクアダプタ２とアレイディ
スク５の間のインタフェースを司るＳＣＳＩパスで、１
行の磁気ディスク群に対して別のディスクアダプタ２か
らもアクセス可能なように２重化しており、当パスに障
害が発生した場合は交替ＳＣＳＩパスを使用して縮退運
転に入る。また、アレイディスクマスタ制御を行うＤＭ
Ｐ９２も２重化しており、障害発生時は交替ＤＭＰ９２
を使用して縮退運転に入る。

【００６４】共有メモリ１８、キャッシュメモリ２０も
２重化しており、共有メモリに障害が発生した場合は残
るもう一方の使用して縮退運転に入り、キャッシュメモ
リに障害が発生した場合はライトペンディングデータ
（キャッシュメモリ上に残っているデータ）をディスク
にデステージし障害発生メモリ部位を除いたメモリで縮
退運転を行う。

【００６５】アレイディスク５上の磁気ディスクに障害
が発生した場合は、当該磁気ディスクを切り離し予備の
磁気ディスクに修復しながら読み出し書き込み動作を行
う。

【００６６】図１３は装置の電源系の多重化と縮退運転
を示した図である。商用電源制御部５８は各々独立した
ＡＣ入力で２重化して、論理架用スイッチング電源５５
及びアレイディスク用スイッチング電源５７にそれぞれ
供給しているため、障害発生時はもう片方の商用電源制
御部５８で縮退運転に入る。

【００６７】１３１は上位ホストからの電源ＯＮ／ＯＦ
Ｆの遠隔制御や商用電源制御部５８、両スイッチング電
源等の電源回路を制御する電源制御回路（以下「ＰＣ
Ｉ」という）である。

【００６８】論理架用スイッチング電源５５は冗長運転
用として必要数より２回路多く実装し電源コモンバスを
介して論理架５１及びバッテリ５２に供給することによ
り、当スイッチング電源５５が２回路故障しても動作可
能である。

【００６９】同様に列単位の磁気ディスク群に供給する
にアレイディスク用スイッチング電源５７も、冗長運転
用として２回路多く実装し電源コモンバスを介して供給
することにより、当スイッチング電源５７が２回路故障
しても動作可能であり、さらに両スイッチング電源５
５、５７を２重化するよりも安価な構成に仕上げること
ができる。

【００７０】また停電時においては、２重化されたバッ
テリ５２から電源コモンバスを介して論理架内の揮発メ
モリであるキャッシュメモリ及びＰＣＩ１３１に供給さ
れ、片方のバッテリが故障しても動作可能である。

【００７１】図１４及び図１５はアレイディスクに使用
する磁気ディスク装置単体の記憶容量別にアレイディス
クを構成したときのシステム性能を比較した図である。

【００７２】図１４はそれぞれ異なる磁気ディスク装置
を使用して同一容量のアレイディスクを実現した場合の
構成を示しており、項番１４１が３ＧＢの磁気ディスク
装置（３．５インチ径のディスクを使用）、項番１４２
が４．０ＧＢの磁気ディスク装置（５インチ径のディス
クを使用）、項番１４３が８．４ＧＢの磁気ディスク装
置（６．４インチ径のディスクを使用）を使用してい
る。アレイ構成は、ディスク装置１４１が１４枚のデー
タディスクの２枚のパリティディスク、ディスク装置１
４２が１４枚のデータディスクと４枚のパリティディス
ク、ディスク装置１４３が１４枚のデータディスクと２
枚のパリティディスクで構成した場合である。

【００７３】図１５は各磁気ディスク装置１４１、１４
２、１４３についての毎秒当りのＩ／Ｏ命令発行件数と
平均応答時間の関係を示しており、アレイディスクシス
テムとしてのトランザクション性能を向上させるために
は、小容量（小径）の磁気ディスク装置を使用してアレ
イ構成を大きくすることが最も性能を引き出せることか
ら、本発明に於ては３．５インチ磁気ディスク装置１４
１を採用してアレイディスクシステムを実現している。
従って、同じ記憶容量の磁気ディスク装置を、従来のよ
うに大形磁気ディスク装置１台で構成するのと、複数台
の小形磁気ディスク装置のアレイで構成するのとでは、
後者の小形磁気ディスク装置を多数用いたアレイ構成の
ものの方が、平均アクセスタイムを短縮できる点で有利
である。

【００７４】以上説明してきたスケーラブルなアーキテ
クチャを使用して実現できる装置モデル構成例を図１６
〜図１９にしめす。

【００７５】図１６は、コモンバス４上のディスクアダ
プタ２の実装数を減らし、更にキャッシュポートパッケ
ージ２２を実装し、接続ケーブル２３を介してキャッシ
ュユニット２４に接続することにより、キャッシュヒッ
ト率の高める高性能大容量キャッシュメモリ付小形ディ
スクアレイを実現した時の構成図である。

【００７６】またディスクアダプタ２を実装しないで、
ホストアダプタ１とキャッシュメモリのみで構成した場
合（図中の破線内の構成）は、記憶媒体が磁気ディスク
から半導体メモリに代わり、更に高速データ転送可能な
高性能の半導体ディスク装置を実現する。

【００７７】図１７はディスクアダプタ２を最大構成と
し、キャッシュパッケージ３を実装し又はキャッシュポ
ート２２を実装し接続ケーブル２３を介してキャッシュ
ユニットを接続することにより、高性能大容量キャッシ
ュメモリ付大形ディスクアレイを実現した時の構成図で
ある。

【００７８】図１８はホストアダプタ１の対上位インタ
ーフェースをＳＣＳＩ／ファイバーチャネル等のインタ
ーフェースに変えて、ディスクアダプタ２の実装数を減
らし、更にＦバス２６のビット幅を半分に縮小した２系
統で構成することにより、オープン市場をターゲットに
した無停止運転の高性能フォールトトレラント（高信頼
性）サーバシステムを実現した時の構成図である。

【００７９】図１９は図１８の構成を元に２重化、活線
挿抜を考慮せずに、最もシンプルな構成をとることによ
って安価なオープン市場向けのサーバシステムを実現し
た時の構成図である。なお、図中、４Ｄ＋１Ｐは、デー
タディスク４枚とパリティディスク１枚の趣旨である。

【００８０】以上の実施例において、コモンバス４上
に、更に光ディスクアダプタ（光ディスク用接続論理モ
ジュール）を介して光ディスク装置を接続し、磁気テー
プ制御装置（磁気ディスク接続論理モジュール）を介し
て磁気テープ装置を接続し、あるいは半導体記憶装置接
続論理モジュールを介して半導体記憶装置を接続するこ
とができる。また、コモンバス４上に別の形式のホスト
アダプタを介してワークステーションを接続することも
できる。このように、コモンバス上に、種々の形式の記
憶装置に対する記憶媒体アダプタを接続することができ
る。

【００８１】

【発明の効果】以上詳しく説明したように、本発明によ
れば、上位装置に対するインタフェースを構成する複数
の上位側接続論理装置と、記憶装置と、前記記憶装置に
対するインタフェースを構成する複数の記憶装置側接続
論理装置と、これらの装置間で転送されるデータを一時
記憶するキャッシュメモリ装置（複数の上位側接続論理
装置及び複数の記憶装置側接続論理装置に共有されるキ
ャッシュメモリ装置）とを有する記憶システムにおい
て、前記複数の上位装置側接続論理装置，複数の記憶装
置側接続論理装置，及びキャッシュメモリ装置は、これ
らの装置に共有されるコモンバスにより相互に接続され
るように構成したので、上位側接続論理装置と記憶装置
側接続論理装置とキャッシュメモリの増設または変更
は、単にコモンバス上にこれらの装置等を追加しまたは
変更して行くだけでよく、増設によるアップグレードが
容易に達成できスケーラブルなシステム構成を得ること
ができる。また、これらの上位側接続論理装置，記憶装
置側接続論理装置及びキャッシュメモリ装置は、モジュ
ール化されて、コモンバスの配設されたプラッタに挿抜
（着脱）自在に取り付けるようにしたので、これらの装
置の必要な数量の増設作業も簡単であるという効果があ
る。

【００８２】また、上位側接続論理装置，記憶装置側接
続論理装置、キャッシュメモリ装置，及びこれらの間を
接続するコモンバスは、二重化され、２系統に分けて配
線されているので、これらの装置の一方に障害が発生し
たときでも、他方の装置を用いて縮退運転が可能であ
る。この場合、上位側接続論理装置，記憶装置側接続論
理装置，及びキャッシュメモリ装置は、いずれも活線挿
抜対応のコネクタ部を具備しているので、システムを停
止することなく保守点検を行なって故障部品の交換を行
なったり、増設用の部品を追加したりすることが可能で
あるという効果がある。

【００８３】更に、記憶装置は、複数の小形記憶装置を
組み合わせたアレイ形とされ、これにより従来の大形デ
ィスク装置１台を用いたものに比べてアクセスタイムを
短縮できるという効果がある。

【００８４】また、キャッシュメモリ装置は、コモンバ
スに直接取り付けられるキャッシュメモリモジュール
（キャッシュメモリパッケージ）と、増設用のキャッシ
ュユニットとで構成され、増設用のキャッシュユニット
は、コモンバスに直接挿抜自在に取り付けられる増設用
のキャッシュポートパッケージを介して必要数接続され
るようになっているので、簡単に増減することができる
という効果も得られる。

【００８５】また、上位側接続論理装置に設けられたデ
ータフォーマット変換部によって、上位装置のデータフ
ォーマットを記憶装置用のデータフォーマットに変換を
行うとともに、データ保証を確保している。

【００８６】以上により、高信頼性の記憶システムを得
ることができる。

【図面の簡単な説明】

【図１】本発明の実施例の概要を示す概念図である。

【図２】本発明の一実施例の記憶システムの詳細な構成
図である。

【図３】図２の構成図に沿ったデータの流れとデータ形
式を示した図である。

【図４】本発明の一実施例の装置外観図である。

【図５】本発明の一実施例の装置における制御ユニット
部の実装方式図である。

【図６】本発明の一実施例の装置におけるアレイディス
クユニット部の実装方式図である。

【図７】本発明の一実施例の装置における論理架部の接
続方式図である。

【図８】本発明の一実施例の装置における論理架部の実
装方式図である。

【図９】本発明の実施例に適用されるソフトウエア構成
図である。

【図１０】本発明の実施例によるデータの流れとソフト
ウエアの機能分担を示した図である。

【図１１】本発明の実施例によるコモンバスの２重化と
縮退動作を示した図である。

【図１２】本発明の実施例による装置各部位の２重化と
縮退運転を示した図である。

【図１３】本発明の実施例による装置の電源系の多重化
と縮退運転を示した図である。

【図１４】アレイディスクに使用する磁気ディスク装置
単体のディスク構成を示す図である。

【図１５】磁気ディスク装置の記憶容量とアレイディス
クのシステム性能を示した図である。

【図１６】高性能大容量キャッシュメモリ付小形ディス
クアレイの構成図である。

【図１７】高性能大容量キャッシュメモリ付大形ディス
クアレイの構成図である。

【図１８】高性能フォールトトレラントサーバシステム
の構成図である。

【図１９】低価格サーバシステムの構成図である。

【図２０】従来の記憶システムの概略構成図である。

【符号の説明】

１ホストアダプタ２ディスクアダプタ３キャッシュメモリパッケージ４コモンバス５アレイディスク１８共有メモリ２０キャッシュメモリ２２キャッシュポートパッケージ２４増設キャッシュユニット２５マルチプロセッサバス２６高速Ｉ／Ｏバス

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｇ０６Ｆ 12/08 ５５７Ｇ０６Ｆ 12/08 ５５７ (72)発明者黒沢弘幸神奈川県小田原市国府津2880番地株式会社日立製作所ストレージシステム事業部内 (72)発明者高橋直也神奈川県小田原市国府津2880番地株式会社日立製作所ストレージシステム事業部内 (72)発明者井上靖雄神奈川県小田原市国府津2880番地株式会社日立製作所ストレージシステム事業部内 (72)発明者岩崎秀彦神奈川県小田原市国府津2880番地株式会社日立製作所ストレージシステム事業部内 (72)発明者星野政行神奈川県小田原市国府津2880番地株式会社日立製作所ストレージシステム事業部内 (72)発明者磯野聡一神奈川県小田原市国府津2880番地株式会社日立製作所ストレージシステム事業部内Ｆターム(参考） 5B005 JJ01 KK03 MM12 WW02 WW04 WW12 5B065 BA01 CA11 CA30 CA40 CH01 ZA03 ZA06

Claims

【特許請求の範囲】

【請求項１】上位装置に接続され、前記上位装置に対
するインタフェースを構成する上位側接続論理装置と、前記上位装置から転送される情報を記憶する記憶装置
と、前記記憶装置に接続され、前記記憶装置に対するインタ
フェースを構成する記憶装置側接続論理装置と、前記上位側接続論理装置と前記記憶装置側接続論理装置
との間で転送されるデータを一時的に記憶するキャッシ
ュメモリ部と、前記上位側接続論理装置及び前記記憶装置側接続論理装
置及び前記キャッシュメモリ部のために制御情報を記憶
する共有メモリ部と、を有する記憶システムであって、この記憶システムは、前記上位側接続論理装置と前記記憶装置側接続論理装置
と前記共有メモリとに接続され、制御情報の転送を行う
制御情報用バスと、前記上位側接続論理装置と前記記憶
装置側接続論理装置と前記キャッシュメモリ部と前記共
有メモリ部とに接続され、前記上位側接続論理装置と前
記記憶装置側接続論理装置と前記キャッシュメモリ部と
の間のデータ転送を行うデータ転送用バスと、からなる
二重化されたコモンバスと、前記上位装置のデータフォ
ーマットを前記記憶装置用のデータフォーマットに変換
するフォーマット変換部と、を含み、前記フォーマット変換部は、前記上位装置からのデータ
のフォーマット変更をおこなった後に前記データ転送用
バスを介して前記キャッシュメモリ部に変更後のデータ
を書き込むことを特徴とする記憶システム。
【請求項２】前記データフォーマット変換部が、前記
上位側接続論理装置内部に設けられたことを特徴とする
請求項１に記載の記憶システム。
【請求項３】前記上位側接続論理は、前記記憶装置の
記憶空間上の物理アドレス情報と、ＣＫＤフォーマット
のデータと、ＣＲＣコードとを受領し、前記データフォーマット変換部は、前記ＣＫＤフォーマ
ットのデータをＦＢＡフォーマット変換し、前記物理ア
ドレスをデータの一部として取り込んで前記記憶装置上
の論理アドレスを生成した後に、前記データ転送用バス
を介して前記キャッシュメモリ部に変更後のデータを書
込むことを特徴とする請求項１または２に記載の記憶シ
ステム。
【請求項４】上位装置に接続され、前記上位装置に対
するインタフェースを構成する上位側接続論理装置と、前記上位装置から転送される情報を記憶する記憶装置
と、前記記憶装置に接続され、前記記憶装置に対するインタ
フェースを構成する記憶装置側接続論理装置と、前記上位側接続論理装置と前記記憶装置側接続論理装置
との間で転送されるデータを一時的に記憶するキャッシ
ュメモリ部と前記上位側接続論理装置及び前記記憶装置側接続論理装
置及び前記キャッシュメモリ部を制御する制御情報を記
憶する共有メモリ部と、前記上位側接続論理装置と前記記憶装置側接続論理装置
と前記キャッシュメモリ部と前記共有メモリ部と、に接
続される二重化されたコモンバスと、を有する記憶シス
テムであって、この記憶システムは、前記上位装置接続論理装置は、前記上位装置からのデー
タフォーマットを前記記憶装置用のデータフォーマット
に変換するフォーマット変換部と、を含み、前記フォーマット変換部は、前記上位装置からのデータ
のフォーマット変更をおこなった後に前記コモンバスを
介して前記キャッシュメモリ部に変更後のデータを書込
むことを特徴とする記憶システム。
【請求項５】前記上位側接続論理は、前記記憶装置の
記憶空間上の物理アドレス情報と、ＣＫＤフォマットの
データと、ＣＲＣコードとを受領し、前記データフォーマット変換部は、前記ＣＫＤフォーマ
ットのデータをＦＢＡフォーマット変換し、前記物理ア
ドレスをデータの一部として取り込んで前記記憶装置上
の論理アドレスを生成した後に、前記コモンバスを介し
て前記キャッシュメモリ部に変更後のデータを書込むこ
とを特徴とする請求項４に記載の記憶システム。
【請求項６】前記変更後のデータを前記キャッシュメ
モリ部に書き込む場合に、前記データにＥＣＣを付加し
て前記キャッシュメモリ部に書き込み、前記記憶装置側接続論理装置は、前記コモンバスを介し
て前記変更後のデータを前記キャッシュメモリ部から受
領した場合に、さらにＣＲＣコードを付与し、前記記憶
装置に書き込むことを特徴とする請求項５に記載の記憶
システム。