JP4044717B2 - 記憶サブシステムのデータ二重化方法及びデータ二重化システム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、コンピュータが参照・更新するためのデータを格納する記憶サブシステムに係わり、特に記憶サブシステムの保有するデータを二重化する方法およびデータ二重化システムに関する。
【０００２】
【従来の技術】
地震等の災害に備えてコンピュータセンターとこれをバックアップするコンピュータセンターとを保有する会社、金融機関等が知られている。このようなバックアップ設備を有するシステムにおいて、メインのコンピュータセンターとリモートのコンピュータセンターとは、地理的に１００ｋｍ〜数１００ｋｍ程度離れて設けられ、メインセンターとリモートセンターにそれぞれ設置されているディスクサブシステムの間ではデータは二重化して保有される。その方法の１つとしてメインセンター側のディスクサブシステムに発生した書き込みデータをリモートセンター側のディスクサブシステムへ転送し、同一データをリモート側のディスクサブシステムに書き込みする、いわゆるリモートコピー機能をもつシステムが既にいくつか実用化されている。リモートコピー機能は、同期型と非同期型の２種類に大別される。
【０００３】
同期型とはメインセンター内のホストコンピュータ（上位装置）からディスクサブシステムにデータの更新(書込み)指示が有ったとき、その指示対象がリモートコピー機能の対象でもあるときは、そのリモートコピー機能の対象であるリモートセンターのディスクサブシステムに対して、指示された更新（書込み）が終了してから、メインセンターの上位装置に更新処理の完了を報告する処理手順をいう。この場合、メインセンターとリモートセンターとの地理的距離に応じてこの間に介在するデータ伝送線路の能力の影響を受け、伝送時間等による時間遅れが発生する。
【０００４】
これに対し非同期型とは、メインセンター内の上位装置からディスクサブシステムにデータの更新(書込み)指示があったとき、その指示対象がリモートコピー機能の対象であっても、メインセンター内のディスクサブシステムの更新処理が終わり次第、上位装置に対し更新処理の完了を報告し、リモートセンターのディスクサブシステムに対するデータの更新（反映）をメインセンターに関する処理とは非同期に実行する処理手順をいう。非同期型によれば、メインセンター内部で必要とされる処理時間でデータ更新が終了するので、リモートセンターへのデータの格納に起因する時間遅れは発生しない。このため遠隔地間のディスクサブシステムに対してリモートコピーを行う場合、伝送時間等によるメインセンターの業務への影響を回避することを最優先に考えると、同期型のリモートコピーよりも非同期型のリモートコピーの方が適していると言える。
【０００５】
非同期型は、リモートセンターのディスクサブシステムのデータがメインセンター側のデータに対し常に一致しているわけではない。このためメインセンターが災害等により機能を失った場合は、リモートセンター側にデータの反映が完了していないデータが消失することとなる。しかしメインセンター側のディスクサブシステムのアクセス性能をリモートコピー機能を実施しない場合と同等レベルとすることができる。
【０００６】
かかる従来技術では上位装置が介在してリモートコピーの機能を達成するため、種々の課題があった。
【０００７】
（１）データの一貫性保全について
リモートコピーを行う場合、メインセンターのディスクサブシステムとリモートセンターのディスクサブシステム間は独立した通信リンクで接続される。つまりメインセンターの複数のディスクサブシステムとリモートセンターの複数のディスクサブシステムの間でリモートコピーを行う場合は、独立した通信リンクで接続されたディスクサブシステムの組が複数存在する構成となる。複数のディスクサブシステムを有するメインセンターのバックアップをリモートセンターで行う場合、複数のディスクサブシステム間でデータの更新順序を保持する「一貫性保全」という問題がある。非同期型リモートコピーではリモートセンターへの更新データの反映がメインセンターでの実際の更新処理の発生時点より遅れて処理されることはやむを得ない。しかし更新の順序はメインセンターと一致していなければならない。あるいは更新の順序が常時一致していなくとも、少なくともユーザがリモートセンターでデータを必要とする時点において一貫性が保持されている状態のデータがリモートセンターに記録されていなければならない。
【０００８】
一般にデータベースは、データベース本体と、データ更新の履歴を記録する各種ログ情報および制御情報から構成されており、データベース本体と各種ログ情報および制御情報は、信頼性への配慮から異なるディスクサブシステムに記録されるようにシステム設計が行われることが多い。ただしデータベース本体と各種ログ情報および制御情報はそれぞれが関連性を持っており、データ更新の際はデータベース本体に加え、これらログ情報、制御情報をも追加・更新し、システムの整合性が保たれている。これら一連の更新が行われる時間間隔は、短い場合には数マイクロ秒程度の間隔で順次実行されることがある。仮に更新の順序が崩れた場合、更新順序に関連するこれらの情報の整合性も崩れ、最悪の場合には、データベース全体の破壊につながる可能性がある。
【０００９】
例えばメインセンターではデータベースの更新後にログ情報等の更新が行われたとしても、リモートコピーシステムを構成する上記の通信リンクの事情によっては更新されたログ情報等がデータベース本体の更新情報よりも先にリモートセンターに到着する可能性がある。このためにリモートセンターではログ情報等がデータベース本体よりも先に追加・更新されるといった状況を生む可能性が潜んでいる。仮にログ情報等のみが追加・更新され、それに関連するデータベース本体がまだ更新されていない論理的に不整合な状態でメインセンターが被災した場合、リモートセンターのデータベース自体が有用なものとなり得なくなる。このためメインセンターでデータが更新された順序と同じ順序でリモートセンターにおいてもデータが更新されなければならないという課題があった。
【００１０】
（２）上位装置が介在するリモートコピー機能について
メインセンター及びリモートセンターに複数のディスクサブシステムが存在する一般的な環境で非同期型のリモートコピーを実現する場合には、メインセンターの上位装置がディスクサブシステムへデータの更新を指示するとき、タイムスタンプなどの更新順序に関する情報をデータに付加し、このような時刻情報に基づいてリモートセンターの上位装置がそのディスクサブシステムの更新データ反映処理を実行する技術が知られている。例えば特開平６−２９０１２５号公報（米国特許第５４４６８７１号）が挙げられる。特開平６−２９０１２５号公報では、上位装置が介在してリモートコピー機能を実現している。具体的にはメインセンター側の上位装置のオペレーティングシステムとディスクサブシステム、リモートセンター側の上位装置のデータムーバーソフトウェアとディスクサブシステムの連携により、更新順序情報の発行、送付およびこれに基づく更新データの反映処理を実現している。
【００１１】
【発明が解決しようとする課題】
上記従来技術によれば、メインセンターとリモートセンター間でデータの更新順序性を保証しながら非同期型のリモートコピー機能が実現できる。しかしこの技術は、上位装置とディスクサブシステムの双方に非同期型リモートコピー機能を実現するためのソフトウェアが必要であり、かつ両者が連携しなければならない。専用の新規ソフトウェアの導入が必要なため、ユーザはソフトウェアの導入、設定、検査、ＣＰＵ負荷増加に伴うシステム設計の見直し等の作業が発生する。このため従来技術の導入のためには所定の期間を要し、費用が発生するという導入障壁があった。またそもそも上位装置からタイムスタンプなどの更新順序に関する情報がデータに付加されないシステムや、複数のホストコンピュータの内部時計を合わせる機構を備えていないシステム、特にオープンシステムにおいてはその実現手段がないのが実情である。従って上位装置のタイプや上位ソフトウェアに係わらず、ディスクサブシステムの機能のみで非同期型のリモートコピー機能を実現するためには、ディスクサブシステムの機能のみでデータの更新順序の整合性を保持する必要がある。更新順序の整合性が必要なデータが複数のディスクサブシステムに分散されて格納されている場合、複数のディスクサブシステム間で更新順序の整合性を保持するための手段がないという課題もあった。
【００１２】
本発明の目的は、上位装置に新規ソフトウェアの導入を必要とせず、記憶サブシステムの機能のみでデータの整合性を保証し、導入が容易かつメインセンターのコンピュータの性能低下の少ない非同期型のリモートコピー機能を実現することにある。
【００１３】
【課題を解決するための手段】
本発明は、複数の記憶サブシステムから構成される第１の記憶サブシステム群と、第１の記憶サブシステム群のデータのコピーを記憶する複数の記憶サブシステムから構成される第２の記憶サブシステム群とを有するシステムのデータ二重化方法であって、第１の記憶サブシステム群に属する各記憶サブシステムによってその記憶装置にデータ書き込みするとともに、このデータに通番と時刻を付与し、伝送路を介して第２の記憶サブシステム群に属する記憶サブシステムへ転送し、第２の記憶サブシステム群に属する各記憶サブシステムによって受け取った複数のデータを通番の順に配列し、第２の記憶サブシステム群に属する記憶サブシステム間の通信によって各記憶サブシステムについてそれぞれ付与された最新の時刻の中で最古の時刻を決定し、決定された最古の時刻以前の時刻が付与されたデータを各記憶サブシステムの記憶装置へのデータ書き込み対象とする記憶サブシステムのデータ二重化方法を特徴とする。またこのような方法に従って機能するリモートコピーシステムを特徴とする。
【００１４】
【発明の実施の形態】
以下、図面を参照しながら本実施形態のシステムについて説明する。
【００１５】
図１は、各々コンピュータを装備する２つのデータセンターの間でデータの二重化を行うシステムの構成図である。メインセンター９側の複数台のディスクサブシステム３−１、３−２、………３−ｎと、リモートセンター１０側の複数台のディスクサブシステム７−１、７−２、………７−ｎは、上位装置１，８を介さずに互いに接続され、両センター間でデータの二重化を行うリモートコピーシステムを実現している。上位装置１，８を介さないディスクサブシステムの接続としては、ここでは詳細に記述しないが例えばＳＡＮ（ストレージ・エリア・ネットワーク：Storage Area Network）を利用した接続が挙げられる。
【００１６】
メインセンター９において、データ処理を行う中央処理装置（ＣＰＵ）を持つ上位装置１は、インタフェースケーブル２を介してディスクサブシステム３−１、３−２、………３−ｎに接続されている。
【００１７】
ディスクサブシステム３−１は、インタフェースケーブル４−１を介してリモートセンタのディスクサブシステム７−１と接続され、ディスクサブシステム３−２はインタフェースケーブル４−２を介してリモートセンタのディスクサブシステム７−２と接続され、同様にディスクサブシステム３−ｎはインタフェースケーブル４−ｎを介してリモートセンタのディスクサブシステム７−ｎと接続される構成をとる。以下ディスクサブシステム３−１、３−２、………３−ｎのいずれか１台あるいはディスクサブシステム７−１、７−２、………７−ｎのいずれか１台を指すときには、ディスクサブシステム３あるいはディスクサブシステム７と呼ぶことがある。他の機構についても同様である。
【００１８】
なおセンター間を結ぶインタフェースケーブル４−１，４−２，………４−ｎには、ＬＥＤ駆動装置によって駆動されている光ファイバリンクや、光ファイバケーブルを用いて一般にファイバチャネルと呼ばれるインタフェースプロトコルで駆動されているものが含まれている。またＴ３ネットワークやＡＴＭネットワークに代表される電気通信リンクを含んでもよい。従ってメインセンター９のディスクサブシステム３と、リモートセンター１０のディスクサブシステム７の間には、途中に一般のファイバチャネルスイッチを接続したり、Ｔ３ネットワークやＳＯＮＥＴネットワーク及びＡＴＭネットワーク等と接続することも可能である。図１では特に図示しないが、本例ではこれらの接続形態が可能である点も含めてインタフェースケーブル４と称する。
【００１９】
リモートコピーの対象となるデータが格納されるリモートセンター１０内の任意のディスクサブシステム７−１，７−２，７−ｎは、同センター内に存在しリモートコピーの対象となるデータが格納される他の一台のディスクサブシステムとインタフェースケーブル５を介して接続される。本実施形態では、ディスクサブシステム７−１はディスクサブシステム７−２と、ディスクサブシステム７−２はディスクサブシステム７−３と、ディスクサブシステム７−ｎはディスクサブシステム７−１といった様にディスクサブシステム７が順次接続されるループ構成をとる。
【００２０】
上位装置８は、リモートセンター１０においてディスクサブシステム７−１、７−２、………７−ｎとインタフェースケーブル６によって接続され、ディスクサブシステム７−１、７−２、………７−ｎに対し、参照及び更新を行う中央処理装置である。上位装置８は、メインセンター９の上位装置１が災害や故障等により本来の機能を果たせなくなった場合に、上位装置１の代替となって処理を行うことができる。このほかディスクサブシステム７−１、７−２、………７−ｎに格納されているデータを使用して、メインセンター９の上位装置１とは異なる処理を上位装置１とは独立に実行することができる。ただし上位装置８がディスクサブシステム７−１、７−２、………７−ｎに対し処理を行わない場合には上位装置８は不要である。
【００２１】
図１に示すシステム構成は、上位装置１から複数台のディスクサブシステム３−１、３−２、………３−ｎに対しデータの書込み指示があった場合に、リモートセンター１０内の複数台のディスクサブシステム７−１、７−２、………７−ｎにも同じデータがメインセンター９の処理とデータ更新の一貫性を保って格納されるシステム構成を示している。図１の矢印は、上位装置１から書込み指示のあったデータの流れを示している。
【００２２】
図２は、ディスクサブシステム３及びディスクサブシステム７の内部構成を示す図である。ディスクサブシステム３は、上位装置１から転送されたコマンド、データなどを授受したり、他のディスクサブシステム７と接続するためのインタフェース制御部１１、上位装置１から参照又は更新されるデータを格納するキャッシュメモリ１２、このデータを記録する記録媒体としての磁気ディスクドライブ１３、このデータの管理情報、リモートコピーの状態情報、時刻情報などを格納する制御メモリ１４、およびこれらの各要素を制御するディスクサブシステム制御部１７を備える。ディスクサブシステム制御部１７は、マイクロプロセッサ使用のプログラム制御によって動作する。
【００２３】
ディスクサブシステム７も同様の内部構成を有する。なおディスクサブシステム３とディスクサブシステム７とが同一の内部構成と機能を有するディスクサブシステムとし、そのディスクサブシステムがローカルモードのときディスクサブシステム３として動作し、リモートモードのときディスクサブシステム７として動作するようにしてもよい。ローカルモード及びリモートモードのとき各々動作する機能については、以下に説明される通りである。また一般に磁気ディスクドライブ１３に相当する部分が磁気ディスク以外の記憶装置であり、ディスクサブシステム３及び７が広く記憶サブシステムと呼ばれるものであってもよい。
【００２４】
また、ディスクサブシステム３は、各々時計１５と時計補正部１６を備えている。時計補正部１６は、各ディスクサブシステム３の装置筐体内もしくは各ディスクサブシステムとは別の位置で十分近くに存在するタイムサーバが配信する時刻情報をもとに時計１５の補正を随時行い、タイムサーバが配信する時刻と各ディスクサブシステム３が保有する時計１５の時刻との誤差を数マイクロ秒程度の範囲内におさめている。ここでタイムサーバとは、ＧＰＳや電波時計等の様に時刻情報が含まれた電波を受信する機能と、受信した時刻情報を各ディスクサブシステム３に伝達配信する機能を持つものを指す。なお電波受信機能がなくともタイムサーバ自身で時刻を生成する機能と時刻を各ディスクサブシステムに伝達配信する機能を有しているものであっても良い。またディスクサブシステム３のうちの１台がタイムサーバの機能を保有したものであれば、独立したタイムサーバは不要である。図２に示すタイムサーバ２０は、ディスクサブシステム３の十分近くに存在し、人工衛星より時刻が含まれた情報を受信するＧＰＳ受信部２１と、受信した情報から時刻を求める機構と、情報を受信できない場合にも自身で継続して時刻を生成できる機構と、ディスクサブシステム３に時刻を配信する時刻配信部２２を有する。
【００２５】
一般にホストコンピュータと呼ばれる上位装置１がディスクサブシステム３に対し実行する更新処理の頻度は、各々のシステムによって異なるが、高頻度と言われる場合はマイクロ秒程度の間隔で次々と更新処理が実行されることがある。つまり各ディスクサブシステム３の時計１５をマイクロ秒程度の精度の範囲まで正確な時刻に一致させる理由は、マイクロ秒程度の間隔で次々と実行される更新処理の場合も、その更新処理時刻の差異をディスクサブシステム３が確実に把握できるようにし、更新処理時刻をもとに当該データの更新処理順序を把握できるようにするためである。もしホストコンピュータがディスクサブシステム３に対し実行する更新処理の頻度がマイクロ秒程度の間隔よりもさらに短い時間間隔であれば、各ディスクサブシステム３の保有する時計１５も当該時間間隔以下の時間単位で時刻を一致させる必要がある。
【００２６】
図３は、ディスクサブシステム３とディスクサブシステム７に亘ってデータの二重化をする処理の手順を示す図である。なお以下の処理をする前の初期条件として、ディスクサブシステム３とディスクサブシステム７との間でそれ以前のデータ追加・更新の結果が反映され、データの二重化が完了しているものとする。上位装置１がディスクサブシステム３にデータの書込要求（以下、ライトコマンドという）を発行する（ステップ３１）。ディスクサブシステム３がインタフェース制御部１１を介してこのライトコマンドを受領すると、ディスクサブシステム３のディスクサブシステム制御部１７は、そのライトコマンドに基づき処理を開始する。ここでライトコマンドとは、データをキャッシュメモリ１２に書き込むための指示と書き込みデータそのものとを転送するコマンドを指す。ディスクサブシステム３のディスクサブシステム制御部１７は、ライトコマンドを受領した時刻を時計１５から取得し（ステップ３２）、キャッシュメモリ１２にデータを格納し（ステップ３３）、制御メモリ１４にデータの管理情報を格納する（ステップ３４）。この管理情報には、磁気ディスクドライブ１３へのデータ書き込み先のアドレス情報、当該データのライトコマンド受領時刻、ライトコマンド受領通番およびキャッシュメモリ１２上のデータへのポインタが含まれる。ここでライトコマンド受領通番は、当該ディスクサブシステム３が受領したライトコマンドについて付与した一連の番号である。この後、受領したライトコマンドに対する処理の完了を上位装置１に報告する（ステップ３５）。キャッシュメモリ１２に格納したデータは後に磁気ディスクドライブ１３に記録されるが、これは従来の技術であるため、本例では詳細に記述しない。
【００２７】
ディスクサブシステム制御部１７は、制御メモリ１４上の制御ビットを参照し、リモートコピーが停止状態でなければ（ステップ３６Ｎｏ）、上位装置１からのライトコマンドに対する処理とは非同期に、インタフェース制御部１１及びインタフェースケーブル４を介して、接続されているディスクサブシステム７に対しライトコマンドを発行する（ステップ３７）。ここでライトコマンドとは、上位装置１から受領したライトコマンドと同様に当該データを書き込む為の指示と書き込みデータそのものとを転送するコマンドを含むが、さらに当該データのデータ受領時刻とデータ受領通番も含まれる。またリモートコピーが停止状態の場合には（ステップ３６Ｙｅｓ）、磁気ディスクドライブ１３へのデータ書き込み先のアドレス情報を自ディスクサブシステム３内の制御メモリ１４に格納し（ステップ３８）、リモートコピーが正常状態に戻った後に相手ディスクサブシステム７にライトコマンドを発行する。
【００２８】
ディスクサブシステム７は、インタフェース制御部１１を介してディスクサブシステム３から発行されたライトコマンドを受領する（ステップ４１）。ライトコマンドには、データの他に当該データをメインセンターのディスクサブシステムが受領した時刻と、当該データをメインセンターのディスクサブシステムが受領した通番が含まれている。ディスクサブシステム７は、受領したライトコマンドをもとに処理を開始する。ディスクサブシステム７のディスクサブシステム制御部１７は、受領したライトコマンドをデータ受領通番の順に並べ替えて、通番の抜け、すなわちライトコマンドの抜けがないかどうかチェックする。その後、受領したデータを「仮のデータ」としてキャッシュメモリ１２に格納し、制御メモリ１４にデータの管理情報を格納し、相手ディスクサブシステム３へデータ受領の完了報告を行う（ステップ４２）。
【００２９】
次にディスクサブシステム７のディスクサブシステム制御部１７は、受領したライトコマンドに含まれる時刻に基づいてデータの中から正当化時刻を決めるための候補を選定し、他のディスクサブシステム７と協同して正当化時刻候補の裁定を行う（ステップ４３）。正当化時刻候補の裁定については後述する。このようにして正当化時刻が決まったとき、その時刻以前の受領時刻をもつデータを「正式なデータ」としてキャッシュメモリ１２に格納する（ステップ４４）。キャッシュメモリ１２に格納されたデータは後に磁気ディスクドライブ１３に記録される。
【００３０】
図４は、受領時刻と受領通番の付加されたデータがリモートコピーされるまでのデータの流れを例によって説明する図である。上位装置１に５つの書き込みデータＤ１，Ｄ２，Ｄ３，Ｄ４及びＤ５がこの順に発生し、ディスクサブシステム３−１及びディスクサブシステム３−２に順次ライトコマンドを発行したものとする。ディスクサブシステム３−１は、データＤ１，Ｄ３及びＤ５を受領し、順に受領通番と受領時刻、Ｓ１／Ｔ１，Ｓ２／Ｔ３及びＳ３／Ｔ５を付与するものとする。一方ディスクサブシステム３−２は、データＤ２及びＤ４を受領し、順に受領通番と受領時刻、Ｓ１／Ｔ２及びＳ２／Ｔ４を付与する。ディスクサブシステム３−１は、受領したデータをその通番順にキャッシュメモリ１２に格納した後に、各データについてディスクサブシステム７−１にライトコマンドを発行する。一方ディスクサブシステム３−２も受領したデータをその通番順にキャッシュメモリ１２に格納した後に、各データについてディスクサブシステム７−２にライトコマンドを発行する。
【００３１】
ディスクサブシステム７−１は、受領通番と受領時刻が付与されたデータを受領し、「仮のデータ」としてキャッシュメモリ１２に格納する。またディスクサブシステム７−２も受領通番と受領時刻が付与されたデータを受領し、「仮のデータ」としてキャッシュメモリ１２に格納する。次にディスクサブシステム７−１が受領したデータの中で最新のデータＤ５とディスクサブシステム７−２が受領した最新のデータＤ４について、ディスクサブシステム７−１，ディスクサブシステム７−２間で両者の時刻を比較する。ここでデータＤ５及びＤ４を正当化時刻候補という。この例ではＤ４に付与された時刻Ｔ４がＤ５に付与された時刻Ｔ５より古いと判定されるので、データＤ４に付与された時刻Ｔ４が正当化時刻として決定され、それ以前の時刻が付与されたデータＤ２及びＤ４が「正式のデータ」としてそのキャッシュメモリ１２に反映される。また時刻Ｔ４以前の時刻が付与されたデータＤ１及びＤ３が「正式のデータ」としてそのキャッシュメモリ１２に反映される。
【００３２】
上記の処理の結果としてデータＤ５が「仮のデータ」のまま残ることになり、少なくともデータＤ５はデータＤ４より後にそのキャッシュメモリ１２に反映される。このようにデータＤ４とＤ５の更新の順序性が守られることによって、障害によってリモートコピーが中断したときにデータ回復とリモートコピー再開が可能となる。これに反してデータＤ４より先にデータＤ５が更新し反映された後に障害が生じたとすれば、一般にデータが消失する可能性が生じ、データ回復とリモートコピー再開が困難となる。一方付与された時刻が正当化されたディスクサブシステム７−１のデータＤ１とＤ３及びディスクサブシステム７−２のデータＤ２とＤ４の更新の順序は、ディスクサブシステム３−１のデータＤ１とＤ３及びディスクサブシステム３−２のデータＤ２とＤ４の更新の順序通りとなり、更新の順序性が守られることになる。
【００３３】
以上述べたように受領通番は１台のディスクサブシステム３内の更新の順序、従って１台のディスクサブシステム７内の更新の順序を示す番号である。そしてこの受領通番はデータ抜けのチェックのためにも使用される。これに対して受領時刻は複数のディスクサブシステム３に亘る更新の順序を示す数値であり、複数のディスクサブシステム７に亘る正当化時刻の裁定のために使用される。
【００３４】
図５は、正当化時刻の裁定に関するディスクサブシステム７の処理の手順を示す図である。正当化時刻候補の裁定要求を発行するディスクサブシステム７のディスクサブシステム制御部１７は、自装置における正当化時刻候補を選定する（ステップ５１）。すなわちデータ受領の通番の順に並んだライトコマンドの中で最新の受領時刻が付与されたライトコマンドを選定する。次にインタフェースケーブル５によって接続された隣のディスクサブシステム７に選定された正当化時刻候補の裁定を要求するコマンドを発行する（ステップ５２）。このコマンドは裁定要求を示すリクエスト、正当化時刻候補に付与された時刻及び当該ディスクサブシステム７の製造装置番号（製番）を含む。またこのとき裁定を要求した時刻を自己の制御メモリ１４内に記憶する。
【００３５】
隣のディスクサブシステム７は、このコマンドを受け取り、コマンド中の製番は自装置の製番に一致するか否か判定する（ステップ５３）。自装置の製番でなければ（ステップ５３Ｎｏ）、上記の処理によって自装置における正当化時刻候補を選定する（ステップ５４）。次に受領した正当化時刻候補の時刻と自装置の正当化時刻候補の時刻とを比較判定する（ステップ５５）。自装置の時刻の方が古ければ（ステップ５５Ｙｅｓ）、裁定対象の正当化時刻候補の時刻と製番を自装置の正当化時刻候補の時刻と製番によつて置き換える（ステップ５６）。自装置の時刻の方が新しければ（ステップ５５Ｎｏ）、ステップ５７へ行く。次に自装置の内容に入れ替えしたもの又は受領したそのままの正当化時刻候補の裁定を要求するコマンドをインタフェースケーブル５によって接続された隣のディスクサブシステム７に送信する（ステップ５７）。またこのとき裁定を要求した時刻を自己の制御メモリ１４内に記憶する。ステップ５７の処理の後にステップ５３に戻る。
【００３６】
裁定要求コマンドを受け取り、コマンド中の製番が自装置の製番に一致したとき（ステップ５３Ｙｅｓ）、裁定要求した正当化時刻候補を正当化時刻に決定する（ステップ５８）。すなわちディスクサブシステム７の各々の装置で正当化時刻候補が選定されるが、その中で最も古い時刻が正当化時刻として決定される。
【００３７】
図６は、正当化時刻の通知に関するディスクサブシステム７の処理の手順を示す図である。正当化時刻を決定したディスクサブシステム７は、正当化時刻以前の時刻が付与されたデータを「正式なデータ」としてキャッシュメモリ１２に格納する（ステップ６１）。次に隣のディスクサブシステム７に決定した正当化時刻を通知するコマンドを発行する（ステップ６２）。このコマンドは正当化時刻通知を示すリクエスト、決定された正当化時刻及び当該ディスクサブシステム７の製番を含む。またこのとき通知コマンドを発行した時刻を自己の制御メモリ１４内に記憶する。
【００３８】
隣のディスクサブシステム７は、このコマンドを受け取り、コマンド中の製番は自装置の製番に一致するか否か判定する（ステップ６３）。自装置の製番でなければ（ステップ６３Ｎｏ）、ディスクサブシステム３から受け取った正当化時刻以前の時刻が付与されたデータを「正式のデータ」としてキャッシュメモリ１２に格納する（ステップ６４）。次に隣のディスクサブシステム７に受領したコマンドをそのまま送信することによって正当化時刻を通知し（ステップ６５）、ステップ６３に戻る。
【００３９】
正当化時刻通知のコマンドを受け取り、コマンド中の製番が自装置の製番に一致したとき（ステップ６３Ｙｅｓ）、正当化時刻以前の時刻が付与されたデータについて、不要になった製番等の情報を制御メモリ１４から消去する（ステップ６６）。以上の処理の結果として、複数のディスクサブシステム７に亘って正当化時刻以前の時刻が付与されたライトコマンドはすべて各ディスクサブシステム７内のデータ更新に反映され、正当化時刻より後の新しいライトコマンドが次の正当化時刻候補の選定対象として残されることになる。
【００４０】
なお正当化時刻の裁定要求の起動については、最初に起動するディスクサブシステム７を決めておき、以後正当化時刻を決定したディスクサブシステム７が次の正当化時刻の裁定要求を起動する方式がある。あるいは１台のディスクサブシステム７が周期的に正当化時刻の裁定要求を起動してもよい。いずれにしても正当化時刻の裁定と決定した正当化時刻の通知が周期的に行われるような方式であればよい。
【００４１】
また上記実施形態では各ディスクサブシステム７を判別するための識別子として製造装置番号を利用するが、製造装置番号でなくともリモートセンターの各々のディスクサブシステム７を判別することができる識別子であれば、その識別子を利用することができる。
【００４２】
正当化時刻の裁定要求を発行してから所定時間内に自己の発行した正当化時刻裁定要求コマンドが戻らないか又は正当化時刻通知を受け取らない場合、あるいは正当化時刻通知を発行してから所定時間内に自己の発行した正当化時刻通知が戻らない場合には、ディスクサブシステム７は、何らかの障害発生により時刻の裁定又は時刻の通知が完了しなかったものと判断し、制御メモリ１４の制御ビットをリモートコピー停止状態に設定し、リモートコピーを停止させる。このようにディスクサブシステム７側の障害によりリモートコピーを続行できなくなったとき、リモートコピーを停止させ、相手ディスクサブシステム３にリモートコピーの停止を通知する。これを受け取ったディスクサブシステム３は、制御メモリ１４上の制御ビットをリモートコピー停止状態に設定し、リモートコピーを停止させ、上記のように上位装置１から受領したライトコマンドのディスクサブシステム７への転送を保留する。ディスクサブシステム３側の障害によりリモートコピーを続行できなくなったときも、同様にリモートコピーを停止させ、相手ディスクサブシステム７にリモートコピーの停止を通知する。あるいはインタフェースケーブル４の障害によりディスクサブシステム３とディスクサブシステム７間の通信不可を検出したディスクサブシステム３及びディスクサブシステム７も同様にリモートコピーを停止させる。また任意の時点でディスクサブシステム３又はディスクサブシステム７のサービスプロセッサパネル１８からの指示によって制御メモリ１４上の制御ビットを変更し、リモートコピー停止状態に設定したり、同停止状態を解除してリモートコピーを再開させることができる。
【００４３】
なおリモートコピーの一時停止や再開は、リモートコピーを設定する際のディスクサブシステム内の記憶領域の最小管理単位であるボリュームペア単位に指定できる。ここでボリュームペアとは、コピー元のディスクサブシステム３内ボリュームと対応するコピー先のディスクサブシステム７内ボリュームとのペアをいう。少なくとも１つのボリュームペアを一つのボリュームグループとして定義し、ボリュームグループ単位に状態を変化させることも可能である。ここでボリュームグループ内のデータ更新は他のボリュームグループに影響しないものとしている。この場合には、制御メモリ１４上の制御ビットはボリュームペアあるいはボリュームグループごとに設ける。またディスクサブシステム３は、ステップ３６でデータを格納すべきボリュームあるいはボリュームグループと制御メモリ１４の対応する制御ビットを参照して、当該データのリモートコピーが停止状態か否かを判定する。
【００４４】
従って例えば複数の業務データが格納されているディスクサブシステムの全データがリモートコピーで常時二重化されているシステムにおいて、ある業務については業務終了時点の状態のデータをリモートセンター側で利用したい等の用途がある場合、業務終了時点で当該業務データが格納されているボリュームペア又はボリュームグループについてリモートコピーを一時停止状態にすれば、リモートセンターのディスクサブシステム７に業務終了時点のデータの状態が保持されるため、リモートセンターで業務を行うことができる。
【００４５】
一時停止状態が解除されると、ディスクサブシステム３及び７は、リモートコピー処理を再開するとともに、一時停止している間にメインセンターのディスクサブシステム３のみで書き込みが行われたデータやリモートセンターのディスクサブシステム７で正当化が完了していなかったデータについて、ライトコマンドをディスクサブシステム７に転送したり、データの正当化処理を再開する。これにより通常のリモートコピーが行われる状態に復帰できる。
【００４６】
上記実施形態は、メインセンター９側のディスクサブシステム３とリモートセンター１０側のディスクサブシステム７が１対１に対応して接続されるシステム構成についての実施形態であるが、他の実施形態として、複数のディスクサブシステム３が１台のディスクサブシステム７に接続され、このディスクサブシステム７が接続される複数のディスクサブシステム３に関するリモートコピー処理をするように構成してもよい。この構成において、ディスクサブシステム７は、ステップ４１のデータ受領のとき、受領したライトコマンドを各ディスクサブシステム３の製造装置番号ごとにデータ受領通番の順に並べ替え、各ディスクサブシステム３のライトコマンドに付与されている時刻のうち最新の時刻を選定し、さらにディスクサブシステム３間で選定された時刻を比較してその中から最古の時刻を正当化時刻候補として選定し、上記の正当化時刻の裁定処理を行う。
【００４７】
また他の実施形態として、リモートセンターのディスクサブシステム７のいずれか１台をマスタディスクサブシステム（一般にマスタ記憶サブシステム）に設定し、リモートセンター１０のマスタディスクサブシステム以外の各ディスクサブシステム７とマスタディスクサブシステムとを互いに接続するような構成をとってもよい。この構成においてマスタディスクサブシステムは、リモートセンター１０の他のディスクサブシステムが自身で保有する正当化時刻候補を問い合わによって取得する。次にマスタディスクサブシステムは、取得した正当化時刻候補及び自己の正当化時刻候補を比較して最古の時刻を正当化時刻として決定する裁定を行い、リモートセンタの他のディスクサブシステムに決定した正当化時刻を通知し、各ディスクサブシステム７が各々データの正当化を実施する。
【００４８】
本実施形態によれば、リモートセンター１０のディスクサブシステム７が正当化時刻候補の裁定および正当化時刻に基づくデータの正当化を実施することにより、上位装置の介在なくまたリモートコピーを定期的に中断させる処理を行うことなく、さらにメインセンター９とリモートセンター１０の各々に更新順序を保持するためのゲートウェイサブシステム等を設けることもなく、メインセンター９のディスクサブシステム３の処理性能の低下なく、ディスクサブシステムの機能で更新順序の一貫性を保持した非同期型のリモートコピーを実現できる。
【００４９】
また本実施形態によれば、ディスクサブシステム３が保有する時計から取得した時刻を利用して更新データの一貫性を保証するため、上位装置１からディスクサブシステム３へ転送されるデータに時刻情報が付加されないシステムであっても、上位装置１の介在なしに更新順序の一貫性を保持した非同期型のリモートコピーを実現できる。
【００５０】
また仮にメインセンターの被災や機器の障害等によりメインセンター９の機能が絶たれた場合も、リモートセンター１０のディスクサブシステム７ではデータの一貫性が保たれた状態のデータが記録されている。これらはすべてディスクサブシステム３，７の機能のみで実現され、上位装置１の処理能力に対し負担とならない。メインセンター９が被災した場合は、ディスクサブシステム７のデータを利用してジョブを再実行する等の回復作業を行い、業務を再開できる。
【００５１】
【発明の効果】
以上述べたように本発明によれば、上位装置に新規ソフトウェアの導入を必要とせず、記憶サブシステムの機能のみでユーザが期待する範囲での更新データの一貫性を保証でき、導入が容易でかつメインセンターのホストコンピュータの処理性能の低下がない非同期型のリモートコピーシステムを実現できる。
【図面の簡単な説明】
【図１】実施形態のリモートコピーシステムの全体構成を示す図である。
【図２】実施形態のディスクサブシステムの内部構成を示す図である。
【図３】実施形態のディスクサブシステム３とディスクサブシステム７に亘ってデータの二重化をする処理の手順を示す図である。
【図４】受領時刻と受領通番の付加されたデータがリモートコピーされるまでのデータの流れを例によって説明する図である。
【図５】実施形態の正当化時刻の裁定に関するディスクサブシステム７の処理の手順を示す図である。
【図６】実施形態の正当化時刻の通知に関するディスクサブシステム７の処理の手順を示す図である。
【符号の説明】
１…上位装置、３…ディスクサブシステム、４…インタフェースケーブル、５…インタフェースケーブル、７…ディスクサブシステム、９…メインセンター、１０…リモートセンター、１５…時計、１６…時刻補正部

Claims (23)

1. 複数の記憶サブシステムから構成される第１の記憶サブシステム群と、第１の記憶サブシステム群のデータのコピーを記憶する複数の記憶サブシステムから構成される第２の記憶サブシステム群とを有するシステムのデータ二重化方法であって、第１の記憶サブシステム群に属する各記憶サブシステムによってその記憶装置にデータ書き込みするとともに、該データに通番と時刻を付与し、伝送路を介して第２の記憶サブシステム群に属する記憶サブシステムへ転送し、第２の記憶サブシステム群に属する各記憶サブシステムによって受け取った複数のデータを通番の順に配列し、各記憶サブシステムは、受け取った複数のデータに各々付与された時刻の中で最新の時刻を選定し、第２の記憶サブシステム群に属する記憶サブシステム間の通信によって前記最新の時刻の中で最古の時刻を決定し、決定された最古の時刻以前の時刻が付与されたデータを各記憶サブシステムの記憶装置へのデータ書き込み対象とすることを特徴とする記憶サブシステムのデータ二重化方法。
2. 前記第１の記憶サブシステム群に属する記憶サブシステムと前記第２の記憶サブシステム群に属する記憶サブシステムとを接続する前記伝送路は、ＳＡＮ（ストレージ・エリア・ネットワーク）を構成することを特徴とする請求項１記載の記憶サブシステムのデータ二重化方法。
3. 前記第１の記憶サブシステム群に属する各記憶サブシステムによって前記時刻を参照するための時計を外部からの時刻情報によって補正することを特徴とする請求項１記載の記憶サブシステムのデータ二重化方法。
4. 前記第２の記憶サブシステム群に属する記憶サブシステム間はループ伝送路によって接続されており、各記憶サブシステムは、自己の前記最新の時刻と一方に隣接する記憶サブシステムから受け取った前記最新の時刻のうちで古い方の時刻を他方に隣接する記憶サブシステムに伝送し、自記憶サブシステムが伝送しかつ自記憶サブシステムに戻った時刻を前記最古の時刻と決定することを特徴とする請求項１記載の記憶サブシステムのデータ二重化方法。
5. 前記第２の記憶サブシステム群に属する複数の記憶サブシステムのうちの１つをマスタ記憶サブシステムに設定し、マスタ記憶サブシステム以外の各記憶サブシステムによって前記最新の時刻をマスタ記憶サブシステムに通知し、マスタ記憶サブシステムによって自己の最新の時刻と取得した最新の時刻の中から前記最古の時刻を決定することを特徴とする請求項１記載の記憶サブシステムのデータ二重化方法。
6. 前記第１の記憶サブシステム群に属する複数の記憶サブシステムによって各々書き込みデータを前記第２の記憶サブシステム群に属する一の記憶サブシステムに転送し、第２の記憶サブシステム群に属する一の記憶サブシステムによって第１の記憶サブシステム群に属する前記記憶サブシステムごとに付与された最新の時刻を選定し、選定された最新の時刻の中で最古の時刻を前記最古の時刻の候補とすることを特徴とする請求項１記載の記憶サブシステムのデータ二重化方法。
7. 前記記憶サブシステムの記憶装置は複数のボリュームによって構成され、コピー元である第１の記憶サブシステム群に属するボリュームとコピー先である第２の記憶サブシステム群に属するボリュームとがボリュームペアを構成するとき、第１の記憶サブシステム群に属する記憶サブシステムによって複数のボリュームペアから構成されるボリュームグループごとに第２の記憶サブシステム群へのデータ転送の開始及び停止を制御することを特徴とする請求項１記載の記憶サブシステムのデータ二重化方法。
8. 複数の記憶サブシステムから構成される第１の記憶サブシステム群と、第１の記憶サブシステム群のデータのコピーを記憶する複数の記憶サブシステムから構成される第２の記憶サブシステム群とを有するデータ二重化システムであって、第１の記憶サブシステム群に属する各記憶サブシステムは、その記憶装置にデータを書き込みする手段と、該データに通番と時刻を付与する手段と、通番と時刻を付与された該データを伝送路を介して第２の記憶サブシステム群に属する記憶サブシステムへ転送する手段とを有し、第２の記憶サブシステム群に属する各記憶サブシステムは、受け取った複数のデータを通番の順に配列する手段と、受け取った複数のデータに各々付与された時刻の中で最新の時刻を選定する手段と、第２の記憶サブシステム群に属する記憶サブシステム間の通信によって前記最新の時刻の中で最古の時刻を決定する手段と、決定された最古の時刻以前の時刻が付与されたデータを各記憶サブシステムの記憶装置へデータ書き込みする手段とを有することを特徴とする記憶サブシステムのデータ二重化をするシステム。
9. 前記第１の記憶サブシステム群に属する記憶サブシステムと前記第２の記憶サブシステム群に属する記憶サブシステムとを接続する前記伝送路は、ＳＡＮ（ストレージ・エリア・ネットワーク）を構成することを特徴とする請求項８記載の記憶サブシステムのデータ二重化をするシステム。
10. 前記第１の記憶サブシステム群に属する各記憶サブシステムは、前記時刻を参照するための時計を外部からの時刻情報によって補正する手段を有することを特徴とする請求項８記載の記憶サブシステムのデータ二重化をするシステム。
11. 前記第２の記憶サブシステム群に属する記憶サブシステム間はループ伝送路によって接続されており、各記憶サブシステムは、自己の前記最新の時刻と一方に隣接する記憶サブシステムから受け取った前記最新の時刻のうちで古い方の時刻を他方に隣接する記憶サブシステムに伝送し、自記憶サブシステムが伝送しかつ自記憶サブシステムに戻った時刻を前記最古の時刻と決定する手段を有することを特徴とする請求項８記載の記憶サブシステムのデータ二重化をするシステム。
12. 前記第２の記憶サブシステム群に属する複数の記憶サブシステムのうちの１つがマスタ記憶サブシステムとして設定され、前記マスタ記憶サブシステム以外の各記憶サブシステムは、前記最新の時刻をマスタ記憶サブシステムに通知する手段を有し、前記マスタ記憶サブシステムは、自己の最新の時刻と取得した最新の時刻の中から前記最古の時刻を決定する手段を有することを特徴とする請求項８記載の記憶サブシステムのデータ二重化をするシステム。
13. 前記第１の記憶サブシステム群に属する複数の記憶サブシステムは、各々書き込みデータを前記第２の記憶サブシステム群に属する一の記憶サブシステムに転送するよう構成され、第２の記憶サブシステム群に属する前記一の記憶サブシステムは、第１の記憶サブシステム群に属する前記記憶サブシステムごとに付与された最新の時刻を選定する手段と、選定された最新の時刻の中で最古の時刻を前記最古の時刻の候補とする手段とを有することを特徴とする請求項８記載の記憶サブシステムのデータ二重化をするシステム。
14. 前記記憶サブシステムの記憶装置は複数のボリュームによって構成され、コピー元である第１の記憶サブシステム群に属するボリュームとコピー先である第２の記憶サブシステム群に属するボリュームとがボリュームペアを構成するとき、第１の記憶サブシステム群に属する記憶サブシステムは、複数のボリュームペアから構成されるボリュームグループごとに第２の記憶サブシステム群へのデータ転送の開始及び停止を制御する手段を有することを特徴とする請求項８記載の記憶サブシステムのデータ二重化をするシステム。
15. 複数の記憶サブシステムから構成される記憶サブシステム群に属する記憶サブシステムであって、前記記憶サブシステムは、外部から受け取ったデータをその記憶装置にデータ書き込みする第１の手段と、該データに通番と時刻を付与してリモートモードにある他の記憶サブシステムに転送する第２の手段と、ローカルモードにある他の記憶サブシステムから受け取った複数のデータを前記通番の順に配列する第３の手段と、受け取った複数のデータに各々付与された時刻の中で最新の時刻を選定する第４の手段と、リモートモードにある他の記憶サブシステム間の通信によって前記最新の時刻の中で最古の時刻を決定する第５の手段とを有し、当該記憶サブシステムがローカルモードのとき第１の手段と第２の手段を動作させ、リモートモードのとき第３の手段、第４の手段、第５の手段及び第１の手段を動作させ、決定された最古の時刻以前の時刻が付与されたデータを第１の手段によるデータ書き込み対象とすることを特徴とするデータ二重化システムを構成する記憶サブシステム。
16. 前記ローカルモードで動作する前記記憶サブシステムと前記リモートモードで動作する前記記憶サブシステムとは、ＳＡＮ（ストレージ・エリア・ネットワーク）を介して接続されることを特徴とする請求項１５記載のデータ二重化システムを構成する記憶サブシステム。
17. 前記記憶サブシステムは、前記時刻を参照するための時計を外部からの時刻情報によって補正する手段を有することを特徴とする請求項１５記載のデータ二重化システムを構成する記憶サブシステム。
18. 前記リモートモードで動作する前記記憶サブシステム間はループ伝送路によって接続されており、前記リモートモードの各記憶サブシステムは、自己の前記最新の時刻と一方に隣接する記憶サブシステムから受け取った前記最新の時刻のうちで古い方の時刻を他方に隣接する記憶サブシステムに伝送する手段と、自記憶サブシステムが伝送しかつ自記憶サブシステムに戻った時刻を前記最古の時刻と決定する手段とを有することを特徴とする請求項１５記載のデータ二重化システムを構成する記憶サブシステム。
19. 前記リモートモードで動作する前記記憶サブシステムのうちの１つがマスタ記憶サブシステムとして設定され、前記マスタ記憶サブシステム以外の各記憶サブシステムは、前記最新の時刻をマスタ記憶サブシステムに通知する手段を有し、前記マスタ記憶サブシステムは、自己の最新の時刻と取得した最新の時刻の中から前記最古の時刻を決定する手段とを有することを特徴とする請求項１５記載のデータ二重化システムを構成する記憶サブシステム。
20. 前記ローカルモードで動作する複数の記憶サブシステムは、前記リモートモードで動作する記憶サブシステム群に属する一の記憶サブシステムに該データを転送するよう構成され、前記リモートモードで動作する記憶サブシステム群に属する前記一の記憶サブシステムは、前記ローカルモードで動作する記憶サブシステムごとに付与された最新の時刻を選定する手段と、選定された最新の時刻の中で最古の時刻を前記最古の時刻の候補とする手段とを有することを特徴とする請求項１５記載のデータ二重化システムを構成する記憶サブシステム。
21. 前記記憶サブシステムの記憶装置は複数のボリュームによって構成され、コピー元である前記ローカルモードで動作する記憶サブシステムに属するボリュームとコピー先である前記リモートモードで動作する記憶サブシステムに属するボリュームとがボリュームペアを構成するとき、前記ローカルモードで動作する記憶サブシステムは、少なくとも１つのボリュームペアから構成されるボリュームグループごとに前記リモートモードで動作する記憶サブシステムへのデータ転送の開始及び停止を制御する手段を有することを特徴とする請求項１５記載のデータ二重化システムを構成する記憶サブシステム。
22. 複数のディスクサブシステムから構成される第１のディスクサブシステム群と、第１のディスクサブシステム群のデータのコピーを記憶する複数のディスクサブシステムから構成される第２のディスクサブシステム群とを有するディスクシステムのデータ二重化方法であって、第１のディスクサブシステム群に属する各ディスクサブシステムのディスクサブシステム制御部によってその磁気ディスクドライブにデータ書き込みするとともに、該データに通番と時刻を付与し、第１のインタフェースケーブルを介して第２のディスクサブシステム群に属するディスクサブシステムへ転送し、第２のディスクサブシステム群に属する各ディスクサブシステムのディスクサブシステム制御部によって受け取った複数のデータを通番の順に配列し、各ディスクサブシステムは、受け取った複数のデータに各々付与された時刻の中で最新の時刻を選定し、第２のディスクサブシステム群に属するディスクサブシステム間の第２のインタフェースケーブルを介する通信によって前記最新の時刻の中で最古の時刻を決定し、決定された最古の時刻以前の時刻が付与されたデータを各ディスクサブシステムの磁気ディスクドライブへのデータ書き込み対象とするためにキャッシュメモリに格納することを特徴とするディスクサブシステムのデータ二重化方法。
23. 複数のディスクサブシステムから構成される第１のディスクサブシステム群と、第１のディスクサブシステム群のデータのコピーを記憶する複数のディスクサブシステムから構成される第２のディスクサブシステム群とを有するディスクシステムであって、
    該ディスクサブシステムの各々は、ディスクサブシステム制御部と、キャッシュメモリと、磁気ディスクドライブとを有し、
    第１のディスクサブシステム群に属する各ディスクサブシステムの該ディスクサブシステム制御部は、その該磁気ディスクドライブにデータ書き込みするとともに、該データに通番と時刻を付与し、第１のインタフェースケーブルを介して第２のディスクサブシステム群に属するディスクサブシステムへ転送するよう動作し、
    第２のディスクサブシステム群に属する各ディスクサブシステムの該ディスクサブシステム制御部は、受け取った複数のデータを通番の順に配列し、受け取った複数のデータに各々付与された時刻の中で最新の時刻を選定し、第２のディスクサブシステム群に属するディスクサブシステム間の第２のインタフェースケーブルを介する通信によって前記最新の時刻の中で最古の時刻を決定し、決定された最古の時刻以前の時刻が付与されたデータを各ディスクサブシステムの該磁気ディスクドライブへのデータ書き込み対象とするために該キャッシュメモリに格納するよう動作することを特徴とするディスクサブシステムのデータ二重化をするディスクシステム。

Images