JP2007047892A - 計算機システム及び計算機システムの状態管理方法 - Google Patents

Abstract

【課題】
複数のホストと複数の記憶制御装置がある計算機環境において、複数の記憶制御装置をまたがってライト順序を保証するリモートコピーを実施するときに、１ホストがリモートコピーに該当する全記憶制御措置のコピー情報を代表して取得する。
【解決手段】
複数の記憶制御装置の代表記憶制御装置が、リモートコピー対象の記憶制御装置で個々に管理するコピー状態を収集し、代表記憶制御装置に保管する。ホストは代表記憶制御装置に対し、コピー状態取得指示を用いて保管されたコピー状態を取得する。
【選択図】図１

Description

本明細書で開示される技術は、ストレージ装置およびその制御方法に関し、特に、複数の計算機、複数のストレージ装置を有する計算機システムでのリモートコピー環境におけるストレージ装置およびその制御方法に関する。

データ量の爆発的な増加に伴い、計算機システム内のホスト計算機の数とストレージシステムの容量は増加傾向にある。また、大規模データを処理するため、複数のホスト計算機が連携して処理をおこなうことも多く見られる。例えば、１ホスト計算機の処理の結果を、別ホスト計算機が入力として処理する計算機システムなどが該当する。
さらに、業務が情報処理システムの依存性を高め、データ喪失のときの被害が甚大なものになるにつれ、当該データのディザスタリカバリの重要性も高まる一方である。

従来技術で、計算機システムのディザスタリカバリ用コピーを実施する場合は、各ホスト計算機が自ホスト計算機制御下のストレージシステムに対して、自ホスト計算機用データのコピー制御を指示していた。当該ストレージシステムのコピー制御は、コピー元ストレージシステムの該当記憶領域と、コピー転送先ストレージシステムの該当記憶領域を、各ホスト計算機が指定することで実施する。

特許文献１には、複数のホスト計算機とストレージシステムを有した計算機システムにおいて、一ホスト計算機がストレージ装置内の任意または全体の記憶領域に対し、一括してコピー操作をおこなう。ディスク装置が提供する記憶領域に対して、指定した複数の記憶領域をまとめてグループを定義しておき、グループを指定することによりコピー処理を実施できるようにする。グループは、サブグループの集合として構成され、サブグループは、計算機ごとに定義されていて、その間でのコピー順序の整合性を保証する。

特許文献２には、ホストコンピュータにおいて、ホストコンピュータに直結していない遠隔地の記憶サブシステムのリモートコピーの状態情報を取得する技術が開示されている。

US2005/0154829A1 US2005/0114467A1

ホスト計算機からの書き込みデータを格納する正ストレージシステムが、ホスト計算機ごとに異なる場合、各正ストレージシステムが有する正記憶領域の状態や副ストレージシステムの副記憶領域と正記憶領域のペアの状態をある一つのホスト計算機が、収集されていなかった。そのため、計算機システム全体としての状態管理が効率よくできなかった。

本発明の一形態は、上記問題点を解決するためになされるもので、複数のホスト計算機とホスト計算機からの書き込みデータを格納する複数の正ストレージシステムと、書き込みデータの複製データを副ストレージシステムとを有する計算機システムで、複数の正ストレージシステムの正記憶領域の状態情報を、ある一の正ストレージシステムが収集し、任意のホスト計算機に通知する。

状態情報には、正記憶領域とペアを構成する副記憶領域の状態や正記憶領域と副記憶領域間の通信状態やコピー状態が含まれていてもよい。収集する単位は、あらかじめ指定されている複数ペアをグループとして管理し、そのグループ単位で起こってもよい。

本発明の一形態によれば、複数のホスト計算機と複数ストレージ装置を有した計算機システムにおいて、一ストレージ装置が複数ストレージ装置にまたがる計算機システム全体のコピーを制御し、そのコピーの状態の取得を行うことができる。

以下に本発明の一実施例を説明する。尚、本発明は以下に説明する実施形態に限定されるものではない。

図１は本実施形態における計算機システムの構成例を示す図である。

計算機システムは、１か複数の正メインフレームホスト100a（以下MFホストとよぶ）、１か複数の正オープンシステムホスト200a（以下OPENホストとよぶ）、複数の正記憶制御装置1000a、１か複数の副メインフレームホスト100b、１か複数の副オープンシステムホスト200b、複数の正記憶制御装置1000bを有する。

複数の正記憶制御装置1000aと正MFホスト100a、正OPENホスト200aはそれぞれ通信パス500で接続されている。ただし、正OPENホスト、正MFホスト100aともにすべての正記憶制御装置1000aに接続されるとは限らない。同様に複数の副記憶制御装置1000bと副MFホスト100b、副OPENホスト200bはそれぞれ通信パス500で接続されている。副MFホスト100b、副OPENホスト200bは通常時ではスタンバイ系である。尚、正MFホスト100a、副MFホスト100b、正OPENホスト200a、副OPENホスト200bは制御ネットワーク550にも接続されている。

正MFホスト100a、副MFホスト100bは図示しないがプロセッサ、メモリ、IO処理部を有し、それぞれは内部ネットワークによって接続される計算機である。また、上記メモリにはOS（Operating System）130、アプリケーションプログラム（以下APとよぶ）110、ストレージ管理ソフト120が格納される。これらは正MFホスト100a、副MFホスト100bが有するプロセッサにより実行される。また、正OPENホスト200a、副OPENホスト200bもMFホスト同様に図示しないがプロセッサ、メモリ、IO処理部を有し、それぞれは内部ネットワークによって接続される計算機である。上記メモリにはOS（Operating System）230、AP220が格納される。これらは正OPENホスト200a、副OPENホスト200bが有するプロセッサにより実行される。

正MFホスト100a、副MFホスト100b、正OPENホスト200a、副OPENホスト200bのAPやストレージ管理ソフトからOSを介して発行されたIO要求は、各々通信パス500を介して正記憶制御装置1000aや副記憶制御装置1000bで処理される。

複数の正記憶制御装置1000aは各々入出力制御部1100a、共有メモリ1200a、キャッシュ1300a、ディスク制御装置1400a、１または複数のディスク装置1600aを有し、上記は内部的にネットワークにより接続される。入出力制御部1100aは、正ライトデータ受領部1110a、正ライトデータ転送部1120a、正区間番号生成部1130a、正マーカ作成部1135aの各種プログラムを実行可能である。また、複数の正記憶制御装置1000aのうち、一の正記憶制御装置1000aの入出力制御部1100aは、各種プログラムの実行や通信線を介する外部との送受信の制御を行う。正グループ代表処理部1140aは共有メモリ1200aに格納されているプログラムであって、入出力制御部1100aが、共有メモリから読み出し、実行する。

入出力制御部で実施する処理で必要となる情報は、グループ管理情報1210a、ライトデータ管理情報1220a、正コピーペア管理情報1230a、正ボリューム管理情報1240a、正グループコンテナ管理情報1250a、グループコピー状態情報1260aがある。上記情報は共有メモリ1200aに格納される。

キャッシュ1300aは主にリードデータやライトデータを格納する高速なメモリであり、キャッシュ1300aを使用することによって高いIO処理性能を実現することができる。

ディスク制御部1400aは１か複数のディスク装置1600aを論理的な記憶資源（以下、論理ボリュームとよぶ）として提供する処理を行う。また、ディスク制御部1400aは必要に応じキャッシュ1300aとディスク装置1600a間のリードデータやライトデータの転送処理も行う。

ディスク装置1600aはHDDなどの物理的なデータ記憶装置である。ディスク装置1600aはディスク制御部からの入出力指示に従って、データの書き込み、読み出し処理を行う。

複数の副記憶制御装置1000bも各々入出力制御部1100b、共有メモリ1200b、キャッシュ1300b、ディスク制御装置1400b、１または複数のディスク装置1600bを有し、上記は内部的にネットワークにより接続される。入出力制御部1100bは副ライトデータ受領部1110b、副ライトデータ反映部1150bの各プログラムを実行する。また、一の副記憶制御装置1000bの入出力制御部1100bは、副グループ代表処理部1140bを実行する。この副グループ代表処理部1140bは共有メモリ1200bに格納されているプログラムであって、入出力制御部1100bが、共有メモリから読み出し、実行する。

共有メモリ1200bには入出力制御部1100bが使用する、グループ管理情報1210b、ライトデータ管理情報1220b、副コピーペア管理情報1230b、副ボリューム管理情報1240b、副グループコンテナ管理情報1250b、グループコピー状態情報1260bが格納される。

キャッシュメモリ1300b、ディスク制御部1400b、ディスク装置1600bの役割は前述の正記憶制御装置1000aと同じである。

また、複数の正記憶制御装置1000aと複数の副記憶制御装置1000b間は、通信パス510により接続される。複数の正記憶制御装置1000a間、および複数の副記憶制御装置間もまた通信パス530により接続される。なお、正記憶制御装置1000aとディスク装置1600aとを備えるシステムを正ストレージシステム、副記憶制御装置1000bとディスク装置1600bとを備えるシステムをストレージシステムをいう。

図１９はこのハードウェア構成例を示している。正ストレージシステム10a,11a,12aは、それぞれ正記憶制御装置及びディスク装置を有している。正ストレージシステム10a,11a,12aは通信パス530により接続される。

同様に副ストレージシステム10b,11b,12bは、それぞれ副記憶制御装置及びディスク装置を有している。副ストレージシステム10b,11b,12bは通信パス530により接続される。

複数の正/副記憶制御装置1000a/bは、各々入出力制御部1100a/b、共有メモリ1200a/b、キャッシュ1300a/b、ディスク制御装置1400a/b、１または複数のディスク装置1600a/bを有し、上記は内部的にネットワークにより接続される。

上述のとおり、正グループ代表処理部1140aは複数ある正記憶制御装置1000aの１正記憶制御装置にあり、同様に副グループ代表処理部1140bも複数ある副記憶制御装置1000bの１副記憶制御装置にある。ここで、正グループ代表処理部1140aはグループコンテナを使用する１リモートコピーに対し１存在する。従って、グループコンテナを使用するリモートコピーが複数計算機システム内で動作する場合、当該リモートコピーが動作する個数分正グループ代表処理部1140aは動作する。

記憶制御装置間で実施するリモートコピーの動作概要について説明する。例えば正MFホスト100aが正記憶制御装置1000aに対しライトIO要求を発行する場合を考える。正MFホスト100aが発行したライトIO要求が正記憶制御装置1000aに到着すると、当該IO要求に含まれるライトデータは当該正記憶制御装置1000aの論理ボリュームに格納される。ここで、当該IO要求があらかじめ登録された論理ボリュームへのライトであった場合、正記憶制御装置1000aは当該ライトデータに対しリモートコピーを実施する。リモートコピーとは正記憶制御装置1000aの特定論理ボリュームへのライトデータを副記憶制御装置1000b内の特定論理ボリュームにリモートコピーする手続きを指す。リモートコピーの転送元ボリュームとライトデータの転送先ボリュームの組み合わせをコピーペアとよぶ。

本実施例では、正記憶制御装置1000aおよび副記憶制御装置1000b間には複数のコピーペアが存在し、特定のコピーペアをまとめてグループ化されている。グループ化されたリモートコピーの一例を示す概念図を図2に示す。図2で、正記憶制御装置1000aにはグループA、グループB、グループCが、記憶制御装置1000bにはグループD、グループE、グループFが存在する。グループには記憶制御装置内の１か複数の論理ボリューム1500が存在する。ボリューム1500間の矢印はグループ間のコピーペアの対応関係を示している。すなわち、コピー元のグループAはコピー転送先のグループDとコピーペア関係が有り、同様にグループBとグループEおよび、グループCとグループFがコピーペアの関係がある。本実施例ではグループ単位で、正記憶制御装置1000aが受信したライトデータの順序や、正記憶制御装置1000aから副記憶制御装置1000bへのライトデータの転送や、副記憶制御装置1000bにおけるライトデータのボリュームへの反映を管理していて、このような処理に必要な資源の割り当てを行っている。

グループ単位でリモートコピーを制御することで、多数のコピーペア単位の制御の必要がなくなり、コピー制御が容易になる。また、業務やユーザの要望などに応じたコピーペアのみをグループとしてまとめることができるため、不要な論理ボリューム1500のリモートコピーを実施することもなくなる。また、MFホスト100とOPENホスト200で論理ボリューム1500に対する要求性能が異なるため、これらは別のグループに分けてそれぞれで処理を行うようにし、処理に対するユーザからの操作やチューニング条件の設定などを別々に受けられるようにする目的もある。
実施例のリモートコピーではさらに、複数のグループをまとめたリモートコピー制御が可能なグループコンテナが記憶制御装置に存在する。複数のグループをまとめた制御可能なグループコンテナを使用することで、記憶制御装置内の論理ボリュームに制御範囲が限定される上記グループの枠を超えた、複数記憶制御装置を跨ったリモートコピー制御が可能になる。例えば図２では、グループコンテナにはコピー元のグループA、グループB、グループCおよび、コピー転送先のグループD、グループE、グループFが存在する。グループコンテナを使用することで上記コピー元からコピー転送先への複数グループをまとめたコピー操作が可能になる。
グループコンテナを使用する例として、MFホスト100とOPENホスト200など複数ホストが連携して業務を実施する場合がある。例えばMFホストで１記憶制御装置の論理ボリュームを使ってデータベースを提供し、OPENホストで上記記憶制御装置とは異なる記憶制御装置内の論理ボリュームを用いてWEBサービスを提供する場合を考える。OPENホストはクライアント計算機からの要求によりWEBサービスを提供するが、そのWEBサービスではデータベースに登録されたデータが必要になることがある。その場合OPENホストは、MFホスト上で動作するデータベースに問い合わせを行う。MFホストは当該OPENホストからの問い合わせに従いデータベース処理を行い、当該OPENホストにその結果のデータを通知する。OPENホストはMFホストからのデータを利用して、要求元クライアント計算機にサービスを提供する。ここで、MFホスト、OPENホストではそれぞれ異なるアプリケーションプログラムが動作するが、それぞれのアプリケーションプログラムは他方のアプリケーションプログラムが生成するデータを必要とするため、それぞれのアプリケーションプログラムの保存情報（動作ログ、処理データなどアプリケーションプログラムが障害回復用に必要とするライトデータ）もまとめて副記憶制御装置に転送することが望ましい。

また、本実施例によると、グループおよびグループコンテナ内では、正記憶制御装置1000a内グループ該当ライトデータの順序関係を副記憶制御装置1000bで保障するリモートコピーを実施する。上記のようなリモートコピーでライトデータの順序関係の保障をライトデータの整合性とよぶ。グループを使用することで、記憶制御装置内の該当グループに属する論理ボリューム間でライト順序を保障することが可能なリモートコピーを実現する。また、グループコンテナを使用する場合は、グループコンテナ内にある記憶制御装置1000を跨いだ論理ボリューム間でライト順序を保障するリモートコピーを実現する。グループ内でライトデータの整合性を保障することで、たとえば記憶制御装置内の複数ボリュームにまたがって処理をするデータベースで、副記憶制御装置からの回復を可能にする。

また、グループコンテナ内でライトデータの整合性を保障することで、複数記憶制御装置の論理ボリュームに跨って処理をする分散データベースや、上記に示したMFホスト、OPENホストを連携した処理例で、業務データをリモートコピーで副記憶制御装置に転送する場合、上記の副ホストが副記憶制御装置に転送されたデータを用いることで、業務の回復を可能にする。正記憶制御装置が受信するライトデータの書き込み順序が副記憶制御装置でも同一であるため、副記憶制御装置からの回復手順は正記憶制御装置における障害時の回復手順と同一である。ここで、上記のMFホスト、OPENホストが連携した業務で、グループコンテナを用いない場合、MFホストが正記憶制御装置1000aにライトしたデータが回線障害などで転送不可能になったとしても、OPENホストに接続された正記憶制御装置1000aと副記憶制御措置1000bの回線に障害が発生しない限り、OPENホストがライトしたデータは副記憶制御装置1000bに転送される。ここで、正記憶制御装置1000aが被災にあい、副ホストから回復処理がなされたとしても、副記憶制御装置1000b間でデータの書き込み順序が異なってしまっているため、アプリケーションプログラムが必要とするデータが正しく転送されていないことがあり、業務の復帰ができないことがある。

図３に正グループコンテナ管理情報1250aの形式の一例を示す。正グループコンテナ管理情報1250aには、グループコンテナID（1A）、グループ数（1B）、区間番号（1C）、グループ情報（1D）を含む。グループコンテナID（1A）は正副記憶制御装置間でグループコンテナを識別するためのIDである。グループ数（1B）はグループコンテナ内に存在するグループの総数を示す。区間番号（1C）はリモートコピーの時間的な区間を示す番号である。グループ情報（1D）は記憶制御装置を識別する記憶制御装置IDおよびその制御装置に存在するグループのIDおよびコピー状態を含む。正グループコンテナ管理情報1250aはステップ5020で合致したコピーペア管理情報1230a内のグループコンテナID （5G）とグループコンテナIDが合致するものを取得する。
図４にグループ管理情報の形式の一例を示す。グループ管理情報1210aはグループID（2A）、グループコンテナID（2B）、シーケンシャル番号（2C）、論理ボリューム数（2D）、論理ボリューム（2E）、相手記憶制御装置ID（2G）、相手グループID(2H)を含む。グループID（2A）は正制御装置1000a内のグループを識別するために使用する。グループコンテナID（2B）は正副記憶制御装置間でグループコンテナを識別するためのIDである。シーケンシャル番号（2C）はグループ内ライトデータのライト順序を保障するための番号である。具体的には、シーケンシャル番号は正記憶制御装置1000aがMFホスト100、OPENホスト200から受信した、該当グループに属する論理ボリューム1500aに対するライトデータに連続的に与えられる番号であり、その値はグループ管理情報1210aに保管される。初期値は例えば０で、順次１ずつ加算される。論理ボリューム数（2D）は当該グループに存在する論理ボリューム1500の総数である。ボリュームIDは該当グループ内に存在するボリュームのIDである。相手記憶制御装置ID（2G） は、正記憶制御装置1000aとリモートコピーにおいて対となっているコピー転送先の副記憶制御装置1000bのIDである。相手グループID（2H）は相手記憶制御装置IDにおいて、コピー転送先の論理ボリュームが属するグループを特定するためのIDである。

また、副記憶制御装置1000bはグループ管理情報1260bを有するが、この項目も正記憶制御装置1000aのグループ管理情報1260bと同様である。ただし、グループ管理情報1260bのグループIDはコピー転送先の論理ボリューム1500が属するグループを特定するIDであり、相手記憶制御装置IDはコピーの転送元の論理ボリュームを有する正記憶制御装置1000aを特定するIDであり、相手グループIDは相手記憶装置IDが指す正記憶制御装置1000aにおけるコピー転送元の論理ボリュームが属するグループを特定するためのIDである。

図５にライトデータ管理情報1220aの一例を示す。副記憶制御装置で転送元の論理ボリュームに格納されるデータの複製データを転送先の論理ボリュームに格納するのに参照される情報を含む。ライトデータ管理情報1220aは論理ボリュームID（3A）、ライトアドレス（3B）、ライトデータ長（3C）、ライトデータポインタ（3D）、シーケンシャル番号（3E）、区間番号（3F）、転送必要ビット（3G）を含む。論理ボリュームID（3A）は当該ライトデータのライト先ボリュームを特定するためのIDである。ライトアドレス（3B）は当該ライトデータのライト先論理ボリューム上のライトアドレスである。ライトデータ長（3C）は当該ライトデータのデータサイズである。転送必要ビット（3G）はリモートコピー対象の有無を示す。

また、副記憶制御装置1000bのライトデータ管理情報1220bの内容は、正記憶制御装置のライトデータ管理情報1220aのものと同様である。ただし、副記憶制御装置1000bの共有メモリ1200bに格納されるライトデータ管理情報1220bは、論理ボリュームIDがコピー転送先ボリューム１５００のIDであり、ライトデータポインタは副側記憶制御装置1000bのキャッシュメモリ1300bにおけるライトデータの開始アドレスであり、転送必要ビットは転送なしを示すビットになっていることが、正記憶制御装置1000aが有するライトデータ管理情報と異なる。

図６にグループコピー状態情報1260aの形式の一例を示す。グループコピー状態情報とは、当該グループに登録されたコピーペアの状態を各コピー状態のペア数で示した情報テーブルである。グループコピー状態情報1260aはグループID（4A）、グループ内ペア数（4B)、コピー中ペア数（4C）、2重化ペア数（4D）、一時停止中ペア数（4E）、一時停止ペア数(4F)、ペア解除中ペア数（4G）、エラー有無（4H）、代表エラーコード（4I）を含む。グループID(4A)は正記憶制御装置1000a内のグループを識別するためのIDである。グループ内ペア数（4B）はグループIDが指すグループに含まれるコピーペア数の総数を示す。コピー中ペア数（4C）はリモートコピーの状態の1つで、初期コピー中の状態にあるコピーペアのグループ内の総数を示す。2重化ペア数（4D）はリモートコピーの状態の1つで、2重化の状態にあるコピーペアのグループ内の総数を示す。一時停止中ペア数(4E)はリモートコピーの状態の1つで、一時停止中の状態にあるコピーペアのグループ内の総数を示す。一時停止ペア数（4F）はリモートコピーの状態の1つで、一時停止の状態にあるコピーペアのグループ内の総数を示す。ペア解除中ペア数（4G）はリモートコピーの状態の1つで、ペアを解除する遷移途中であるコピーペア数のグループ内の総数を示す。エラー有無(4H)はコピー処理中にエラーが発生した場合、当該情報をエラーが発生したことを示すビットが記録される。代表エラーコード（4I）はエラービットがエラー有りをさすビットであるときに、セットされる情報でエラーコードが入る。グループコピー状態情報1260aの使い方の詳細は後述する。

図２０にコピー状態の遷移表を示す。コピーペアの状態は７状態存在する。初期、コピー中、2重化、一時停止中、一時停止、ペア解除中、エラーである。初期2000はコピーが開始されていない状態である。コピー中2010は初期コピー中の状態である。初期コピーとはコピーペアのコピー元ボリュームの内容をコピー転送先ボリュームに転送し終えていない過渡的な状態を指し、コピー転送先とコピー元の内容が一致してない。コピー開始直後に遷移する状態である。2重化2020はコピーペアのコピー元ボリュームの内容をコピー転送先ボリュームに転送し終えた状態である。2重化遷移以降は正記憶制御装置1000ａの該当ボリュームへのライトデータ受信時のみ、データ転送を実施する。一時停止中2030はコピーを一時的に停止する途中の過渡状態である。一時停止2040はコピーを一時的に停止した状態である。この状態に遷移すると、ライトデータはコピー元の正記憶制御装置1000aに一時的に保管される。一方コピー再開時は当該正記憶制御装置に保管されていたライトデータが副記憶制御装置1000bに転送される。この転送される状態も一時停止中2030状態となる。ペア解除中2050はコピーを終了するときに遷移する過渡的な状態である。また、エラー状態2060はコピー処理中に障害が発生した時点で遷移する。

なお、矢印は遷移方向を指している。また、円は定常的な状態を、四角は過渡的な状態をさす。たとえば、ペア解除中2050は一時停止、2重化状態2030から遷移が可能であることを指している。また、エラー2060はどの状態からも遷移する可能性があるため、図では遷移方向を示していない。

図７にコピーペア管理情報1230aの形式例を示す。コピーペア管理情報1230aには正論理ボリュームID(5A)、コピー状態（5B）、副記憶制御装置ID（５C）、副論理ボリュームID（5D）、グループID(５F)、グループコンテナID（5G）を含む。正論理ボリュームID(5A)は正記憶制御装置上のコピー元の論理ボリュームを識別するIDである。コピー状態（5B）はコピーの処理状態を示す。副記憶制御装置ID(5C)はコピー転送先の副記憶制御装置を識別するIDである。副論理ボリュームID(5D)は前述の副記憶制御装置にあるコピー転送先の論理ボリュームを識別するためのIDである。正グループID（5F）はコピーペアが属する正記憶制御装置1000aのコピーグループを識別するID、グループコンテナ(5G)は正・副記憶制御装置の正副コピーグループをまとめるグループコンテナを識別するIDである。

コピーペア管理情報1230aは、保存された記憶制御装置1000aで動作する全リモートコピーのコピーペア情報が記載される。

また、副記憶制御装置1000bにもコピーペア管理情報も持つが、この項目も正記憶制御装置1000aのものと同様である。

図８は、ボリューム管理情報1240aの形式例である。ボリューム管理情報1240aは正記憶制御装置1000aが正記憶制御装置内の全ボリュームの状態を管理するための管理情報で、ボリューム管理情報1240aには論理ボリュームID(6A)、ボリューム状態(6B)、容量（6C）、ペアID（6D）、グループID（6F）、グループコンテナID（6G）を含む。論理ボリュームID(6A)は正記憶制御装置上のコピー元の論理ボリュームを識別するIDである。ボリューム状態(6B)はボリュームの状態を示し、正常、正、副、異常、未使用のいずれかの値を取る。ボリューム状態が正常または正の場合には、その論理ボリュームに対して正MFホスト100aもしくは正OPENホスト200aが正常にアクセス可能であることを意味する。また、ボリューム状態が正の場合には、コピー元の論理ボリュームであることを意味する。ボリューム状態が副の場合には、コピー転送先の論理ボリュームであることを意味する。ボリューム状態が異常の場合には、その論理ボリュームに対して正MFホスト100aもしくは正OPENホスト200aが正常にアクセスできないことを意味する。たとえば、論理ボリュームを有するディスク装置1600aの故障による障害が該当する。ボリューム状態が未使用の場合には、その論理ボリュームは使用されていないことを意味する。ペアID(6D)は、ペアを特定するためのIDを示す。グループID(6F)はグループコンテナ内の正記憶制御装置1000aにおいてグループを特定するためのIDである。グループコンテナID（6G）はグループコンテナを特定するためのIDである。
また、副記憶制御装置1000bにもボリューム管理情報1240bを持つが、正記憶制御装置1000aのものと同様である。

次に、グループコンテナを使用したリモートコピーの動作について説明する。

図９は正記憶制御装置1000aが正MFホスト100aもしくは正OPENホスト200aから、リモートコピーのコピー元となる論理ボリューム1500aに対するライトIO要求を受領した場合の処理の一例を示した図である。

正記憶制御装置1000aの正ライトデータ受領部1110aは、通信パス５００を介して、MFホストもしくはOPENホストが発行したライトIO要求を受領する。正ライトデータ受領部1110aでは当該受領ライトIO要求の解析を行い、ライト先の論理ボリュームID、ライトアドレス、ライトデータ長およびライトデータを取得する（ステップ5000）。

正ライトデータ受領部1110aは取得したライトデータをキャッシュメモリ1300aに格納する（ステップ5010）。さらに、正ライトデータ受領部1110aは共有メモリ1200aに保管されたコピーペア管理情報1230aを参照する。

次に、正ライトデータ受領部1110aは当該管理情報の正論理ボリュームID（5A）の内容と、受領したライトIO要求のライト先の論理ボリュームIDを比較する（S5020）。比較の結果コピーペア管理情報の正論理ボリュームID（5A）と受領したライトIO要求のライト先の論理ボリュームIDが合致すれば（5020YES）、受領したライトIO要求がリモートコピー対象となる。

受領したライトIO要求がリモートコピー対象である場合、正ライトデータ受領部1230aは、区間番号およびシーケンシャル番号を前述のライトデータに与える（ステップ5030）。区間番号は、複数装置、複数グループをまたがったリモートコピーで、転送データのライト順序を保証するために利用する。区間番号の詳細は後述する。またシーケンシャル番号はグループ内ライトデータのライト順序を保障するために利用する。

正ライトデータ受領部1230aは、区間番号情報を取得するため、共有メモリ1200aから正グループコンテナ管理情報1250aを参照する。また、正ライトデータ受領部1230aはシーケンシャル番号を取得するため、共有メモリ1200aからグループ管理情報1210aを参照する。正ライトデータ受領部1110aは、グループ管理情報1210aからステップ5020で合致したコピーペア管理情報1230aのグループID（５F）とグループIDが合致するものを取得する。以上の手続きにより得られた区間番号およびシーケンシャル番号を前述のライトデータに付与する（S5030）。

ステップ5030の後、もしくはコピーペア管理情報1230ａの正論理ボリュームID（5A）と受領したライトIO要求のライト先の論理ボリュームIDが合致しない場合（5020NO）、正ライトデータ受領部1110aは、ステップ5030で得た区間番号およびシーケンシャル番号に１加算したシーケンシャル番号、さらにステップ５０００で取得した情報（ライト先の論理ボリュームID、ライトアドレス、ライトデータ長）、ステップ５０１０でライトデータをキャッシュメモリに格納するときに得たライトデータポインタを用いて、ライトデータ管理情報1220aを作成する（ステップ5040）。

ステップ5030では、正ライトデータ受領部1110aは、ライトデータ管理情報1220aの転送必要ビット（3G）には転送することを示すビットを設定する。

最後にライトデータ受領部1110aはMFホスト100aもしくはOPENホスト200aにライト完了報告を行う（ステップ5050）。

以上のように、記憶制御装置1000にホストからのIO要求を受領してから完了報告をホストに返すまでに、一般的に多大な時間が必要になるといわれる物理ディスクへのライトや、別記憶制御装置への転送処理が含まれない。これらの処理は適当なタイミングで非同期に実施される。従って、MFホストやOPENホストからのIO要求は短時間で完了が可能となる。

図１０、図２１は入出力制御部1100a上で動作する正グループ代表処理部1140aが正記憶制御装置1000aのライトデータ受領部1110aに対してライト要求の処理の保留と区間番号の更新指示する処理の一例を示した図である。

図１０は上記処理で、特に正グループ代表処理部1140aが存在する正記憶制御装置1000aの処理を示す。

複数の正記憶制御装置1000aのうちの１の正記憶制御装置1000aに存在する正グループ代表処理部1140aは、共有メモリ1200aにあるグループコンテナ管理情報1250aを参照し、グループコンテナに属する全ての正記憶制御装置1000aに対し、ライト要求の処理の保留を指示する（ステップ5200）。

次に正グループ代表処理部1140aは、グループコンテナに属するすべての正記憶制御装置1000aからライト要求の処理保留開始の報告を受けたか確認する。（ステップ5240）。

正グループ代表処理部1140aは、ライト要求の処理保留開始の報告を受けた場合（ステップ5240YES）、正グループ代表処理部1140aは、区間番号の更新をグループコンテナに属するすべての正記憶制御装置1000aに指示する。この指示にはパラメータとして、前回この指示を正グループ代表処理部1140aが発行した際に指定した区間番号に１を加えた値が、新たな区間番号として含まれる（ステップ5250）。

正グループ代表処理部1140aは、ステップ5250の区間番号更新指示を送信した正記憶制御装置1000a全てから区間番号更新完了の報告があるのを確認してから次の処理に進む（ステップ5280、5290）。

正グループ代表処理部1140aは、グループコンテナに属する全ての正記憶制御装置1000aにライト要求処理保留の解除を指示する（ステップ5300）。
次に、正グループ代表処理部1140aは、区間番号更新指示を送信した正記憶制御装置1000a全てに対し、コピーペアの状態を収集する処理を行う（ステップ5330）。このコピーペアの状態収集処理の手続きは後述する。

本処理では、ライト要求の処理の保留と区間番号の更新指示する処理の他に、さらに各記憶制御装置のコピー状態の収集処理も行う。

この手続きを一定間隔で実施することにより複数の記憶制御装置間を跨いだリモートコピーにおける転送されるライトデータの整合性の保障が可能になる。

図２１は、正記憶制御装置1000aのライトデータ受領部1110aのフローチャートを示す。このフローチャートは、正グループ代表処理部1140aが、その正記憶制御装置1000a自身に有していなくてもよい。

各正記憶制御装置1000aのライトデータ受領部1110aは、正グループ代表処理部からステップ5200でのライト要求保留の指示を受け、ライト要求の処理を保留する（ステップ5210）。ライトデータ受領部1110aは、ライト要求の保留を開始したことを正グループ代表処理部1140aに通知する（ステップ5220）。正グループ代表処理部1140aのアドレスは、ライト要求の保留指示に含まれており、各正記憶制御装置1000aは、当該アドレスを使用して正グループ代表処理部1140aに保留されている状況であることを通知する。

ステップ5250で正グループ代表処理部1140aから指示された区間番号の更新指示を受け取って、各正記憶制御装置1000aの区間番号生成部1130aは、受信した区間番号をグループコンテナ管理情報1250aに記録する（ステップ5260）。また、区間番号生成部1250aは、区間番号更新完了を正グループ代表処理部1140aに報告する（ステップ5270）。

各正記憶制御装置1000aは、ステップ5250で正グループ代表処理部1140aから受信する区間番号更新指示に含まれる区間番号を、正グループコンテナ管理情報1250aに記録されており、正区間番号生成部1130aは区間更新指示を受信するたびに、グループコンテナ管理情報1250aの区間番号を更新する。

各正記憶制御装置1000aのライトデータ受領部1110aは、ライト要求処理の保留を解除する指示を受け、ライト要求の処理の保留を解除し（ステップ5310）、保留を解除したことを正グループ代表処理部1140aに報告する（ステップ5320）。

以上が、各正記憶制御装置でのライトデータ受領部1110a及び正区間番号生成部1130aの処理である。正グループ代表処理部を有する正記憶制御装置のライトデータ受領部1110a及び正区間番号生成部1130aと、同じ正記憶制御装置内で正グループ代表処理部とのやりとりが行われる。正グループ代表処理部を有さない正記憶制御装置のライトデータ受領部1110a及び正区間番号生成部1130aは、通信パス500を介して正グループ代表処理部と通信を行う。

図１１A及び図１１Bは、正記憶制御装置1000aから副記憶制御装置1000bへのライトデータの転送処理の一例を示す図である。

まず、図１１Aは、正記憶制御装置1000aの正ライトデータ転送部1120aの処理を示す。正ライトデータ転送部1120aは、ライトデータ管理情報1220aを参照し、転送必要ビットが転送有りを示しているライトデータを求め、ライトデータ管理情報1220aとグループ管理情報1210aとコピーペア管理情報1230aを参照し、ライトデータ情報を作成する（ステップ6000）。

このライトデータ情報には、ライトデータ管理情報1220aから参照したライトアドレス、ライトデータ長、シーケンシャル番号、区間番号と、コピーペア管理情報1230aから参集した相手グループIDが含まれる。

次に正ライトデータ転送部1120aは、ステップ6000で特定したライトデータとステップ6000で共有メモリ1200aから読み出したライトデータ情報を、副記憶制御装置1000bに転送する（ステップ6010）。

図１６に到着済ライトデータ情報の一例を示す。到着済みデータは、正ライトデータ転送部1120aから副記憶制御装置に転送されたライトデータ情報である。到着済ライトデータ情報はグループコンテナID（7A）、グループID（7B）、到着済み最新区間番号グループコンテナID（7C）を含む。グループコンテナID（7A）は正副記憶制御装置間でグループコンテナを識別するためのIDである。グループID(7B)はグループコンテナ内の副記憶制御装置1000bにおいてグループを特定するためのIDである。到着済み最新区間番号グループコンテナID（7C）は副記憶制御装置1000bのライトデータ受領部1110bがこれまでに受領したグループIDが示すグループに属するコピー転送先論理ボリューム１５００に対するライトデータに与えられていたライトデータ情報の区間番号のうち最も大きい値である。

図11Bは、副記憶制御装置1000bの副ライトデータ受領部1110bが、正記憶制御装置1000aから受領したデータに関する処理の流れを示す図である。副ライトデータ受領部1110bは、当該装置内の副ライトデータ受領部1110bが、受領したライトデータとライトデータ情報をキャッシュメモリ1300bに格納する（ステップ6020）。さらに、副ライトデータ受領部1110bはライトデータ情報からライトデータ管理情報1220bを作成する（ステップ6030）。

副ライトデータ受領部1110bは、受領したライトデータ情報に含まれている区間番号が最新のものであることを確認し（ステップ6040）、最新であればこの区間番号を到着済ライトデータ情報1270bに記録する（ステップ6050）。

ライトデータ受領部1110bは、到着済ライトデータ情報1270bとして保持されている区間番号と、受領したライトデータ情報に含まれている区間番号を比較して、受信したライトデータ情報に含まれている区間番号の値が大きければ、この値に到着済ライトデータ情報1270bを更新する（ステップ6050）。

最後にライトデータ受領部1110bは正ライトデータ転送部1120aにライトデータ受領完了を報告する（ステップ6060）。ライトデータ受領完了の報告を受信したライトデータ転送部1120aは、完了報告に対応するライトデータについてライトデータ管理情報1220aの転送必要ビットが不要を示すビットに変更する。正記憶制御装置1000aが有する転送元の論理ボリューム1500にライトデータが書き込まれている条件で、キャッシュメモリから当該ライトデータを破棄できる。

図１２、図２２は、副記憶制御装置1000bにおけるコピー転送先論理ボリュームへのライトデータの反映処理の一例を示す図である。

図１２は、上記処理で副グループ代表処理部1140bが存在する副記憶制御装置1000bの処理を示す。

複数の副記憶制御装置1000bのうち１の副側記憶装置1000bに存在する副グループ代表処理部1140bは、すべての副側記憶装置1000bから、到着済ライトデータ情報1270bに記録されている区間番号を全グループについて取得する。次に、取得した区間番号のうち最小の区間番号を求める(ステップ6500)。さらに、副グループ代表処理部1140bはステップ6500で求めた区間番号の数値を下回る区間番号をもつライトデータ管理情報1220bに持つライトデータを転送先論理ボリュームに反映するように、すべての副記憶制御装置1000bに指示する（ステップ6510）。

副グループ代表処理部1140bは、グループコンテナの対象となる副記憶制御装置1000bから転送先論理ボリュームへの反映処理に関する報告が、あるのを確認する。副グループ代表処理部1140bは、反映処理に関する報告を確認し（ステップ6540、6550）、対象となる副記憶制御装置1000bにおけるライトデータの反映の完了を確認した場合（ステップ6550YES）、コピー状態収集処理を行う（ステップ6560）。

図２２は上記処理で副グループ代表処理部1140bが存在しない副記憶制御装置1000bの処理を示す。

副ライトデータ反映部1150bは、ステップ6510で発行された指示に該当するライトデータの転送先論理ボリューム1500へ、各グループにおけるシーケンシャル番号順に反映する。副ライトデータ反映部は、指示されたライトデータの論理ボリュームへの反映が完了した場合、反映完了を副グループ代表処理部1140bに報告する（ステップ6540）。

以上が、各副記憶制御装置での副ライトデータ反映部1110bの処理である。副グループ代表処理部を有する副記憶制御装置の副ライトデータ反映部1110bと、同じ副記憶制御装置内で副グループ代表処理部とのやりとりが行われる。副グループ代表処理部を有さない副記憶制御装置の副ライトデータ反映部1110bは、通信パス500を介して副グループ代表処理部と通信を行う。

次に、正グループ代表処理部1140aが行うコピー状態収集処理について詳細に説明する。

正グループ代表処理部1140aが、一定間隔で区間番号の更新処理と共に、グループコンテナにある全正記憶制御装置1000aのコピー状態も収集する。コピー状態は各正記憶制御装置1000aで、グループ単位で管理される。図１３は、正グループ代表処理1140aを備える正記憶制御装置1000aのフローを示す。。

まず、正グループ代表処理部1140aは、図１０、図２１のステップ５３２０が終了すると、グループコンテナ内の正記憶制御装置1000aに対し、グループコピー状態情報1260aの提供を指示する（ステップ5330）。 指示を受けた正記憶制御装置1000aの正ライトデータ転送部1120aは、グループコピー状態情報1260aを共有メモリ1200aから取得し、正グループ代表処理部1140aに報告する（ステップ5340）。

正グループ代表処理部1140aは、取得したグループコピー状態情報1260aを共有メモリ1200a内の正グループコンテナ情報に記録する（ステップ5350）。正グループ代表処理部1140aは、コピーコンテナ対象となる全正記憶制御装置1000aからグループコピー状態情報1260aを取得し、正グループコンテナ情報に記録した時点で、コピー状態収集処理を終える（ステップ5360、5370）。 上記コピー状態収集処理は副記憶制御装置1000b間でも実施しても構わない。

なお、正グループ代表処理部1140aが存在しない記憶制御装置は、他の記憶制御装置の正グループ代表処理部から通信パス５００を介して指示を受け、正記憶制御装置1000aの正ライトデータ転送部1120aは、グループコピー状態情報1260aを共有メモリ1200aから取得し、通信パスを介して他の正記憶制御装置の正グループ代表処理部1140aに報告する（ステップ5340）。

正グループ代表処理部1140aが、他の正記憶制御装置1000aから情報を取得する図１３と同様に、副グループ代表処理部1140bが副記憶制御装置1000bからコピー状態収集処理を実施する。 通常ペアの状態はペアごとに状態を保持することで管理するが、本実施例によれば、ペアの状態をその状態を示しているペア数として保持する。上記のようにペアの状態を保持することで、大幅な状態情報の圧縮が可能になる。

図１５にストレージ制御指示7300の一例を示す。ストレージ制御指示はMFホスト100、OPENホスト200が記憶制御装置1000に発行するIO要求の一種で、あて先(8A)、指示内容(8B)、グループコンテナID（8C）、オプション（８D）を含む。あて先(8A)にはMFホスト100、OPENホスト200が発行するIO要求の発行先（記憶制御装置1000を識別するID）が入る。指示内容（8B）にはストレージ制御の指示内容が指定される。指示内容には、グループコンテナコピー状態取得、グループコンテナ操作（グループコンテナの登録、グループコンテナの削除、グループコンテナへのグループ追加、グループコンテナからグループの解除）、グループコンテナコピー操作（コピー開始、コピー一時停止、コピー再開、コピー解除）、グループ代表処理部操作（代表登録、移動、解除、状態報告）がある。グループコンテナID（8C）にはグループコンテナを識別するためのIDが入る。オプション(8D)にはストレージ制御指示を補助するオプション情報が指定される。

指示内容(8B)がグループコンテナコピー状態取得の場合は、当該指示を受領した記憶制御装置がグループコンテナコピー状態情報8100を報告する。

図１７にストレージ制御指示7300におけるグループコンテナコピー状態情報8100の報告形式の一例を示す。グループコンテナコピー状態情報8100の報告形式は、あて先(10A)、記憶制御装置ID（10B）、グループID(10C)、コピー状態情報（10D）、代表エラー情報（10E）、以降記憶装置ID(10F)から、エラー情報（10I）の組み合わせを一グループ分として、グループコンテナに属することができるグループの数分上記の情報が連続する。あて先は（10A）は応答先ホストIDが含まれる。記憶制御装置ID(10B)は記憶制御装置を識別するためのIDが入る。グループID（10C）には記憶制御装置ID(10B)が指す記憶制御装置内に存在するグループを識別するためのIDが入る。コピー状態情報（10D）にはグループ内のコピーペアがどのコピー状態であるかが、コピーペアの数で記録される。代表エラー情報は（10E）はグループ内で発生したコピーに関するエラー情報が記録される。代表のエラーとはグループ内で最も新しい時間に発生したエラー情報を指す。ここで、記憶制御装置ID（10B）から代表エラー情報（10I）までの情報は正記憶制御装置1000a内共有メモリ1200aに格納される正グループコンテナ管理情報1250aのグループ情報（1D）と同じ内容である。また、グループ情報（1D）の状態情報はグループコピー状態情報1260aと同じ内容である。グループ代表処理部1140aは定期的に収集するグループコピー状態情報1260aを正グループコンテナ管理情報1250aに記録しておき、ストレージ制御指示（状態情報報告）に応じて、上記正グループコンテナ管理情報1250aを参照することで、コピー状態情報を作成し提供できるようになる。

次に、MFホスト100a、OPENホスト200aが正記憶制御装置1000aに収集したコピー状態を取得するには、正グループ代表処理部1140aが動作する正記憶制御装置1000aに、コピー状態取得のためのストレージ制御指示7300を、MFホスト100aもしくはOPENホスト200aで、アクセス可能なホストが発行する。以後、ストレージ制御指示7300を発行するホストを代表ホストとよぶことにする。
正記憶制御装置1000aは、ホストからストレージ制御指示7300を受領すると、正ライトデータ受領部1110aが当該指示を受領し、コピー状態取得処理以外正グループ代表処理部1140aに転送する。 正グループ代表処理部1140aが受領した制御指示に応じた処理を実施する。

正グループ代表処理部1140aは指示に応じた処理終了後、正ライトデータ受領部1110aを介して前述のストレージ制御指示発行元ホストに完了応答をする。コピー状態取得処理の場合は正ライトデータ受領部1110aが前述のストレージ制御指示発行元ホストに完了応答をする。

グループコンテナコピー状態情報8100を取得すると、当該情報を取得した代表ホストではコピー状態の判定を行う。コピー状態の判定は、グループのコピー状態判定表8200を用いる。図１８にグループのコピー状態判定表8200の一例を示す。グループのコピー状態判定表8200は、縦方向にグループのコピー状態を、横方向は記憶制御装置から取得したグループコンテナコピー状態情報の組み合わせを示している。

次にコピー状態の判定処理について、図１４のフローを用いて説明する。代表ホストは取得したグループコンテナコピー状態情報8100から、各記憶制御装置の状態情報(10H)および代表エラー情報(10E)を取り出す（ステップ５４００）。次に、代表ホストは取り出した各記憶制御装置の状態情報をコピーペア状態で分類し、同じコピーペア状態のペア数を加算する（ステップ５４１０）。計算後、ステップ５４１０の計算結果とコピー状態判定表8200に記載された数とを比較する（ステップ５４２０）。

比較の結果、コピーペアの状態がエラーではない（エラー有無の和が０）場合（ステップ５４３０NO）は、コピー状態判定表8200の合致する欄に記載された状態がグループコンテナのコピー状態となり、判定処理を終了する。

コピーペアの状態がエラーである（エラー有無の和が1以上）場合（ステップ５４３０YES）は、グループコンテナコピー状態情報8100を再度参照し、代表エラー情報(10I)のエラー有無が“有”になっている記憶制御装置1000aを特定し、さらにエラー有無が“有”の記憶制御装置1000aの代表エラー情報(10I)の代表エラーコードを取得する（ステップ５４４０）。代表ホストは代表ホストの操作者(ユーザ)に上記のエラー情報（記憶制御装置とその代表エラーコード）を通知する（ステップ５４５０）。

通知されたエラー情報を解析することで、ユーザは該当グループコンテナに登録された特定の記憶制御装置1000aの該当グループのいずれかのコピーペアで障害が発生しており、さらにその障害がエラーコードの示す障害種別であることが特定できる。エラー情報の通知を受けたユーザは別の手段をもちいて、障害の詳細を特定するため、特定ペアの状態を確認する、もしくは記憶制御装置1000aの状態を確認するといった作業を行う。上記作業は確認対象の記憶制御装置や障害種別が限定できるため、ユーザの作業量は従来の障害確認作業に比べ大幅に短縮される。

リモートコピーの操作はグループコンテナコピー操作、グループコンテナ操作を使用する。はじめに、グループコンテナ操作（登録）でグループコンテナを作成する。次にグループコンテナ操作で、コピーグループをグループコンテナに追加する。グループコンテナにコピーグループ登録後はグループコンテナコピー操作でリモートコピー操作を行う。

上記リモートコピーの操作は図１３で示したコピー状態収集処理と同様に、代表ホストが発行したリモートコピーの操作を含んだストレージ制御指示7300を１記憶制御装置1000が受領し、当該正記憶制御装置1000aで動作するグループ代表処理部が当該操作を別記憶制御装置1000に通信パス530をもちいて転送することで、複数の記憶制御装置を跨いだグループコンテナ全体でのリモートコピー操作が可能になる。
各記憶制御装置1000ではストレージ制御指示7300の指示内容(8B)に従ったコピー処理を行う。指示内容がコピー開始の場合は、正ライトデータ受領部1110aが上記ストレージ制御指示7300の記載内容に従って、コピーペア管理情報１２３０の全情報を登録する。ただし、コピーペア管理情報１２３０のコピー状態（5B）はコピー中として登録する。さらに正ライトデータ受領部1110aはコピー情報を上記IOの記載内容に従ってボリューム管理情報１２４０のペア番号(6D)、グループID（6F）、グループコンテナID（6G）に登録し、その後データのコピー処理を開始する。該当するコピー元とコピー転送先のボリュームの内容一致後、正ライトデータ受領部1110aはコピーペア管理情報１２３０のコピー状態（5B）を2重化にする。
指示内容が一時停止の場合、正ライトデータ受領部1110aはコピーペア管理情報１２３０のコピー状態(5B)を一時停止中にし、コピーペアの処理の一時停止手続きを行う。コピーペアの一時停止手続き終了後は上記コピー状態(5B)を一時停止にする。

また、MFホスト100a、OPENホスト200aから制御可能な記憶制御装置が限定される場合がある。その場合は、グループ代表処理部1140aを任意の記憶制御装置で処理可能にする必要がある。この場合、ストレージ制御指示7300のうちのグループ代表処理部操作を用いる。

たとえば、１正記憶制御装置1000aに対し、グループ代表処理部1140aを実行させたい場合、当該正記憶制御装置1000aに対し、ストレージ制御指示7300で指示内容がグループ代表処理部操作（登録）であるストレージ制御指示を含んだIO要求を代表ホストが発行する。当該指示を受領した記憶制御装置はグループ代表処理を開始する。

以上のように、本実施例では複数の記憶制御装置間にまたがったリモートコピーで、整合性を保証するために、１正記憶制御装置内のグループ代表処理部がリモートコピー対象として登録された複数の正記憶制御装置に対し、時間的な区間をリモートコピーで転送されるデータに入れ込む処理を実施し、さらに上記の複数の正記憶装置に対し時間的な区間を入れる処理のあとに、ストレージ制御指示7300も分配することで、複数の記憶制御装置にまたがったリモートコピーの状態を１記憶制御装置から取得でき、また複数の記憶制御装置にまたがったリモートコピーの操作を実施することが可能になる。

本実施例における計算機システムの構成例を示す図である。 リモートコピーのコピーペア、グループ、グループコンテナを示す図である。 グループコンテナ管理情報の形式例を示す図である。 グループ管理情報の形式例を示す図である。 ライトデータ管理情報の形式例を示す図である。 グループコピー状態情報の形式例を示す図である。 コピーペア管理情報の形式例を示す図である。 ボリューム管理情報の形式例を示す図である。 正記憶制御装置がホストから、リモートコピーのコピー元となる論理ボリュームに対するライトIO要求を受領した場合の処理の一例を示す図である。 グループ代表処理部が正記憶制御装置1000aに対してライト要求の処理の保留と区間番号の更新指示する処理の一例を示した図である。 正記憶制御装置から副記憶制御装置へのライトデータの転送処理の一例を示す図である。 副記憶制御装置におけるコピー転送先論理ボリュームへのライトデータの反映処理の一例を示す図である。 正記憶制御装置内のコピー状態収集処理の一方法を示す図である。 ホスト計算機がコピー状態収集・判定を行う処理示す図である。 ストレージ制御指示7300の一例を示す図である。 到着済ライトデータ情報の一例を示す図である。 ストレージ制御指示におけるグループコンテナコピー状態情報の報告形式の一例である。 グループのコピー状態判定表の一例を示す図である。 複数記憶制御装置のハードウェア構成の一例を示す図である。 コピー状態遷移の一例を示す図である。 グループ代表処理部が正記憶制御装置1000aに対してライト要求の処理の保留と区間番号の更新指示する処理の一例を示した図で、特にグループ代表処理部が存在しない記憶制御装置の処理を示す。 副記憶制御装置におけるコピー転送先論理ボリュームへのライトデータの反映処理の一例を示す図で、特にグループ代表処理部が存在しない記憶制御装置の処理を示す。

符号の説明

10:正ストレージシステム、10b:副ストレージシステム、100a:正MFホスト、200a:正OPENホスト、100b:副MFホスト 、200b:副OPENホスト、1140a:正グループ代表処理部、1000a、1000b,1000c:正ストレージ制御装置、1000b:副ストレージ制御装置

Claims (12)

1. 計算機システムであって、
   第１の通信線に接続される第１のホスト計算機と、
   前記第１のホスト計算機が第１の通信線を介して利用するデータを格納可能な複数の第1の記憶領域と、前記第１の記憶領域を構成する複数のディスク装置に接続される第１の制御部と、前記第１の制御部に接続される第１のメモリと、を有する前記第１の通信線に接続される第1のストレージシステムと、
   第２のホスト計算機が第２の通信線を介して利用するデータを格納可能な複数の第２の記憶領域と、前記第２の記憶領域を構成するディスク装置に接続される第２の制御部と、前記第２の制御部に接続される第２のメモリと、を有する前記第1のストレージシステムと第３の通信線を介して接続される第２のストレージシステムと、
   前記第１の記憶領域及び前記第２の記憶領域に格納されるデータの複製をそれぞれ格納する第３の記憶領域を提供する、前記第１のストレージシステムと前記第２のストレージシステムとに第４の通信線を介して接続される第３のストレージシステムと、
   を備え、
   前記第２のメモリは、前記第２の記憶領域及び前記第２の記憶領域に格納されるデータの複製データを格納する第３の記憶領域との関係の状態を前記第２の記憶領域ごとに保持し、
   前記第１の制御部は、前記第１のホスト計算機から前記第１の記憶領域に格納されるデータに対するアクセスと、前記第３の通信線を介して少なくとも一以上の第３のストレージシステムが提供する第３の記憶領域に対する前記第１の記憶領域に格納されるデータの複製データを格納するための複製データ格納情報の送信とを、制御し、前記第２の通信線を介して前記第２の記憶領域及び第３の記憶領域の関係の状態取得要求を前記第２のストレージシステムに送信し、前記取得要求に対する応答を前記第１のメモリに保持し、
   前記第２の制御部は、前記第２のホスト計算機から前記第２の記憶領域に格納されるデータに対するアクセスと、前記第３の通信線を介して少なくとも一以上の第３のストレージシステムが提供する第３の記憶領域に対する前記第２の記憶領域に格納されるデータの複製データを格納するための複製データ格納情報の送信と、を制御し、前記第１のストレージシステムから前記第２の通信線を介して前記状態取得要求を受信した場合、前記メモリに保持される前記関係の状態を参照し、前記第１のストレージシステムに応答し、
   前記第１のホスト計算機は、前記第１のストレージシステムから前記第１の通信線を介して、前記第１のストレージシステム及び前記第２のストレージシステムが有する記憶領域と、第３の記憶領域との状態情報を取得する、計算機システム。
2. 請求項１記載の計算機システムであって、
   前記関係は、ペア関係であって、
   前記関係の状態は、前記第１の記憶領域あるいは前記第２の記憶領域と前記第３の記憶領域とで構成されるペアの状態であって、
   前記第１のストレージシステム及び前記第２のストレージシステムが有する記憶領域と第３のストレージシステムが有する記憶領域とのペアを一つのグループとして対応付け、前記グループの構成情報を前記第１のメモリに保持し、
   前記第１の制御部は、前記グループの構成情報に従って、前記第２のストレージシステムに前記取得要求を行い、
   前記ホスト計算機は、前記グループ単位で、前記第1のストレージシステムに状態情報取得を要求することを特徴とする計算機システム。
3. 請求項２記載の計算機システムであって、
   前記第３のストレージシステムは、前記第３の記憶領域を構成する複数のディスク装置と、前記複数のディスク装置と接続される第３の制御部と、前記第３の制御部に接続される第３のメモリと、を有し、
   前記第１の制御部は、さらに、前記第３のストレージシステムに前記第３の通信線を介して前記グループ構成情報に該当するペアを構成する前記第３の記憶領域に関する問い合わせを行い、前記問い合わせ結果を受信し、前記問い合わせ結果を前記第１のメモリに格納し、前記グループの構成情報を更新し、
   前記第３の制御部は、前記複製データ格納情報に従って、前記第３の記憶領域に複製データを格納し、前記第３の記憶領域への複製データの格納状況をペアごとに、前記第３のメモリに保持し、前記記憶領域に関する状態の問い合わせを前記第１の制御部から前記第３の通信線を介して受け、前記第１の制御部に前記第３のメモリに保持される前記第３の記憶領域への複製データの格納状況を送信し、
   前記第１のホスト計算機は、前記第３の記憶領域への複製データの格納状況を含む前記グループに関する状態情報の問い合わせを前記第１のストレージシステムに行い、前記グループ構成情報から前記問い合わせに対応する情報を受信することを特徴とする計算機システム。
4. 請求項３記載の計算機システムであって、
   前記第３のストレージシステムに接続される前記第５の通信線及び前記第２のストレージに第６の通信線に接続され、前記第２の記憶領域に格納されるデータの複製を格納する第４の記憶領域を構成する複数のディスク装置と、前記ディスク装置に接続される前記第４の制御部と、前記第４の制御部に接続される第４のメモリと、を有する第４のストレージシステムを備え、
   前記第２の記憶領域及び前記第４の記憶領域で構成されるペアを前記グループに含み、
   前記第３の制御部は、前記第４のストレージシステムに前記第５の通信線を介して、前記グループ構成情報に該当するペアを構成する第４の記憶領域を備える前記第４のストレージシステムに、前記第４の記憶領域に関する状態の取得要求を送信し、前記取得要求に対する応答を受信し、前記グループに関する状態の問い合わせを前記第１の通信線を介して第１のストレージシステムから受けた場合、前記第4の記憶領域に関する状態を含む、前記グループに関する状態の問い合わせ対する回答を、前記第1のストレージシステムに送信し、
   前記第４の制御部は、前記第４の記憶領域に前記複製データ格納情報に従って、前記第４の記憶領域に複製データを格納し、前記複製データの格納状況をペアごとに前記第４のメモリに保持し、前記第４の記憶領域に関する状態の取得要求に対し、前記第4のメモリを参照し、前記第4の記憶領域への複製データの稼動状況を前記第３のストレージシステムに送信することを特徴とする計算機システム。
5. 請求項２記載の計算機システムであって、
   前記第１のストレージシステムは、前記状態情報に基づいて前記グループを構成するペアの状態を種類ごとに集計し、集約結果を前記ホスト計算機に、送信することを特徴とする計算機システム。
6. 第１のホスト計算機と、前記第１のホスト計算機に第1の通信線を介して接続され、前記第１のホスト計算機からのデータを格納する第１の記憶領域を有する第１のストレージシステムと、前記第１のストレージシステムに前記第2の通信線を介して接続され、第２のホスト計算機からのデータを格納する第２の記憶領域を有する第２のストレージシステムと、前記第１のストレージシステムに第3の通信線を介して接続され、前記第１の記憶領域に格納されるデータの複製データを格納する第３の記憶領域を有する第３のストレージシステムと、前記第2のストレージシステムに第4の通信線を介して接続され、前記第1のストレージシステムに第５の通信線を介して接続され、前記２の記憶領域に格納されるデータの複製データを格納する第４の記憶領域を有する第４のストレージシステムと、を備える計算機システムで、
   前記第１の記憶領域及び前記第３の記憶領域は第１のペアを構成し、前記第２の記憶領域及び前記第４の記憶領域は第２のペアを構成し、前記第１のペアと前記第２のペアとで構成されるグループに関する状態管理方法であって、
   第1のストレージシステムは、
   前記第1のペアに関する状態情報を取得し、前記第2のストレージシステムに前記第1のペアと同一のグループに含まれる前記第2のペアに関する状態情報を要求し、前記要求結果、前記第2のペアに関する状態情報を取得し、前記第1のペアの状態情報を前記第2のペアの状態情報をグループの状態情報として保持し、
   前記ホスト計算機は、グループに関する状態情報取得要求を前記第1のストレージシステムに送信し、
   前記第1のストレージシステムは、グループに関する状態情報取得要求を受信し、前記状態情報取得要求に基づいて該当する前記グループの状態情報を前記ホスト計算機に送信することを特徴とする状態管理方法。
7. 請求項６記載の状態管理方法であって、
   第２の記憶領域と第3の記憶領域で第3のペアを構成し、前記第1のペアと前記第3のペアとで構成される第2のグループで構成される状態管理方法。
8. 請求項７記載の状態管理方法であって、
   前記第3のグループは、前記第1のペアと前記第2のペアと前記第3のペアとで構成される状態管理方法。
9. 請求項６記載の状態管理方法であって、
   前記第1のストレージシステムは、
   前記第1の記憶領域に格納されるデータの複製データを格納するための第1の複製データ格納情報を前記第3のストレージシステムに送信し、
   前記第2のストレージシステムは、前記第2の記憶領域に格納されるデータの複製データを格納するための第２の複製データ格納情報を前記第4のストレージシステムに送信し、
   前記第3のストレージシステムは、第1の複製データ格納情報を受信し、前記第1の複製データ格納情報に従って、前記第1のペアを構成する前記第3の記憶領域へ複製データを格納し、
   前記第4のストレージシステムは、第2の複製データ格納情報を受信し、前記第2の複製データ格納情報に従って、前記第２のペアを構成する前記第4の記憶領域へ複製データを格納し、
   前記第3のストレージシステムは、前記第1のペアを構成する前記３の記憶領域への格納状況を管理し、
   前記第4のストレージシステムは、前記第2のペアを構成する前記第4の記憶領域への格納状況を管理し、前記第3のストレージシステムへ第1のペアと同じグループのペアを構成する記憶領域への格納状況を送信し、前記第3のストレージシステムは、前記第３の記憶領域の格納状況及び前記第4の記憶領域の格納状況を保持し、
   前記第1のストレージシステムに、前記グループを構成するペアに属する第3の記憶領域及び第4の記憶領域それぞれへの複製データの格納状況を送信し、
   前記第1のストレージシステムは、複製データの格納状況を前記グループの状態情報に含めて前記ホスト計算機に送信することを特徴とする状態管理方法。
10. 請求項６記載のペアの状態は、複製データを格納するための複製データ格納情報の送信状況と複製データの格納状況とを含むことを特徴とする状態管理方法。
11. 請求項６記載のストレージシステムは、前記複製データ格納情報は、複製データの書き込み順序を特定する情報を含み、
    前記第3のストレージシステム及び前記第4のストレージシステムは、前記書き込み順序に従って複製データを格納することを特徴とする状態管理方法。
12. 第1のストレージシステムであって、
    第1のホスト計算機と第1の通信線を介して接続され、前記第1のホスト計算機からの書き込みデータを格納する第1の記憶領域を有し、
    前記第1の記憶領域に第2のホスト計算機からの書き込みデータを格納する第2の記憶領域を備える第2のストレージシステムと第２の通信線を介して接続され、
    前記第1の記憶領域に格納されるデータの複製データを格納する第３の記憶領域を有する第3のストレージシステムに第3の通信線を介して接続されるインタフェースを備え、
    前記第1のホスト計算機と前記第2のストレージシステムと前記第3のストレージシステムとの処理を制御するプロセッサと、前記プロセッサに接続されるメモリと、を備え、
    前記第3のストレージシステムは、第4の通信線を介して第4のストレージシステムに接続され、
    前記第4のストレージシステムは、前記第2のストレージシステムに第5の通信線を介して接続され、
    前記第1の記憶領域と前記第３の記憶領域とで構成される第1のペアと前記第2の記憶領域と前記第４の記憶領域とで構成される第2のペアとが属するグループの構成情報を保持し、
    前記プロセッサは、前記第1のペアの状態を取得し、前記第1のペアが属するグループにの状態情報を前記第2のストレージシステムに要求し、前記第2のストレージシステムから前記グループに属する第2のペアの状態を取得し、前記グループに属する第1のペアの状態情報と前記第2のペアの状態情報とを対応付けて前記メモリに保持し、前記第1のホスト計算機からグループの状態情報取得要求があった場合、前記グループの構成情報に従って該当するペアの状態情報をあわせて前記第1のホスト計算機に送信することを特徴とするストレージシステム。

Images