JP2006350460A - 計算機システムおよび計算機制御方法 - Google Patents

Abstract

【課題】 コピーペアの効率的な異常回復を行うこと。
【解決手段】 データを記憶する複数の論理ボリュームを有する第１記憶装置と、第１記憶装置に接続され複数の論理ボリュームを有する第２記憶装置と、第１記憶装置の論理ボリュームと第２記憶装置の論理ボリュームとで構成されたコピーペアを複数まとめたグループごとにコピーペアを管理し、グループ内でのコピー状態の時間的一貫性を維持しながらコピーペア間で第１記憶装置の論理ボリュームのデータを第２記憶装置の論理ボリュームにリモートコピーする処理部と、を備えた計算機システムであって、処理部は、コピーペアが異常状態となったときに当該コピーペアを所属グループから抜き出して、異常状態のコピーペアを集めるための異常グループに移動し、異常グループ単位でコピーペアの異常回復を行う。
【選択図】 図１

Description

本発明は、ディスク記憶装置間で非同期データ転送によるリモートコピーを行う計算機システムおよび計算機制御方法に関する。

近年、ハードウェアの処理性能の飛躍的向上やネットワークの高速化等によって、従来は困難であった大量のデータを扱う業務のコンピュータシステム化が、実現されてきている。そして、扱うデータ量が増大するにつれて、データの保全が重要な課題となっている。

データの保全のためには、業務を止めることなく大切なデータを安全に保護すること、また、万一災害が発生した場合でも短時間でシステムを回復することが必要となる。このような要件を満たすための技術のひとつに、複数のサーバと大型ディスクアレイ装置（ＤＫＣ：Disk Controller）を用いて構成するＨＡ(High Availability:高可用性)クラスタがある。

ＨＡクラスタ構成では、地震等の災害に備えて遠隔地にあるデータセンタでデータを２重化する。すなわち、あるサイトに設置した大型ディスクアレイ装置のボリューム（正側ボリューム）に格納されるデータを、遠隔地に設置した大型ディスクアレイ装置のボリューム（副側ボリューム）にも格納する。

このため通常は、大型ディスクアレイ装置間を接続してホスト装置からの書込みデータを大型ディスクアレイ装置間で転送する方法を用いる。遠隔地にデータを転送してボリュームの複製を作成することをリモートコピーという。
大型ディスクアレイ装置間でデータを転送する方式には、大別すると同期転送方式と非同期転送方式の２種類がある。同期転送方式はデータを転送する度にそのデータの受領を示す情報を転送元が受け取る方式であり、比較的近距離でのデータの転送に適する。一方、非同期転送方式は受領応答を受けないままデータを一方的に転送するもので、遠距離でのデータの転送に適する。

たとえば、特許文献１では、一般的な非同期型のリモートコピーに関する技術が開示され、また、特許文献２では、グループ単位でコピーペアの時間的一貫性を保つ際の障害回復方法に関する技術が開示されている。

一般に、リモートコピーをバックアップの目的で使用する際には、状態の一貫性が保たれている正側ボリュームと副側ボリュームが作るコピーペアを複数まとめたグループによる運用を行うことによって、業務ごとにグループ単位で制御を行う。また、グループ単位で制御を行う際には、ハードウェアの機能として複数コピーペアに対する一括操作機能を利用する。グループ単位でのリモートコピーは、コピーペアの形成、コピーペア状態のサスペンド（一時停止）、コピーペア状態のサスペンド状態の回復、コピーペア状態の削除等のグループ操作機能からなる。

従来、グループ内のコピーペアの一部に異常が発生した場合に回復運用操作を行うときには、グループ内にて、異常状態であるボリュームをそのグループに残したまま、回復作業を行うため、各異常状態のコピーペアに対して、コピーペア単位での修復を行っている。
特開平１１−８５４０８号公報（段落００１３〜段落００１５、図１） 特開２００２−１８９５７０号公報（段落００１２〜段落００１３、図１）

しかしながら、一般にグループ単位の非同期リモートコピーにおいては、正常状態のコピーペアと異常状態のコピーペアがＤＫＣ上で同一のグループに所属しているため、修復作業を行う際には、正常状態のコピーペアに影響を与えないよう、コピーペア単位での修復を行う必要がある。

その結果、ＤＫＣに対するコピー状態制御コマンド発行回数も増加し、システム全体としての性能にも悪影響を与える。その上、一つのグループ内に正常状態のコピーペアと異常状態のコピーペアが混在するため、管理が複雑になる。また、複数のグループにて同一の原因による異常が発生した場合にも、一つずつ修復を行う必要があるため、効率が悪い。

そこで、本発明は、前記問題点に鑑みてなされたものであり、グループ中に異常状態のコピーペアが発生した場合に、ＤＫＣが管理しているそのコピーペアのグループの所属を元のグループから異常グループに変更し、その異常グループ単位で異常回復を行うことで、コピーペアの効率的な異常回復を行うことを目的とする。

前記課題を解決するために、本発明に係る計算機システムは、データを記憶する複数の論理ボリュームを有する第１記憶装置と、前記第１記憶装置に接続され複数の論理ボリュームを有する第２記憶装置と、前記第１記憶装置の論理ボリュームと前記第２記憶装置の論理ボリュームとで構成されたコピーペアを複数まとめたグループごとにコピーペアを管理し、前記グループ内でのコピー状態の時間的一貫性を維持しながら前記コピーペア間で前記第１記憶装置の論理ボリュームのデータを前記第２記憶装置の論理ボリュームにリモートコピーする処理部と、を備えた計算機システムであって、前記処理部は、コピーペアが異常状態となったときに当該コピーペアを所属する前記グループから抜き出して、異常状態のコピーペアを集めるための異常グループに移動し、前記異常グループ単位でコピーペアの異常回復を行う。

本発明によれば、異常状態のコピーペアを効率的に回復させることができる。

以下、本発明の実施形態を、図面を参照しながら詳細に説明する。
図１は、本発明の計算機システムの全体構成例を示す図である。計算機システムは、グループ自動制御機能プログラム１０１、正側ＤＫＣ（第１記憶装置）１１２、副側ＤＫＣ（第２記憶装置）１１３および端末１２１を備えて構成される。

グループ自動制御機能プログラム１０１は、正側ＤＫＣ（ディスク制御装置）１１２と接続しているホスト装置上でＣＰＵ（Central Processing Unit：不図示）などの処理部によって動作するプログラムである。本実施形態では、コピー操作を行うグループ自動制御機能プログラム１０１は、図示しているように１つであり、この１つのプログラムから副側ＤＫＣ１１３上に存在するボリュームに対しても操作可能であるものとするが、２つ以上に分けられたものであってもよい。

正側ＤＫＣ１１２および副側ＤＫＣ１１３（以下、両方を指す場合は「各ＤＫＣ」という）は、ディスクアレイ（不図示）を制御する装置であり、ホスト装置からのＩ／Ｏや各種命令を、制御下にあるボリューム１１２１、１１３１などの論理ボリューム（ディスクアレイを論理的に分割したもの）に作用させる。

Consistencyグループ（以下、「Ｃ／Ｔグループ」または「グループ」という）１１４、１１５、１１６は、ハードウェア上で複数のコピーペア間における、データの一貫性を保つためのグループである。コピーペアは、一つのＣ／Ｔグループにのみ所属することができ、所属しているＣ／ＴグループはＣ／Ｔ ＩＤによって区別される。
Ｃ／Ｔグループ１１４は、Ｃ／Ｔ ＩＤ “０１”の正常Ｃ／Ｔグループであり、コピーペア１１７とコピーペア１１８から構成されている。Ｃ／Ｔグループ１１６は、Ｃ／Ｔ ＩＤ “０２”の正常Ｃ／Ｔグループであり、コピーペア１１９とコピーペア１２０から構成されている。

Ｃ／Ｔグループ１１５はＣ／Ｔ ＩＤ “Ｆ１”の異常Ｃ／Ｔグループであり、コピーペア１１８とコピーペア１１９が同一の異常状態となった場合には、この二つのコピーペアから構成される。この場合、正常なＣ／Ｔグループ１１４はコピーペア１１７のみから、正常なＣ／Ｔグループ１１６はコピーペア１１９のみから構成されることになり、コピーペア１１８およびコピーペア１１９は、異常回復後に再び元のＣ／Ｔグループに所属することになる。

グループ自動制御機能プログラム１０１は、ペア状態制御コマンド発行部１０２、状態異常監視部１０３、回復機能１０５および制御部１１０として、ホスト装置上のＣＰＵによって機能するように構成される。
ペア状態制御コマンド発行部１０２は、指定されたコマンドを各ＤＫＣに発行する操作コマンド機能を備えている。

状態異常監視部１０３は、各ＤＫＣから取得したコピーペア情報から、コピーペアの正常または異常の判定を行う。また、状態異常監視部１０３は、コピーペアの状態によってＣ／Ｔグループの変更を行うグループ制御機能１０４を含む。状態異常監視部１０３の処理については、図９を用いて後記する。
回復機能１０５は、異常状態のコピーペアに対して回復処理を実行する機能である。回復機能１０５の処理については、図１０を用いて後記する。

制御部１１０は、グループ自動制御機能プログラム１０１中にある各機能の制御を行う。また、グループ状態表示画面２０１（図２参照）、グループ詳細表示画面３０１（図３参照）、異常グループ詳細表示画面４０１（図４参照）等、端末１２１によってユーザに示す画面を作成する画面表示機能１１１を含む。

ペア状態制御コマンド発行部１０２、状態異常監視部１０３、回復機能１０５および制御部１１０は、それぞれ、グループを管理するグループ管理テーブル１０６、コピーペアを管理するペア管理テーブル１０７、異常回復手順（異常回復方法）を管理する回復手順テーブル１０８、および、Ｃ／Ｔ ＩＤを管理するＣ／Ｔ ＩＤ管理テーブルの相互間で、データのやりとりを行う。

端末１２１は、画面表示機能１１１によって作成された画面を表示したり、ユーザがデータを入力したりするものであり、たとえば、パーソナルコンピュータなどの情報機器（表示部を含む）によって実現することができる。

図２は、図１のグループ管理テーブル１０６、ペア管理テーブル１０７、回復手順テーブル１０８中に設定された情報を元に画面表示機能１１１が作成した、グループ自動制御機能プログラム１０１が管理する全グループの状態表示画面イメージ２０１であり、端末１２１（図１参照）に表示される。

正常グループ表示部２０２では、全正常グループのグループ名２０３、Ｃ／Ｔ ＩＤ２０４、現在正常グループに所属している正常状態のコピーペア数２０５、元々その正常グループに所属していたが現在異常状態であるため異常グループに所属しており回復待機中のコピーペア数２０６、元々その正常グループに所属していたが現在異常からの回復中状態であるため異常グループに所属しているコピーペア数２０７を表示している。ユーザが端末１２１（図１参照）を操作することによってボタン２０８を押すと、対象正常グループの詳細を表す、グループ詳細表示画面３０１（図３参照）へと遷移する。

異常グループ表示部２１６では、全異常グループのグループ名２０９、Ｃ／Ｔ ＩＤ２１０、異常状態の種類を示す異常状態コード２１１、現在その異常グループに所属しているコピーペア数２１２、グループ内の状態を示す状態グループ２１３、および、対象となる異常グループの回復方法２１４を表示している。ユーザが端末１２１（図１参照）を操作することによってボタン２１５を押すと、対象異常グループの詳細を表す異常グループ詳細表示画面４０１（図４参照）へと遷移する。

図３は、図１のグループ管理テーブル１０６、ペア管理テーブル１０７、回復手順テーブル１０８中に設定された情報を元に画面表示機能１１１が作成した、特定グループの詳細表示画面イメージ３０１であり、端末１２１（図１参照）に表示される。

グループ状態表示部３０２では、正常グループ表示部２０２のグループ名２０３と同様のグループ名、Ｃ／Ｔ ＩＤ、正常コピーペア数、回復待機中のコピーペア数、回復中コピーペア数を表示している。
ペア一覧表示部３０３において、正常ペア表示部３０４では、正常状態であるコピーペアの詳細を表示しており、コピー元（正側）のＤＫＣ装置番号（正ＳＮ）、正側対象ボリュームのボリューム番号（正ＶＮ）、コピー先のＤＫＣ装置番号（副ＳＮ）、副側対象ボリュームのボリューム番号（副ＶＮ）、コピーペア状態（「一時停止」など）から構成されている。

異常ペア表示部３０５では、異常状態であるコピーペアの詳細を表示しており、コピー元（正側）のＤＫＣ装置番号（正ＳＮ）、正側対象ボリュームのボリューム番号（正ＶＮ）、コピー先のＤＫＣ装置番号（副ＳＮ）、副側対象ボリュームのボリューム番号（副ＶＮ）、コピーペア状態（「回復中（６Ａ）」など）、現在異常グループとして登録されている登録先のＣ／Ｔ ＩＤ（現ＩＤ）から構成されている。

図４は、図１のグループ管理テーブル１０６、ペア管理テーブル１０７、回復手順テーブル１０８中に設定された情報を元に画面表示機能１１１が作成した、特定異常グループの詳細表示画面イメージ４０１であり、端末１２１（図１参照）に表示される。
グループ状態表示部４０２では、異常グループ表示部２１６（図２参照）のグループ名２０９と同様のグループ名、Ｃ／Ｔ ＩＤ、エラーコード（エラー状態コード：異常状態の種類）、グループに所属するコピーペア数を表示している。

原因表示部４０３では、対象となる異常グループのエラーコードに対応した異常原因を表示している。
回復方法表示部４０４では、対象となる異常に対する回復方法を表示しており、ここでは回復ボタン４０４１と縮小運転ボタン４０４２を表示している。回復ボタン４０４１は、回復機能１０５を動作させ、異常状態の回復処理を行うものである。縮小運転ボタン４０４２は、回復機能１０５を動作させ、異常状態の回復処理を行い、また、あるグループで使用しているパスを他のグループに割り当てることなどにより、計算機システム全体として縮小運転をさせるものである。

ペア詳細表示部４０５では、正側のＤＫＣ装置番号（正装置）、正側対象ボリュームのボリューム番号、副側のＤＫＣ装置番号（副装置）、副側対象ボリュームのボリューム番号、コピーペア状態（状態）、異常グループに所属する前に所属していた正常グループのＣ／Ｔ ＩＤ（元Ｃ／Ｔ ＩＤ）を表示している。

次に、図５を参照しながら、グループごとの状態を管理しているグループ管理テーブル１０６（図１参照）の説明を行う。図５は、グループ管理テーブル１０６のデータ構成を示す図である。
グループ管理テーブル１０６は、項番５０１、各グループのＣ／Ｔ ＩＤ５０２、各グループのグループ名５０３、各グループの状態（正常／回復中／待機中）を示すグループ状態５０４、異常グループのエラー状態コード５０５、各グループのＣ／Ｔ ＩＤに所属しているコピーペア数５０６、異常グループに対して以前適用したことのある回復手順のコードを示す回復手順コード５０７から構成されている。

続いて、図６を参照しながら、コピーペアごとの状態を管理しているペア管理テーブル１０７（図１参照）の説明を行う。図６は、ペア管理テーブル１０７のデータ構成を示す図である。
ペア管理テーブル１０７は、コピーペアの番号を示す項番６０１、正側ＤＫＣ装置番号（正装置番号）６０２、正側ボリューム番号６０３、副側ＤＫＣ装置番号（副装置番号）６０４、副側ボリューム番号６０５、コピーペアの状態コード６０６、コピーペアが所属しているＣ／Ｔグループの現Ｃ／Ｔ ＩＤ６０７、および、異常グループに変更する前に所属していた正常グループの元Ｃ／Ｔ ＩＤ６０８から構成されている。このうち、現Ｃ／Ｔ ＩＤ６０７と元Ｃ／Ｔ ＩＤ６０８が同じ値である場合、対象となるコピーペアは正常グループに所属しており、異なる場合は異常グループに所属していることを示す。つまり、現Ｃ／Ｔ ＩＤ６０７は適宜変更されうるものであるが、元Ｃ／Ｔ ＩＤ６０８は元の正常グループのＣ／Ｔ ＩＤを示すものであり不変である。

次に、図７を参照しながら、回復手順を管理している回復手順テーブル１０８（図１参照）の説明を行う。図７は、回復手順テーブル１０８のデータ構成を示す図である。
回復手順テーブル１０８は、回復手順コード７０１、回復手順コードごとの回復方法７０２、回復手順に従って発行する発行コマンド７０３、回復手順の対象となる対象状態コード７０４、回復手順ごとの実行優先度を示す優先度７０５から構成されている。

続いて、図８を参照しながら、Ｃ／Ｔ ＩＤを管理しているＣ／Ｔ ＩＤ管理テーブル１０９（図１参照）の説明を行う。図８は、Ｃ／Ｔ ＩＤ管理テーブル１０９のデータ構成を示す図である。
Ｃ／Ｔ ＩＤ管理テーブル１０９は、項番８０１、対象となるＣ／Ｔ ＩＤ８０２、Ｃ／Ｔ ＩＤの使用状況を示す状態８０３、Ｃ／Ｔ ＩＤを使用しているグループのグループ名を示す使用グループ８０４から構成されている。

次に、図９を参照しながら、状態異常監視部１０３による状態異常の監視処理を説明する（適宜図１〜図８参照）。図９は、状態異常監視部１０３による状態異常の監視処理を示したフローチャートである。

まず、状態異常監視部１０３は、状態異常の監視処理を開始すると（ステップ９０１）、ペア管理テーブル１０７中の全コピーペア（全ペア）に対して、ペア状態制御コマンド発行部１０２を利用して状態取得コマンドを発行し、全コピーペアの状態コード６０６を最新のものに更新する（ステップ９０２）。状態取得コマンドを発行した結果、エラーとなった場合には、そのエラーコードをペア管理テーブル１０７の状態コード６０６に設定する。

続いて、状態異常監視部１０３は、ペア管理テーブル１０７の全コピーペアを監視対象に設定し（ステップ９０３）、その全コピーペアに対して、ステップ９０４以降の処理によりコピーペアの正常異常判定を行う。具体的には、まず、コピーペアの状態コード６０６が正常なコードであるか、または異常なコードであるかの判定を行い（ステップ９０４）、異常であった場合には（ステップ９０４で「いいえ」）、対象コピーペアの現Ｃ／Ｔ ＩＤ６０７と元Ｃ／Ｔ ＩＤ６０８が同じであるかの条件、および、現Ｃ／Ｔ ＩＤ６０７と同じＣ／Ｔ ＩＤ５０２のグループのエラー状態コード５０５がコピーペアの状態コード６０６と違うかの条件の２つ条件による判定を行う（ステップ９０８）。

両条件ともに満たさない場合には（ステップ９０８で「いいえ」）、状態としての変化は無いためコピーペアの現Ｃ／Ｔ ＩＤ６０７を変更する必要は無く、次のコピーペアに対する判定へと移る（ステップ９０６）。どちらかの条件を満たす場合には（ステップ９０８で「はい」）、ステップ９０９以降の処理によりコピーペアの変更処理を行う。

つまり、現Ｃ／Ｔ ＩＤ６０７と元Ｃ／Ｔ ＩＤ６０８が同じであれば（ステップで９０８で「はい」）、対象コピーペアは異常である（ステップ９０４で「いいえ」なので）にもかかわらず、現Ｃ／Ｔ ＩＤ６０７が正常グループとして登録されていることになり、ステップ９０９以降の処理により現Ｃ／Ｔ ＩＤ６０７を異常グループのＣ／Ｔ ＩＤに変更する必要がある。
また、現Ｃ／Ｔ ＩＤ６０７と同じＣ／Ｔ ＩＤ５０２のグループのエラー状態コード５０５が対象コピーペアの状態コード６０６と違う場合（ステップ９０８で「はい」）、対象コピーペアの状態コード６０６が別の異常状態コードに変更されていることになり、ステップ９０９以降の処理により現Ｃ／Ｔ ＩＤ６０７を現在の異常状態コードに対応する異常グループのＣ／Ｔ ＩＤに変更する必要がある。

ステップ９０９において、状態異常監視部１０３は、コピーペアの変更処理として、はじめに、新たに異常グループを作成する必要があるかどうかを判定するために、グループ管理テーブル１０６中にコピーペアの状態コード６０６と同じ値のエラー状態コード５０５を持つグループの検索を行う、具体的には、ペアと同じコードを持つグループがあるかどうかを判定する。

一致するグループが見つからなかった場合には（ステップ９０９で「いいえ」）、Ｃ／Ｔ ＩＤ管理テーブル１０９より、状態８０３が異常グループ用予備であるＣ／Ｔ ＩＤ８０２を検索する（ステップ９１０）。その後に、ステップ９１１において、グループ管理テーブル１０６に対して、見つかったＣ／Ｔ ＩＤ８０２をＣ／Ｔ ＩＤ５０２とする異常グループを追加し、Ｃ／Ｔ ＩＤ管理テーブル１０９の使用グループ８０４に追加した異常グループ名を設定する。

他方、状態異常監視部１０３は、変更先として当該Ｃ／Ｔ ＩＤ５０２を有するグループを見つけた後（ステップ９０９で「はい」）、または、当該Ｃ／Ｔ ＩＤ５０２を有するグループを作成した（ステップ９１１）後には、対象コピーペア（対象ペア）のＣ／Ｔ ＩＤを変更するペア制御コマンドを発行し、対象コピーペアのＣ／Ｔ ＩＤを変更する（ステップ９１２）。

次に、グループ管理テーブル１０６中にあるコピーペアの元Ｃ／Ｔ ＩＤを持つグループのコピーペア数５０６を一つ減らし、変更後のＣ／Ｔ ＩＤを持つ、グループのコピーペア数５０６を一つ増加する（ステップ９１３）。そして、ペア管理テーブル１０７の現Ｃ／Ｔ ＩＤ６０７を変更後のＣ／Ｔ ＩＤへと変更する（ステップ９１４）。変更後は、ステップ９０６に進み、次のコピーペアに対する処理に移る。

状態異常監視部１０３は、コピーペアの状態コードが正常であった場合には（ステップ９０４で「はい」）、コピーペアの現Ｃ／Ｔ ＩＤ６０７と元Ｃ／Ｔ ＩＤ６０８が同じであるかどうかで、対象コピーペアが正常グループに属しているのか、異常グループに属しているのかの判定を行う（ステップ９０５）。もし、正常グループに属しているのであれば（ステップ９０５で「はい」）、Ｃ／Ｔ ＩＤを変更する必要は無く、ステップ９０６に進み、次のコピーペアに対する処理に移る。

状態異常監視部１０３は、対象コピーペアが異常グループに属している場合（ステップ９０５で「いいえ」）は、その対象コピーペアが正常状態に回復しているため、その対象コピーペアのＣ／Ｔ ＩＤを変更するペア制御コマンドを発行し、その対象コピーペアのＣ／Ｔ ＩＤを変更する、つまり元のＣ／Ｔ ＩＤに戻す（ステップ９１５）。
次に、グループ管理テーブル１０６中にあるコピーペアの現Ｃ／Ｔ ＩＤを持つグループのコピーペア数５０６を一つ減らし、変更後のＣ／Ｔ ＩＤを持つグループのコピーペア数５０６を一つ増加する（ステップ９１６）。そして、ペア管理テーブル１０７の現Ｃ／Ｔ ＩＤ６０７を変更後のＣ／Ｔ ＩＤへと変更する（ステップ９１７）。変更後は、ステップ９０６に進み、次のコピーペアに対する処理に移る。

全てのコピーペアに対して状態コード判定を終了した時点（ステップ９０６で「はい」）で、状態異常監視部１０３は処理を終了する。なお、図９では同じ状態コード６０６を持つ異常状態のコピーペアを同じＣ／Ｔグループに登録しているが、状態コードではなく、回復手順が同じ異常状態のコピーペアを同じＣ／Ｔグループに登録する方法もある。詳細処理については、図１２を用いて後記する。

次に、図１０を参照しながら、回復機能１０５の処理を説明する（適宜図１〜図８参照）。図１０は、回復機能１０５の処理を示すフローチャートである。
回復機能１０５は、グループ単位で異常状態グループの回復を行う機能であり、回復方法を指定しての呼び出し方と指定しないでの呼び出し方の二通りが存在する。回復方法を指定する場合は、ユーザが端末１２１を操作することにより行う。

回復機能１０５は、処理を開始すると（ステップ１００１）、まず、回復方法の指定があるか否かを判定し（ステップ１００２）、回復方法が指定されている場合には（ステップ１００２で「はい」）回復作業（ステップ１００６）へと進み、指定されていない場合には（ステップ１００２で「いいえ」）回復方法検索処理（ステップ１００３）へと進む。

ステップ１００３において、回復機能１０５は、回復方法検索処理として、まず、対象となるグループのグループ管理テーブル１０６の適用回復手順コード５０７に値が設定されているかどうかを判定する。適用回復手順コード５０７が設定されていない場合には（ステップ１００３で「いいえ」）、回復手順テーブル１０８より、対象状態コード７０４にグループのエラー状態コード５０５が含まれているかつ、最も優先度７０５が高い回復手順コード７０１を検索する（ステップ１００４）。

回復機能１０５は、適用回復手順コード５０７が設定されている場合（ステップ１００３で「はい」）には、回復手順テーブル１０８より、対象状態コード７０４にグループのエラー状態コード５０５が含まれている、かつ、適用回復手順コード５０７の優先度７０５の次に高い優先度７０５を持つ回復手順コード７０１を検索する。検索した（ステップ１００５）後には、回復方法を指定した場合と同様に回復作業（ステップ１００６）へと進む。

つまり、ある回復対象グループに対して、ステップ１００４で検索した回復手順コード７０１に対応する回復方法７０２によって回復ができなかった場合は、一旦この図１０のフローチャートの処理が終わった後、再びこの図１０のフローチャートの処理が始まり、ステップ１００３からステップ１００５に進んだときに、そのステップ１００５で検索したその次に優先度の高い回復手順コード７０１に対応する回復方法７０２によって回復が試みられる。それでも回復ができなかったときは、同様にして、再度ステップ１００５に進んだときに、ステップ１００５で検索したその次に優先度の高い回復手順コード７０１に対応する回復方法７０２によって回復が試みられ、ということが、回復するまで行われることになる。

図１０のフローチャートに戻って、回復機能１０５は、回復作業として、回復手順テーブル１０８から回復手順コード７０１の発行コマンド７０３に従い、ペア状態制御コマンド発行部１０２を使用して、ペア制御コマンドを発行し（ステップ１００６）、グループ管理テーブル１０６の適用回復手順コード５０７に対して、実行した回復手順７０１を設定する（ステップ１００７）。

続いて、回復機能１０５は、先ほど実施したペア制御コマンドが正常に終了したかどうかの判定を行い（ステップ１００８）、正常に終了していれば（ステップ１００８で「はい」）、グループ管理テーブル１０６のグループ状態５０４に対して、回復中を設定する（ステップ１００９）。
ステップ１００８において、ペア制御コマンドが正常に終了しなかった場合（ステップ１００８で「いいえ」）、ステップ１００９の処理をスキップし、ステップ１０１０に進む。

その後、回復機能１０５は、状態異常監視部１０３を呼び出し（ステップ１０１０）、状態の更新、およびＣ／Ｔ ＩＤの変更を行うことによって、処理を終了する。
なお、この図１０のフローチャートによる処理では、１つの異常グループに対する１つの回復手順を試みるごとに、ステップ１０１０において状態異常監視部１０３により各状態の更新（図９のフローチャートによる処理）を行うようにしているが、ステップ１０１０の処理の頻度は適宜変更（低減）してもかまわない。

次に、状態コードではなく、回復手順が同じ異常状態のコピーペアを同じＣ／Ｔグループに登録する場合のグループ管理テーブル１０６と状態異常監視部１０３の処理に関する説明を行う。
まず、図１１を参照しながら、回復手順が同じコピーペアを集める場合のグループ管理テーブル１０６の説明を行う。図１１は、その場合のグループ管理テーブル１０６Ａのデータ構成を示した図である。

グループ管理テーブル１０６Ａは、項番１１０１、各グループのＣ／Ｔ ＩＤ１１０２、各グループのグループ名１１０３、各グループの状態（正常／回復中／待機中）を示すグループ状態１１０４、回復手順コード１１０５、各グループのＣ／Ｔ ＩＤに所属しているコピーペア数１１０６、異常グループに対して適用した回復手順の回復手順コード１１０７から構成している。図５のグループ管理テーブル１０６からの変更は、エラー状態コード５０５を削除し、回復手順コード１１０５を追加していることである。

次に、図１２を参照しながら、状態異常監視部１０３が回復手順の同じコピーペアを集める場合における状態異常の監視処理について説明する。図１２は、その場合の状態異常の監視処理を示すフローチャートである。
まず、状態異常監視部１０３は、回復手順検索を開始し（ステップ１２０１）、ペア管理テーブル１０７中の全コピーペアに対して、ペア状態制御コマンド発行部１０２を利用して状態取得コマンドを発行し、全コピーペアの状態コード６０６を最新のものに更新する（ステップ１２０２）。状態取得コマンドを発行した結果、エラーとなった場合にはそのエラーコードをペア管理テーブル１０７の状態コード６０６に設定する。

続いて、状態異常監視部１０３は、ペア管理テーブル１０７の全コピーペアを監視対象に設定し（ステップ１２０３）、その全コピーペアに対して、ステップ１２０４以降の処理によりコピーペアの正常異常判定を行う。具体的には、まず、コピーペアの状態コード６０６が正常なコードであるか、異常なコードであるかの判定を行い（ステップ１２０４）、異常であった場合には（ステップ１２０４で「いいえ」）、対象となるコピーペアが現在所属するグループの適用回復手順コード１１０７があるかどうかの判定を行う（ステップ１２０５）。

状態異常監視部１０３は、適用回復手順コード１１０７が設定されていない場合（ステップ１２０５で「いいえ」）には、回復手順テーブル１０８より、対象状態コード７０４にコピーペアの状態コード６０６が含まれているかつ、最も優先度７０５が高い回復手順コード７０１を検索する（ステップ１２０７）。適用回復手順コード１１０７が設定されている場合（ステップ１２０５で「はい」）には、回復手順テーブル１０８より、対象状態コード７０４にコピーペアの状態コード６０６が含まれているかつ、適用回復手順コード１１０７の優先度７０５の次に高い優先度７０５を持つ回復手順コード７０１を検索する（ステップ１２０６）。

次に、状態異常監視部１０３は、対象コピーペアの現Ｃ／Ｔ ＩＤ６０７と元Ｃ／Ｔ ＩＤ６０８が同じであるかの条件、および現Ｃ／Ｔ ＩＤ６０７と同じＣ／Ｔ ＩＤ１１０２のグループの回復手順１１０６が回復手順コードの検索結果と違うかの条件の２つの条件による判定を行う（ステップ１２０８）。両条件ともに満たさない場合には（ステップ１２０８で「いいえ」）、状態としての変化は無いためコピーペアの現Ｃ／Ｔ ＩＤ６０７を変更する必要は無く、ステップ１２１９に進み、次のコピーペアに対する処理に移る。どちらかの条件を満たす場合には（ステップ１２０８で「はい」）、コピーペアの変更処理を行う（ステップ１２０９）。

ステップ１２０９において、状態異常監視部１０３は、コピーペアの変更処理として、はじめに、新たに異常グループを作成する必要があるかどうかを判定するために、グループ管理テーブル１０６Ａ中に検索結果の回復手順と同じ値の回復手順コード１１０５を持つグループの検索を行う。一致するグループが見つからなかった場合には（ステップ１２０９で「いいえ」）、Ｃ／Ｔ ＩＤ管理テーブル１０９より、状態８０３が異常グループ用予備であるＣ／Ｔ ＩＤ８０２を検索する（ステップ１２１０）。その後に、グループ管理テーブル１０６Ａに対して、見つかったＣ／Ｔ ＩＤ８０２をＣ／Ｔ ＩＤ１１０２とする異常グループを追加し、Ｃ／Ｔ ＩＤ管理テーブル１０９の使用グループ８０４に追加した異常グループ名を設定する（ステップ１２１１）。

他方、状態異常監視部１０３は、変更先として当該Ｃ／Ｔ ＩＤ５０２を有するグループを見つけた後（ステップ１２０９で「はい」）、または、当該Ｃ／Ｔ ＩＤ５０２を有するグループを作成した（ステップ１２１１）後には、対象コピーペアのＣ／Ｔ ＩＤを変更するペア制御コマンドを発行し、対象コピーペアのＣ／Ｔ ＩＤを変更する（ステップ１２１２）。

次に、グループ管理テーブル１０６Ａ中にあるコピーペアの元Ｃ／Ｔ ＩＤを持つグループのコピーペア数１１０６を一つ減らし、変更後のＣ／Ｔ ＩＤを持つグループのコピーペア数１１０６を一つ増加する（ステップ１２１３）。そして、ペア管理テーブル１０７の現Ｃ／Ｔ ＩＤ６０７を、変更後のＣ／Ｔ ＩＤへと変更する（ステップ１２１４）。変更後は、ステップ１２１９に進み、次のコピーペアに対する処理に移る。

状態異常監視部１０３は、ステップ１２０４にて正常であった場合には（「はい」）、コピーペアの現Ｃ／Ｔ ＩＤ６０７と元Ｃ／Ｔ ＩＤ６０８が同じであるかどうかで、対象コピーペアが正常グループに属しているのか、異常グループに属しているのかの判定を行う（ステップ１２１５）。もし、正常グループに属しているのであれば（ステップ１２１５で「はい」）、Ｃ／Ｔ ＩＤを変更する必要は無く、ステップ１２１９に進み、次のコピーペアに対する処理に移る。

状態異常監視部１０３は、対象コピーペアが異常グループに属している場合（ステップ１２１５で「いいえ」）、対象コピーペアは正常状態に回復しているためそのＣ／Ｔ ＩＤを変更するペア制御コマンドを発行し、変更する（ステップ１２１６）。次に、グループ管理テーブル１０６Ａ中にあるコピーペアの現Ｃ／Ｔ ＩＤを持つグループのコピーペア数１１０６を一つ減らし、変更後のＣ／Ｔ ＩＤを持つグループのコピーペア数１１０６を一つ増加する（ステップ１２１７）。そして、ペア管理テーブル１０７の現Ｃ／Ｔ ＩＤ６０７を変更後のＣ／Ｔ ＩＤへと変更する（ステップ１２１８）。変更後は、ステップ１２１９に進み、次のコピーペアに対する処理に移る。

全てのコピーペアに対して状態コード判定を終了した時点（ステップ１２１９で「はい」）で、状態異常監視部１０３は処理を終了する。
この図１２の処理を行うことによって、異常の原因が異なるコピーペアも同じＣ／Ｔグループに所属させ、同時に回復処理を行うことができる。

次に、図１３を参照しながら、非同期リモートコピーにおいて、Ｃ／Ｔグループを変更する機能を持つＤＫＣの内部構成の説明を行う。図１３は、グループ変更機能を持つＤＫＣの構成を示す論理ブロック図である。
正側ＤＫＣ１１２（図１参照）中の制御装置１３０２は、ホスト１３０１からコピーペアの正側ボリューム１３０５（図１の１１２１に相当）への書込み要求１３０３を受け取った場合、ＤＫＣ内グループ管理テーブル１３０４に従って、書込み先を決定する。ＤＫＣ内グループ管理テーブル１３０４の詳細については、図１４にて説明を行う。

図１４を参照しながら、ＤＫＣ内での各ボリュームに対するコピーペアとグループの管理を行う、ＤＫＣ内グループ管理テーブル１３０４の説明を行う（適宜図１３参照）。図１４は、ＤＫＣ内グループ管理テーブル１３０４の構成を示す図である。

ＤＫＣ内グループ管理テーブル１３０４は、項番１４０１、各ボリュームの番号であるボリューム番号１４０２、各ボリュームとペアを組んでいる組先のＤＫＣ装置番号１４０３、各ボリュームとペアを組んでいる組先のボリューム番号１４０４、各グループのＣ／Ｔ ＩＤ１４０５、および、対象となるボリュームにおいてグループ変更を行った場合の元Ｃ／Ｔ ＩＤ１４０６から構成されている。

制御装置１３０２は、通常時に、ホスト１３０１からコピーペアの正側ボリューム１３０５へのデータ書込み要求１３０３を受け取った場合、コピーペアの正側ボリューム１３０５と同時にキャッシュメモリ１３０７にも書込みを行う。キャッシュメモリ１３０７はＣ／Ｔ番号ごとに領域が設定されており、書込みデータ１３０８ごとに書込み時刻と書込み先と書込む値を保持している。

また、Ｃ／Ｔグループ内で書込みの順番に一貫性を持たすために、キャッシュメモリ１３０７内では書込みデータ１３０８が時系列順に並んでいる。制御装置１３０２は、キャッシュメモリ１３０７からコピーペアの副側ボリュームに書込みデータ１３０８を書込む際には、時系列順に書込みデータ１３０８をＤＫＣ間転送用ケーブル１３０６経由で、副側ボリュームに書込むことによって、グループ内の書込み順序の一貫性を保つ。

制御装置１３０２は、グループ変更を行った場合、ＤＫＣ内グループ管理テーブル１３０４のＣ／Ｔ ＩＤ１４０５に変更先のＣ／Ｔ ＩＤを設定し、また、元Ｃ／Ｔ ＩＤ１４０６に変更前のＣ／Ｔ ＩＤを設定する。また、キャッシュメモリ１３０７にも変更後のＣ／Ｔ ＩＤに対応する領域を確保し、変更後にデータ書込み要求１３０３を受け取った場合には、キャッシュメモリ中の変更後の領域へと書込みを行う。

なお、制御装置１３０２は、キャッシュメモリ１３０７からコピーペアの副側ボリュームに書込みを行う場合、元Ｃ／Ｔ ＩＤに対応したキャッシュメモリ１３０７中に対象となるボリュームが同一である書込みデータ１３０８が無くなったことを確認することによって、元Ｃ／Ｔグループの書込み順序の一貫性が崩れることを防ぐ。

このように、本実施形態の計算機システムによれば、グループ中に異常状態のコピーペアが発生した場合、ＤＫＣが管理しているそのコピーペアのグループの所属を元のグループから異常グループに変更し、その際、同一種類の異常状態のコピーペア、または、同一異常回復方法のコピーペアを同じ異常グループへ集め、その異常グループ単位で異常回復を行うことで、コピーペアの効率的な異常回復を行うことができる。

以上で実施形態の説明を終えるが、本発明の態様はこれらに限定されるものではない。たとえば、ハードウェア、各プログラム、各テーブルなどの具体的な構成について、分割や統合など、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。

本実施形態の計算機システムの全体構成例を示す図である。 グループ全体の状態を表示する画面イメージ図である。 特定のグループの詳細状態を表示する画面イメージ図である。 特定の異常グループの詳細状態を表す画面イメージ図である。 グループ管理テーブルの構成を示す図である。 ペア管理テーブルの構造を示す図である。 回復手順テーブルの構成を示す図である。 Ｃ／Ｔ ＩＤ管理テーブルの構成を示す図である。 エラーコードをキーに行うグループ変更処理を示すフローチャートである。 異常状態回復処理を示すフローチャートである。 グループ管理テーブルの構成を示す図である。 回復手順をキーに行うグループ変更処理を示すフローチャートである。 グループ変更機能を持つＤＫＣの構成を示す論理ブロック図である。 ＤＫＣ内グループ管理テーブルの構成を示す図である。

符号の説明

１０１ グループ自動制御機能プログラム
１０２ ペア状態制御コマンド発行部
１０３ 状態異常監視部
１０４ グループ制御機能
１０５ 回復機能
１０６ グループ管理テーブル
１０７ ペア管理テーブル
１０８ 回復手順テーブル
１０９ Ｃ／Ｔ ＩＤ管理テーブル
１１０ 制御部
１１１ 画面表示機能部
１１２ 正側ＤＫＣ（ディスク制御装置）
１１３ 副側ＤＫＣ（ディスク制御装置）
１１７ 正常コピーペア
１１８ 異常コピーペア
１１９ 異常コピーペア
１２０ 正常コピーペア
１２１ 端末

Claims (19)

1. データを記憶する複数の論理ボリュームを有する第１記憶装置と、前記第１記憶装置に接続され複数の論理ボリュームを有する第２記憶装置と、前記第１記憶装置の論理ボリュームと前記第２記憶装置の論理ボリュームとで構成されたコピーペアを複数まとめたグループごとにコピーペアを管理し、前記グループ内でのコピー状態の時間的一貫性を維持しながら前記コピーペア間で前記第１記憶装置の論理ボリュームのデータを前記第２記憶装置の論理ボリュームにリモートコピーする処理部と、を備えた計算機システムであって、
   前記処理部は、全コピーペアの正常または異常の状態を更新し、異常状態のコピーペアの１つに対して、まだ異常グループへの移動がなされていないかの条件、および、すでに異常グループに移動している場合にはその異常グループに移動してから異常状態の種類が変更されているかの条件の２つの条件について判断し、
   いずれかの前記条件を満たす場合は、そのときの異常状態の種類に対応する異常グループが存在するかを判断し、その異常グループが存在しない場合は新たにその異常グループを設定し、前記異常状態のコピーペアの１つをそのとき所属する前記グループからその異常グループに移動し、
   また、前記グループと前記異常グループのコピーペア数を管理するグループ管理テーブルのコピーペア数を更新し、各コピーペアの所属する前記グループと前記異常グループを管理するペア管理テーブルの情報を更新し、さらに、前記異常グループ単位でコピーペアの異常回復を行う
   ことを特徴とする計算機システム。
2. データを記憶する複数の論理ボリュームを有する第１記憶装置と、前記第１記憶装置に接続され複数の論理ボリュームを有する第２記憶装置と、前記第１記憶装置の論理ボリュームと前記第２記憶装置の論理ボリュームとで構成されたコピーペアを複数まとめたグループごとにコピーペアを管理し、前記グループ内でのコピー状態の時間的一貫性を維持しながら前記コピーペア間で前記第１記憶装置の論理ボリュームのデータを前記第２記憶装置の論理ボリュームにリモートコピーする処理部と、を備えた計算機システムであって、
   前記処理部は、コピーペアが異常状態となったときに当該コピーペアを所属する前記グループから抜き出して、異常状態のコピーペアを集めるための異常グループに移動し、前記異常グループ単位でコピーペアの異常回復を行う
   ことを特徴とする計算機システム。
3. 前記処理部は、前記異常グループ単位でコピーペアの異常回復を行った後に、異常回復したコピーペアを元に所属した前記グループに戻すことを特徴とする請求項２に記載の計算機システム。
4. 前記処理部は、異常状態のコピーペアを所属する前記グループから抜き出して異常グループに移動するときに、異常状態の種類が同一のコピーペアを同一の前記異常グループに移動することを特徴とする請求項２に記載の計算機システム。
5. 前記処理部は、前記異常グループに移動したコピーペアの異常状態の種類が変わった場合に、当該コピーペアをその変わった後の異常状態の種類のコピーペアを集めるための異常グループにさらに移動することを特徴とする請求項４に記載の計算機システム。
6. 前記処理部は、異常状態のコピーペアを所属する前記グループから抜き出して異常グループに移動するときに、前記異常回復のための異常回復方法が同一のコピーペアを同一の前記異常グループに移動することを特徴とする請求項２に記載の計算機システム。
7. 前記グループが複数ある場合、前記処理部は、その複数の前記グループに関して、異常状態のコピーペアを所属する前記グループから抜き出して前記異常グループに移動することを特徴とする請求項２に記載の計算機システム。
8. 前記異常グループ単位でコピーペアの異常回復を行う場合、前記異常回復のための異常回復方法に優先度が付与されており、前記処理部は、使用可能な前記異常回復方法が複数あるときには優先度の高い前記異常回復方法を使用し、異常回復を行うことを特徴とする請求項２に記載の計算機システム。
9. 前記処理部は、さらに、前記グループの情報と前記異常グループの情報を表示部に表示することを特徴とする請求項２に記載の計算機システム。
10. 前記処理部は、さらに、前記異常回復のための１以上の異常回復方法を表示部に表示することを特徴とする請求項２の計算機システム。
11. データを記憶する複数の論理ボリュームを有する第１記憶装置と、前記第１記憶装置に接続され複数の論理ボリュームを有する第２記憶装置と、前記第１記憶装置の論理ボリュームと前記第２記憶装置の論理ボリュームとで構成されたコピーペアを複数まとめたグループごとにコピーペアを管理し、前記グループ内でのコピー状態の時間的一貫性を維持しながら前記コピーペア間で前記第１記憶装置の論理ボリュームのデータを前記第２記憶装置の論理ボリュームにリモートコピーする処理部と、を備えた計算機システムによる計算機制御方法であって、
    前記処理部は、コピーペアが異常状態となったときに当該コピーペアを所属する前記グループから抜き出して、異常状態のコピーペアを集めるための異常グループに移動し、前記異常グループ単位でコピーペアの異常回復を行う
    ことを特徴とする計算機制御方法。
12. 前記処理部は、前記異常グループ単位でコピーペアの異常回復を行った後に、異常回復したコピーペアを元に所属した前記グループに戻すことを特徴とする請求項１１に記載の計算機制御方法。
13. 前記処理部は、異常状態のコピーペアを所属する前記グループから抜き出して異常グループに移動するときに、異常状態の種類が同一のコピーペアを同一の前記異常グループに移動することを特徴とする請求項１１に記載の計算機制御方法。
14. 前記処理部は、前記異常グループに移動したコピーペアの異常状態の種類が変わった場合に、当該コピーペアをその変わった後の異常状態の種類のコピーペアを集めるための異常グループにさらに移動することを特徴とする請求項１３に記載の計算機制御方法。
15. 前記処理部は、異常状態のコピーペアを所属する前記グループから抜き出して異常グループに移動するときに、前記異常回復のための異常回復方法が同一のコピーペアを同一の前記異常グループに移動することを特徴とする請求項１１に記載の計算機制御方法。
16. 前記グループが複数ある場合、前記処理部は、その複数の前記グループに関して、異常状態のコピーペアを所属する前記グループから抜き出して前記異常グループに移動することを特徴とする請求項１１に記載の計算機制御方法。
17. 前記異常グループ単位でコピーペアの異常回復を行う場合、前記異常回復のための異常回復方法に優先度が付与されており、前記処理部は、使用可能な前記異常回復方法が複数あるときには優先度の高い前記異常回復方法を使用し、異常回復を行うことを特徴とする請求項１１に記載の計算機制御方法。
18. 前記処理部は、さらに、前記グループの情報と前記異常グループの情報を表示部に表示することを特徴とする請求項１１に記載の計算機制御方法。
19. 前記処理部は、さらに、前記異常回復のための１以上の異常回復方法を表示部に表示することを特徴とする請求項１１の計算機制御方法。

Images