JP2005284980A - ２重化システム及びリモートディスクミラーリングの初期化処理方法 - Google Patents

Abstract

【課題】リモートディスクミラーリングの初期化処理において不要なデータブロックのコピーをなくすことにより当該初期化処理の高速化を図る。
【解決手段】
リモートディスクミラーリングの初期化処理において、ホスト計算機１０-1が稼動系となった場合、当該計算機１０-1のコピードライバ１２-1は、ディスク３０-1の管理領域に格納されているビットマップテーブル３１０-1により有効なデータが格納されているブロックであるとして管理されているブロックのデータのみを、待機系の計算機１０-2のミラーリング対象ディスク３０-2にコピーする。
【選択図】 図１

Description

本発明は、稼動系計算機のディスクへのデータ書き込み要求を２重化して、当該稼動系計算機とネットワークにより接続された待機系計算機のディスクにも同一データを書き込ませることでディスクのデータを２重化する２重化システムに係り、特に待機系計算機のディスクの内容を稼動系計算機のディスクに一致化させるのに好適な２重化システム及びリモートディスクミラーリングの初期化処理方法に関する。

従来から、稼働状態にある計算機（稼動系計算機）で障害が発生した場合に、その障害が発生した計算機で実行されていたサービス（業務）を、システム内の他の計算機、例えば待機状態（ホットスイタンバイ状態）にある他の計算機（待機系計算機）に引き継がせる（フェイルオーバする）、クラスタシステムと呼ばれる、フェイルオーバ方式の２重化システム（分散システム）が知られている（例えば、非特許文献１参照）。

この種の２重化システムでは、データの保守性を高めるため、書き込みデータを、ネットワークで相互接続された異なる計算機（ノード）間で２重化する、リモートディスクミラーリング（ＲＤＭ）技術が適用される。一般的に、この技術では、運用を開始する前にミラーリング対象となる計算機（ノード）及びディスク（ディスク装置）の設定が行われる。また、実際の運用の際には、各計算機（ノード）間でネットワーク経由で通信が行われて、稼動系の計算機が当該稼動系のディスク（ミラーリング対象ディスク）に書き込んだデータが、待機系の計算機のディスク（ミラーリング対象ディスク）にコピーされることで、各計算機のディスクのデータが２重化される。

リモートディスクミラーリング技術では、運用開始時に稼動系となる計算機（稼動系計算機）のミラーリング対象ディスク内のデータに、待機系となる計算機（待機系計算機）のミラーリング対象ディスクのデータを一致化させる初期化処理（リモートディスクミラーリングの初期化処理）が必要がある。この初期化処理は、稼動系計算機のミラーリング対象ディスクの全面のデータを、ネットワークを経由しての通信により待機系計算機のミラーリング対象ディスクにコピーすることによって実行される。このため、フェイルオーバ方式の２重化システムにおけるリモートディスクミラーリングの初期化処理は、実行に長時間を要する。

一方、各計算機がそれぞれ当該計算機のディスクにデータを書き込むことができ、その際に相手の計算機（が稼働中であれば、その相手の計算機）のディスクに当該データをコピーすることにより、各計算機のデータを２重化する２重化システム（分散ミラードディスクシステム）も知られている（例えば、特許文献１参照）。この特許文献１に記載のシステムでは、各計算機は、ディスクの書き込み単位であるブロック毎に当該ブロックへの書き込みを管理するフラグを保持している。各計算機は、自身のディスクにデータを書き込む前に対応するフラグをオンすると共に相手計算機の対応するフラグもオンさせる。そして各計算機は、相手計算機の対応するフラグがオンされたのを確認すると、自身のディスクにデータを書き込むと共に、そのデータを相手計算機のディスクにコピーさせ、コピーが完了したことを確認すると、対応する自身のフラグをオフすると共に相手計算機の対応するフラグもオフさせる。このようなフラグ操作により、システム内のいずれかの計算機が障害を起こして停止し、その後障害から復帰した場合には、最新のデータを保持する計算機の持つフラグが不一致の状態（オン状態）を示すブロックと、障害から復帰した計算機の持つフラグが不一致の状態（オン状態）を示すブロックとを相互にコピーするだけで良い。なお、ディスクに障害が発生して、新しいディスクと交換した場合には、全てのデータをコピーする必要がある。
特開２００３−６０１５号公報（段落００１２，００１３，００１７） 金子哲夫、森良哉、「クラスタソフトウェア」、東芝レビュー、Vol.54 No.12(1999)、p.18-21

上記したように従来のフェイルオーバ方式の２重化システムに適用されるリモートディスクミラーリング技術では、運用開始時にミラーリング対象ディスク内のデータを一致化させる初期化処理（リモートディスクミラーリングの初期化処理）が必要がある。この初期化処理は、稼動系計算機のミラーリング対象ディスクの全面のデータを、ネットワークを経由しての通信により待機系計算機のミラーリング対象ディスクにコピーすることによって実行されるため、長時間を要する。

そこで、上記特許文献１に記載された分散ミラードディスクシステムの技術を適用することが考えられる。しかし、この特許文献１に記載の技術は、システムを構成する計算機のいずれかに障害が発生し、その後当該障害が発生した計算機が復帰した場合に、各計算機のディスクのデータを効率的に多重化（一致化）する技術であり、ディスクの障害で当該ディスクを別の新たなディスクに交換した場合は想定していない。当然、ディスクを交換した場合には、他のディスクのデータを全てコピーしなければならない（特許文献１の段落００１７）。また、特許文献１に記載の技術では、データが書き込まれたブロックが、その後不要となった場合でも、対応するフラグにより不一致が示されていれば、コピーの対象となる。このため、特許文献１に記載の技術は、フェイルオーバ方式の２重化システムにおけるリモートディスクミラーリングの初期化処理には適さない。、
本発明は上記事情を考慮してなされたものでその目的は、リモートディスクミラーリングの初期化処理において不要なデータのコピーをなくすことにより当該初期化処理の高速化を図ることができる２重化システム及びリモートディスクミラーリングの初期化処理方法を提供することにある。

本発明の１つの観点によれば、ディスクを備えた２台の計算機がネットワークにより相互接続され、上記２台の計算機の一方が稼動系計算機として、他方が待機系計算機としてそれぞれ動作し、上記稼動系計算機の上記ディスクへのデータ書き込み要求を２重化して上記ネットワークを介して上記待機系計算機の上記ディスクにも同一データを書き込ませることで上記ディスクのデータを２重化する２重化システムが提供される。この２重化システムの上記２台の計算機の各々は、上記計算機の上記ディスク内のデータを管理するファイルシステムであって、上記ディスクのデータ領域を予め定められたサイズのブロックを単位に区分して、当該ブロック毎に有効なデータが格納されている有効ブロックであるか否かをブロック管理情報により管理するファイルシステムと、リモートディスクミラーリングの初期化処理において、自身が上記稼動系計算機となった場合、上記ファイルシステムによる管理に用いられる上記ブロック管理情報に従い、有効ブロックのデータのみを上記稼動系計算機の上記ディスクから上記待機系計算機の上記ディスクにコピーする有効ブロックコピー手段とを備えている。

このような構成においては、稼動系計算機のファイルシステムがディスク内のデータを管理するのに用いられるブロック管理情報を利用して、リモートディスクミラーリングの初期化処理が行われる。この初期化処理では、稼動系計算機のファイルシステムによってブロック単位で管理される当該稼動系計算機のディスクのデータのうち、ブロック管理情報によって有効なデータが格納されていることが示されている有効ブロックのデータのみが、待機系計算機のディスクにコピーされる。

このように上記の構成では、リモートディスクミラーリングの初期化処理において、稼動系計算機のディスク内のデータのうちの有効なデータ部分だけが待機系計算機のディスクにコピーされ、不要なデータ部分がコピーされるのを防止できるため、コピー総量を削減でき、初期化処理を高速化できる。

ここで、上記ブロック管理情報が、ディスクの管理領域に格納されるファイルシステム管理情報の一部として上記ファイルシステムにより管理される構成とし、リモートディスクミラーリングの初期化処理において、このファイルシステム管理情報を上記有効ブロックコピー手段によるデータのコピーに先行して、稼動系計算機のディスクから待機系計算機のディスクにコピーするファイルシステム管理情報コピー手段を追加すると良い。

本発明によれば、リモートディスクミラーリングの初期化処理に、稼動系計算機のファイルシステムがディスク内のデータを管理するのに用いられるブロック管理情報を利用して、稼動系計算機のディスク内のデータのうち有効なデータ部分だけを待機系計算機のディスクにコピーすることにより、不要なデータ部分のコピーを防止してコピー総量を削減することができるため、初期化処理の所用時間を短縮して当該初期化処理の高速化を図ることができる。

以下、本発明の一実施形態につき図面を参照して説明する。
図１は本発明の一実施形態に係るリモートディスクミラーリングを適用する２重化システムの構成を示すブロック図である。図１の２重化システムは、２台のホスト計算機１０-1，１０-2から構成される。ホスト計算機１０-1，１０-2はネットワーク２０を介して相互に通信が可能なように構成されている。このホスト計算機１０-1，１０-2（から構成される２重化システム）は、ネットワーク２０を介して図示せぬクライアント端末から利用可能である。ホスト計算機１０-1，１０-2のうちのいずれか一方は稼動系計算機となって、クライアント端末から要求されたサービスを提供する。ホスト計算機１０-1，１０-2のうちの他方は待機系計算機となって、稼動系計算機に障害が発生した場合に当該稼動系計算機が実行していたサービス（業務）を引き継ぐ、ここではホスト計算機１０-1が稼動系計算機、ホスト計算機１０-2が待機系計算機であるとする。

ホスト計算機１０-1，１０-2は、それぞれ２重化の対象となるディスク（ディスク装置）、つまりミラーリング対象ディスク（ディスク装置）３０-1，３０-2と接続されている。このミラーリング対象ディスク３０-1，３０-2は、必ずしも物理的に１つであるとは限らない。稼動系計算機１０-1のミラーリング対象ディスク３０-1へのデータ書き込み時には、書き込みデータは、待機系計算機１０-2のミラーリング対象ディスク３０-2へとコピーされ、両ディスク３０-1，３０-2の内容が同一になるよう保たれる。

ホスト計算機１０-1，１０-2は、それぞれリモートディスクミラーリングモジュール（以下、ＲＤＭモジュールと称する）１１-1，１１-2と、コピードライバ１２-1，１２-2と、ファイルシステム１３-1，１３-2と、リモートディスクミラーリングドライバ（以下、ＲＤＭドライバと称する）１４-1，１４-2と、ディスクドライバ１５-1，１５-2とを備えている。

ＲＤＭモジュール１１-1，１１-2は、ネットワーク２０を介して相互に通信が可能となった場合、どちらが稼動系となるか等のネゴシエーション、更にはリモートディスクミラーリングの初期化処理を含む初期化処理等を行う。ＲＤＭモジュール１１-1，１１-2は、ハートビート機構１１０-1，１１０-2を含む。本実施形態では、ＲＤＭモジュール１１-1，１１-2は、ホスト計算機１０-1，１０-2内にインストールされた特定のアプリケーションプログラム（クラスタプログラム）を当該ホスト計算機１０-1，１０-2が読み取って実行することにより実現される。このプログラムは、コンピュータで読み取り可能な記憶媒体、例えばフロッピー（登録商標）ディスクに代表される磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤに代表される光ディスク、フラッシュメモリに代表される半導体メモリ等の記憶媒体に予め格納して頒布可能である。また、このプログラムが、ネットワーク２０を介してダウンロード（頒布）されても構わない。

ハートビート機構１１０-1，１１０-2は、ネットワーク２０を介して定期的に相互に通信をして、お互いの動作状況を確認し合う。この通信は「ハートビート」と呼ばれる。計算機の故障停止は、ハートビートのタイムアウトによって検出される。つまり一定時間ハートビートが送出されていない計算機は故障停止したものとみなされる。ハートビート機構１１０-1，１１０-2が、ＲＤＭモジュール１１-1，１１-2とは別に設けられても構わない。

コピードライバ１２-1，１２-2は、ミラーリング対象ディスク３０-1，３０-2間の初期化処理の際に、コピーすべき領域とコピーする必要のない領域とを選別してコピー処理を実行する。この選別には、後述するビットマップテーブル（ＢＭＴ）３１-1，３１-2が用いられる。

ファイルシステム１３-1，１３-2は、ミラーリング対象ディスク３０-1，３０-2内のデータを管理する。ここでは、ファイルシステム１３-1，１３-2は、ミラーリング対象ディスク３０-1，３０-2のデータ領域を予め定められたサイズのブロックを単位に区分して、そのブロック毎に有効なデータが格納されているか否かを、ブロック管理情報としてのビットマップ情報、例えばビットマップテーブル３１０-1，３１０-2を用いて管理する。ビットマップテーブル３１０-1，３１０-2は、ファイルシステム１３-1，１３-2の管理情報であるファイルシステム（ＦＳ）管理情報３１-1，３１-2の一部である。このファイルシステム管理情報３１-1，３１-2は、ミラーリング対象ディスク３０-1，３０-2内の管理領域として割り当てられている特定の領域に格納されている。

図２は、ビットマップテーブル３１０-1のデータ構造例を示す。ビットマップテーブル３１０-1は、ミラーリング対象ディスク３０-1内の各ブロックのブロック番号に対応して設けられる有効ビットの列から構成される。ここで、有効ビットは、値が“１”の場合、対応するブロックが、使用されているブロック、つまり有効なブロックであることを示す。また有効ビットは、値が“０”の場合は、対応するブロックが、使用されていないブロック、つまり無効なブロックであることを示す。この無効ブロック（使用されていないブロック）には、データとしては意味のない値が格納されている。図２のビットマップテーブル３１０-1の例では、ブロック番号が２，３，６のブロックは使用中の有効ブロックであることが示され、ブロック番号が１，４，５のブロックは使用されていない無効ブロックであることが示されている。この図２のビットマップテーブル３１０-1の内容に対応する、ミラーリング対象ディスク３０-1のデータの状態を図３に示す。

再び図１を参照すると、ＲＤＭドライバ１４-1，１４-5は、システム（リモートディスクミラーリング）の運用状態において、ミラーリング対象ディスク３０-1，３１-2間で内容を一致化（同期化）させるように、ディスク入出力（ディスクＩＯ）を管理する。稼動系計算機、例えばホスト計算機１０-1のＲＤＭドライバ１４-1は、書込み要求を２重化して、待機系計算機、例えばホスト計算機１０-2のミラーリング対象ディスク３０-2の同一ブロックに同一データを書き込ませる。一方、待機系のホスト計算機１０-2のＲＤＭドライバ１４-2は、当該待機系が稼動系から独立してミラーリング対象ディスク３０-2にデータを書き込むのを禁止する。
ディスクドライバ１５-1，１５-2は、ＲＤＭドライバ１４-1，１４-2に従ってミラーリング対象ディスク３０-1，３１-2を対象とするディスク入出力を行う。

次に、図１の２重化システムにおけるリモートディスクミラーリングの初期化処理について、図４のフローチャートを参照して説明する。
ホスト計算機１０-1及び１０-2内のＲＤＭモジュール１１-1及び１１-2は、ネットワーク２０を介して通信を行う。もし、ホスト計算機１０-2が障害から復帰した場合、或いはホスト計算機１０-2のミラーリング対象ディスク３０-2が故障して新たなミラーリング対象ディスク３０-2に交換された場合、ＲＤＭモジュール１１-1及び１１-2は相互に通信が可能となった段階で、２重化システムを構成する計算機として運用を開始しようとする。この場合、ホスト計算機１０-1及び１０-2では、図４のフローチャートに示す手順によって、リモートディスクミラーリングの初期化処理が次のように行われる。

まず。ホスト計算機１０-1及び１０-2内のＲＤＭモジュール１１-1及び１１-2は、相互に通信を行うことで、ホスト計算機１０-1及び１０-2の一方を稼動系とし、他方を待機系とするための決定処理を行う（ステップＳ１）。この決定処理が、一般にはミラーリング対象ディスク３０-1，３１-2に格納されている世代管理情報など、リモートディスクミラーリングのための管理情報に従って行われることは従来から良く知られている。したがって、この決定処理のアルゴリズムについては説明は省略する。

さて、ステップＳ１では、ホスト計算機１０-1が稼動系、ホスト計算機１０-2が待機系として、それぞれ決定されたものとする。すると稼動系計算機１０-1のＲＤＭモジュール１１-1は、待機系計算機１０-2のＲＤＭモジュール１１-2とネットワーク２０を介して通信を行い、稼動系計算機１０-1のミラーリング対象ディスク３０-1内の管理領域に格納されているファイルシステム（ＦＳ）管理情報３１-1を、待機系計算機１０-2のミラーリング対象ディスク３０-2の同一アドレスの領域（つまりミラーリング対象ディスク３０-2内の管理領域）にファイルシステム管理情報３１-2としてコピーする（ステップＳ２）。これにより、ファイルシステム管理情報３１-に含まれているビットマップテーブル（ＢＭＴ）３１０-1は、ビットマップテーブル（ＢＭＴ）３１０-2としてミラーリング対象ディスク３０-2にコピーされることになる。

すると、稼動系計算機１０-1のコピードライバ１２-1が起動される。コピードライバ１２-1は、ミラーリング対象ディスク３０-1，３０-2の管理領域以外の領域（データ領域）を対象に、ファイルシステム１３-1によって管理されるブロック（データブロック）単位でコピーを行う。即ちコピードライバ１２-1は、ブロック単位で、そのブロックに対応するビットマップテーブル３１０-1（ビットマップ情報）の有効ビットを参照する（ステップＳ３，Ｓ４）。そしてコピードライバ１２-1は、ビットマップテーブル３１０-1によって有効なデータが格納されている有効ブロックとして管理されている、ミラーリング対象ディスク３０-1内の使用中のブロックについては、待機系計算機１０-2のミラーリング対象ディスク３０-2の同一アドレスのブロックにデータをコピーする（ステップＳ５，Ｓ６）。これに対し、ビットマップテーブル３１０-1によって無効ブロックとして管理されている使用されていないブロックに関しては、コピードライバ１２-1はミラーリング対象ディスク３０-1，３０-2間のコピーを行わずに、そのブロックはコピー完了したとみなす。コピードライバ１２-1は、以上の動作を、ビットマップテーブル３１０-1によって管理されている全ブロックについて繰り返す。

この初期化処理により、ファイルシステム管理情報３１-1が図２に示す状態にあり、したがってミラーリング対象ディスク３０-1の内容が図３に示す状態にある場合には、ミラーリング対象ディスク３０-1からミラーリング対象ディスク３０-2に対し、図５に示すコピーが行われる。即ち、ファイルシステム管理情報３１-1、及びブロック番号が２，３，６のブロック（データブロック）のデータのみがコピーされる。

このように、本実施形態のリモートディスクミラーリングの初期化処理では、稼動系計算機１０-1のミラーリング対象ディスク３０-1から待機系ホスト計算機１０-2のミラーリング対象ディスク３０-2に対し、ファイルシステム管理情報と有効ブロックのデータだけをコピーすることから、コピー総量を削減でき、初期化処理に要する時間を短縮して初期化処理の高速化を図ることができる。しかも、コピーの対象とならなかったブロックは使用されていない無効ブロックであり、当該無効ブロックのデータがコピーされなくても、システムの運用に何ら支障をきたさない。

さて、図４のフローチャートに従う初期化処理を全ブロックについて実行し終えると（ステップＳ３）、ミラーリング対象ディスク３０-2のミラーリング対象ディスク３０-1への一致化が完了する。図１の２重化システムは、この一致化が完了した時点で、通常のリモートディスクミラーリングの運用を開始する。即ち、稼動系計算機１０-1（内のＲＤＭドライバ１４-1）は、ミラーリング対象ディスク３０-1への書込み要求を２重化して、待機系計算機１０-2のミラーリング対象ディスク３０-2の同一ブロックに同一データを書き込ませる。

なお、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。

本発明の一実施形態に係るリモートディスクミラーリングを適用する２重化システムの構成を示すブロック図。 図１中のビットマップテーブル３１０-1のデータ構造例を示す図。 図２のビットマップテーブル３１０-1の内容に対応する、ミラーリング対象ディスク３０-1のデータの状態例を示す図。 同実施形態におけるリモートディスクミラーリングの初期化処理の手順を示すフローチャート。 図２及び図３の例に対応するミラーリング対象ディスク３０-1からミラーリング対象ディスク３０-2へのコピー例を示す図。

符号の説明

１０-1，１０-2…ホスト計算機、１１-1，１１-2…ＲＤＭ（リモートディスクミラーリング）モジュール（ファイルシステム管理情報コピー手段）、１２-1，１２-2…コピードライバ（有効ブロックコピー手段）、１３-1，１３-2…ファイルシステム、２０…ネットワーク、３０-1，３０-2…ミラーリング対象ディスク、３１-1，３１-2…ファイルシステム管理情報、３１０-1，３１０-2…ビットマップテーブル（ＢＭＴ、ブロック管理情報）。

Claims (4)

1. ディスクを備えた２台の計算機がネットワークにより相互接続され、前記２台の計算機の一方が稼動系計算機として、他方が待機系計算機としてそれぞれ動作し、前記稼動系計算機の前記ディスクへのデータ書き込み要求を２重化して前記ネットワークを介して前記待機系計算機の前記ディスクにも同一データを書き込ませることで前記ディスクのデータを２重化する２重化システムにおいて、
   前記２台の計算機の各々は、
   前記計算機の前記ディスク内のデータを管理するファイルシステムであって、前記ディスクのデータ領域を予め定められたサイズのブロックを単位に区分して、当該ブロック毎に有効なデータが格納されている有効ブロックであるか否かをブロック管理情報により管理するファイルシステムと、
   リモートディスクミラーリングの初期化処理において、自身が前記稼動系計算機となった場合、当該稼動系計算機の前記ファイルシステムによる管理に用いられる前記ブロック管理情報に従い、前記有効ブロックのデータのみを当該稼動系計算機の前記ディスクから前記待機系計算機の前記ディスクにコピーする有効ブロックコピー手段と
   を具備することを特徴とする２重化システム。
2. 前記ファイルシステムは、前記ディスクの管理領域に格納される、前記ブロック管理情報を含むファイルシステム管理情報により、当該ディスク内のデータを管理し、
   前記２台の計算機の各々は、前記リモートディスクミラーリングの初期化処理において、自身が前記稼動系計算機となった場合、当該稼動系計算機の前記ディスクの前記管理領域に格納されている前記ファイルシステム管理情報を、前記有効ブロックコピー手段によるデータのコピーに先行して、前記待機系計算機の前記ディスクにコピーするファイルシステム管理情報コピー手段を更に具備する
   ことを特徴とする請求項１記載の２重化システム。
3. ディスクを備えた２台の計算機がネットワークにより相互接続され、前記２台の計算機の一方が稼動系計算機として、他方が待機系計算機としてそれぞれ動作し、前記稼動系計算機の前記ディスクへのデータ書き込み要求を２重化して前記ネットワークを介して前記待機系計算機の前記ディスクにも同一データを書き込ませることで前記ディスクのデータを２重化する２重化システムに適用されるリモートディスクミラーリングの初期化処理方法であって、
   前記２台の計算機が相互に通信をしていずれが前記稼動系計算機となるかを決定するステップと、
   前記稼動系計算機として決定された場合、当該計算機のファイルシステムが、前記ディスクのデータ領域を予め定められたサイズのブロックを単位に区分して、当該ブロック毎に有効なデータが格納されている有効ブロックであるか否かを管理するのに用いられるブロック管理情報に従い、前記ブロック毎に、当該ブロックが有効ブロックであるか否かを前記稼動系計算機が判定するステップと、
   前記有効ブロックであると判定されたブロックのデータのみを前記稼動系計算機の前記ディスクから前記待機系計算機の前記ディスクにコピーするブロックコピーステップと
   を具備することを特徴とするリモートディスクミラーリングの初期化処理方法。
4. 前記稼動系計算機の前記ファイルシステムによって前記ディスクのデータを管理するのに用いられる、前記ブロック管理情報を含むファイルシステム管理情報が、当該ディスクの管理領域に格納されており、
   前記稼動系計算機の前記ディスクの前記管理領域に格納されている前記ファイルシステム管理情報を、前記ブロックコピーステップに先行して、前記待機系計算機の前記ディスクにコピーするステップを更に具備する
   ことを特徴とする請求項３記載のリモートディスクミラーリングの初期化処理方法。

Images