WO2015125227A1 - ストレージシステム - Google Patents

Abstract

　本発明のストレージシステムは、正ストレージ装置、副ストレージ装置の間でジャーナルを利用した、ボリュームのリモートコピーを行う。正ストレージ装置、副ストレージ装置ともに複数のプロセッサボード（ＭＰＢ）を有し、各ＭＰＢにジャーナルボリュームを割り当てる。正ストレージ装置の各ＭＰＢは、自身がオーナ権を持つ正ボリュームへのライトデータからジャーナルを生成し、自身に割り当てられたジャーナルボリュームに対してジャーナルを格納し、副ストレージ装置に送信する。副ストレージ装置の各ＭＰＢは、自身に割り当てられたジャーナルボリュームに格納されたジャーナルを、副ボリュームに対して反映する。また、正ストレージ装置では、各ジャーナルボリュームに定期的にタイムスタンプを挿入し、副ストレージ装置では各ジャーナルボリュームに挿入されている共通のタイムスタンプのうち、最大値を有するタイムスタンプ以前に格納されているジャーナルを副ボリュームへ反映させる処理を行う。

Description

ストレージシステム

　本発明は、ストレージ装置間のボリュームコピー技術に関する。

　ＩＴの進歩やインターネットの普及などにより、企業等における計算機システムが扱うデータ量は増加を続けており、データを格納するストレージ装置に対しても、高い性能が要求されている。そのため、中規模以上のストレージ装置（ストレージシステム）では、データアクセス要求を処理するコントローラ/プロセッサを複数搭載する構成をとるものが多い。

　一般に、複数のプロセッサ搭載するストレージ装置の場合、ストレージ装置の有する各ボリュームに対するアクセス要求の処理を担当するプロセッサは、あらかじめ一意に決定されている。以下、複数のプロセッサ（プロセッサ１、プロセッサ２）を有するストレージ装置において、あるボリュームＡに対するアクセス要求の処理を担当するプロセッサが、プロセッサ１であった場合、「プロセッサ１はボリュームＡのオーナ権を持つ」と表現する。ストレージ装置に接続されるホスト計算機からボリュームＡに対するアクセス（たとえばリード要求）を、オーナ権を持たないプロセッサが受信した場合、オーナ権を持たないプロセッサは一旦、オーナ権を持つプロセッサにアクセス要求を転送し、オーナ権を持つプロセッサでアクセス要求の処理を行い、処理結果をオーナ権を持たないプロセッサに返送する、という処理が行われるため、オーバヘッドが大きい。性能低下の発生を回避するため、特許文献１ではオーナ権を有するコントローラ/プロセッサに対してアクセス要求を割り振る専用ハードウェア(LR:ローカルルータ)を備えたストレージシステムについて開示している。特許文献１におけるストレージ装置では、ホストからボリュームアクセスコマンドを受領するホスト(チャネル)インタフェース(I/F)に備えられたＬＲは、オーナ権を有するコントローラ/プロセッサを特定し、そのコントローラ/プロセッサに対してコマンドを転送する。これにより複数のプロセッサに適切に処理を割り振ることを可能としている。

特表２０１３－５１７５３７号公報

　ところで高可用性を要求されるシステムでは、正ストレージ装置のボリューム（正ボリューム）の複製を副ストレージ装置のボリューム（副ボリューム）に格納するという、いわゆるリモートコピー技術が用いられることが多い。リモートコピー技術の実現態様として、ジャーナルを利用したリモートコピー技術がある。この技術では、ホスト計算機から正ボリュームへ書き込まれたデータをジャーナルとして、正ストレージ装置内のジャーナルボリューム（正ジャーナルボリューム）というボリュームにも格納する。そして、ジャーナルボリュームに格納されたジャーナルを、副ストレージ装置のジャーナルボリューム（副ジャーナルボリューム）に転送し、副ストレージ装置では、副ジャーナルボリュームに格納されたジャーナルに基づいて、副ボリュームへのデータ更新を行う。

　また、リモートコピー技術における複製対象ボリュームの数は１つに限定されず、複数の正ボリュームの複製を副ストレージ装置に作成可能である。プロセッサを複数搭載可能なストレージ装置の場合、ボリュームの数が増えても当該ボリュームのアクセス処理（リード・ライト処理）を担当するプロセッサを増加させることで、負荷分散が可能である。ただしジャーナルを利用したリモートコピー技術では、正ストレージ装置の複数のボリュームに対する更新は、正ジャーナルボリュームへ格納され、副ジャーナルボリュームへと転送される。そしてジャーナルボリュームに対するオーナ権を持つプロセッサは１つだけであるため、複製対象ボリュームの数が増加した場合、ストレージ装置に搭載するプロセッサ数を増やしても、ジャーナルボリュームに対する処理が性能上のボトルネックとなる。

　さらに、正ボリュームと正ジャーナルボリュームのオーナ権を持つプロセッサがそれぞれ異なる場合、正ボリュームに格納されたデータの複製をジャーナルボリュームに格納する処理を行う時に、正ボリュームのオーナ権を持つプロセッサと正ジャーナルボリュームのオーナ権を持つプロセッサの間で要求のやり取り（通信）が発生し、処理性能の悪化を招く。

　また、リモートコピー技術で求められる要件の一つに、データ一貫性の保証があげられる。ここでいうデータ一貫性とは、副ストレージ装置の各副ボリュームに格納される複製データが、ホスト計算機から正ストレージ装置の各正ボリュームに対して書き込まれる各データの書き込み順と同じ順で、副ストレージ装置の各副ボリュームに格納されることを保証することである。特にミッションクリティカルシステムでは、障害発生時の回復等を考慮して、ホスト計算機からストレージ装置にライトされた各データが、ライト要求の発行順にストレージ装置の記憶媒体に格納されることを期待して設計されていることがある。そのため、正ストレージ装置において、最初にボリュームにデータａを書き込み、その後データｂを書き込んだ場合、副ストレージ装置のボリュームにも、データａがデータｂより先に書き込まれることが期待される。逆にデータｂがデータａより先に書き込まれ、データｂが書き込まれた直後に障害が発生した場合、副ストレージ装置のボリュームに格納された複製データにデータ一貫性がなく、業務継続できない事態が発生することがある。ジャーナルボリュームに対するオーナ権を持つプロセッサが１つだけの場合、当該１つのプロセッサが書き込み順序を管理すればよいため、データ一貫性の保証は比較的容易であるが、たとえばジャーナルボリュームに対する処理の負荷分散のために、ジャーナルボリュームに対する処理を複数プロセッサに担当させるようにすると、データ一貫性を保証することが難しくなる。

　本発明の目的は、ジャーナルを利用したリモートコピーの性能を向上させ、かつデータ一貫性の保証を可能にすることにある。

　上記課題を解決するために、本発明のストレージシステムは、正ストレージ装置、副ストレージ装置の複数のプロセッサごとにジャーナルボリュームを割り当て、正ストレージ装置の各プロセッサは、自身がオーナ権を持つ正ボリュームへのライトデータからジャーナルを生成し、自身に割り当てられたジャーナルボリュームに対してジャーナルを格納し、副ストレージ装置に送信する。副ストレージ装置の各プロセッサはそれぞれ、自身に割り当てられたジャーナルボリュームに格納されたジャーナルを、副ボリュームに対して反映する。

　また、本発明の正ストレージ装置では、各ジャーナルボリュームに定期的にタイムスタンプを挿入し、副ストレージ装置では各ジャーナルボリュームに挿入された共通のタイムスタンプより前に格納されているジャーナルを副ボリュームへ反映させる処理を行う。

　本発明のストレージシステムでは、リモートコピー処理の負荷を複数のプロセッサに分散でき、性能向上を可能とするとともに、データ一貫性の保証を可能としている。

本発明の一実施形態に係るストレージシステムの構成図である。 論理ボリューム管理テーブルの内容を示す。 ペア管理テーブルの内容を示す。 従来のストレージ装置において、ジャーナルを利用したリモートコピーを実行する場合の、各ボリュームとＭＰＢとの関係を表した図である。 本発明の実施例に係るストレージシステムにおける、各ボリュームとＭＰＢとの関係を説明する図である。 反映ジャーナルボリュームテーブルの内容を示す。 ジャーナルの構造の概要を説明する図である。 シーケンス番号管理テーブルの内容を示す。 メタデータのフォーマットを示す。 ジャーナル作成処理のフローを示す。 タイムスタンプ挿入処理のフローを示す。 格上げ処理のフローを示す。 ジャーナルボリュームに格納されたデータの一例を示す。 オーナ権移動情報テーブルの内容を示す。 順序制御用テーブルの内容を示す。 Ｐ－ＶＯＬのオーナ権が変更された時の、正ストレージ装置１０ａの実行する処理の流れを示す。 ＲＥＳＴＡＲＴマーカ格納処理のフローを示す。 Ｐ－ＶＯＬまたはＳ－ＶＯＬのオーナ権が変更された場合の、副ストレージ装置におけるジャーナル格上げ処理のフローを示す。 ジャーナルボリュームにＥＮＤマーカ、ＲＥＳＴＡＲＴマーカが格納された場合の状態の一例を示す。

　以下、図面を参照して、本発明の一実施形態に係るストレージシステムを説明する。なお、本発明は、以下に説明する実施形態に限定されるものではない。

　図１は、本発明の一実施形態に係るストレージシステムの構成を示す。ストレージシステムは、ホスト２からのＩ／Ｏ要求を受け付ける正ストレージ装置１０ａ、正ストレージ装置１０ａに接続される副ストレージ装置１０ｂ、管理端末１３からなる。

　正ストレージ装置１０ａは、たとえばファイバチャネルケーブル６等の伝送線によってホスト２や副ストレージ装置１０ｂと接続されるとともに、イーサネット５等の伝送線によって管理端末１３と接続される。図１では、正ストレージ装置１０ａとホスト２または副ストレージ装置１０ｂの間に伝送線しか記載されていないが、正ストレージ装置１０ａとホスト２または副ストレージ装置１０ｂの間に、スイッチやチャネルエクステンダ等の機器が接続されている構成でも良い。また、正ストレージ装置１０ａと管理端末１３の間にも、スイッチが挿入される構成もあり得る。

　正ストレージ装置１０ａは、ストレージコントローラ（以下、「コントローラ」と略記することもある）１１と複数のドライブ１２１を備えるディスクユニット１２から構成される。ストレージコントローラ１１は、正ストレージ装置１０ａで行われるＩ／Ｏ処理などの制御を実行するプロセッサボードであるＭＰＢ１１１、ホスト２や副ストレージ装置１０ｂとのデータ転送インタフェースであるチャネルアダプタ（ＣＨＡ）１１２、ディスクユニット１２とのデータ転送インタフェースであるディスクアダプタ（ＤＫＡ）１１３、キャッシュデータや制御情報などを格納するメモリを備えたメモリパッケージ（ＣＭＰＫ）１１４が、スイッチ（ＳＷ）１１５で相互接続された構成をとる。各構成要素（ＭＰＢ１１１、ＣＨＡ１１２、ＤＫＡ１１３、ＣＭＰＫ１１４）の数は、図１に示された数に限定されるものではないが、高可用性の確保のため、通常各構成要素は複数存在する。また、これら構成要素を後で増設することも可能である。

　各ＭＰＢ１１１は、１以上（たとえば４個、８個等）のプロセッサ（ＭＰとも呼ばれる）１４１と、当該プロセッサ１４１が使用するデータを格納するローカルメモリ１４２を有する、プロセッサパッケージボードである。またローカルメモリ１４２には、ＭＰＢ１１１内の各ＭＰ１４１が共有アクセス可能な領域と、特定のＭＰ１４１だけがアクセスする専用領域の、２種類の領域が存在する。本明細書では、各ＭＰ１４１が共有アクセス可能な領域のことをＰＭと呼び、特定のＭＰ１４１だけがアクセスする専用領域のことをＬＭと呼ぶ。そしてローカルメモリ１４２のことを、ＬＭ／ＰＭ１４２と表記することもある。

　ＣＭＰＫ１１４は、ホスト２からのライトデータやドライブ１２１から読み出されたデータを一時格納する、いわゆるディスクキャッシュとして用いられる領域であるＣＭ１４４と、ＭＰＢ１１１が使用する制御情報等を格納する領域であるＳＭ１４３とを有する。ＳＭ１４３に格納される情報は、全ＭＰＢ１１１の全ＭＰ１４１からアクセス可能である。ＣＭＰＫ１１４は、停電等の障害が発生してもデータ消失を防ぐためにバッテリバックアップ等の手段を備えていてもよい。

　ディスクユニット１２には複数のドライブ１２１を備え、各ドライブ１２１には主にホスト２からのライトデータが格納される。ドライブ１２１には、一例としてＨＤＤなどの磁気ディスクが用いられるが、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等、ＨＤＤ以外の記憶媒体を用いてもよい。

　副ストレージ装置１０ｂは、正ストレージ装置１０ａと同様の構成要素を有する装置である（図１では内部構成の記載を省略している）。ただし、各構成要素（ＭＰＢ１１１、ＣＨＡ１１２、ドライブ１２１等）の数は正ストレージ装置１０ａと同じである必要はない。以下、正ストレージ装置１０ａ、副ストレージ装置１０ｂが共通に備えている機能等を説明する場合、正ストレージ装置１０ａ、副ストレージ装置１０ｂを区別せず、「ストレージ装置１０」と表記する。なお、図１では明示していないが、副ストレージ装置１０ｂにも管理端末が接続される。この管理端末は、正ストレージ装置１０ａに接続される管理端末と別の端末である場合もあれば、正ストレージ装置１０ａに接続される管理端末が、伝送線によって副ストレージにも接続されている構成であってもよい。

　続いて、本発明の実施例１におけるストレージ装置１０（正ストレージ装置１０ａ、副ストレージ装置１０ｂ）で取り扱うボリューム、及びリモートコピー機能について説明する。まずボリュームについて説明する。ストレージ装置１０は、自身のディスクユニット１２に存在する複数のドライブ１２１の中の２以上のＨＤＤを用いてＲＡＩＤグループを形成する。そしてＲＡＩＤ技術に基づいたデータ格納、つまりホスト２からのライトデータを所定サイズ（たとえば１６ＫＢ等）に分割し、分割されたデータからパリティ（冗長データ）を生成し、分割されたデータと、生成されたパリティとをＲＡＩＤグループ内の各ＨＤＤに格納する処理を行う。またストレージ装置１０は、１つのＲＡＩＤグループの記憶領域を１または複数の論理ボリューム（ＬＤＥＶとも呼ばれる）としてホスト２に提供する（ホストからアクセス可能な状態にする）態様をとる。これらの処理は、ＭＰ１４１で実行される制御プログラムの働きにより、実現される。なお、これらの処理は周知のストレージ装置で行われている処理であり、また本発明のリモートコピー処理と直接関係のない処理であるので、詳細な説明は行わない。

　図２に示す論理ボリューム管理テーブル２００は、ストレージ装置１０内の各論理ボリュームを管理するためのテーブルである。各論理ボリュームには各ストレージ装置１０内で一意な識別番号が付されており、それを論理ボリューム番号と呼ぶ（ＬＤＥＶ＃あるいはＶＯＬ＃と呼ばれることもある）。また詳細は後述するが、本発明の実施例１に係るストレージ装置１０では、各論理ボリュームに対する処理（データリード、ライト処理等）を担当する権利を有するＭＰＢ１１１が一意に定められており、論理ボリューム管理テーブル２００には、各論理ボリューム２００－１に対する処理を担当する権利を有するＭＰＢ１１１（２００－２）の情報（識別番号）が格納される。論理ボリューム管理テーブル２００は、正ストレージ装置１０ａ、副ストレージ装置１０ｂそれぞれが有する情報で、各ストレージ装置１０のＳＭ１４３に格納される。

　なお正ストレージ装置１０ａが管理している論理ボリューム管理テーブル２００には、正ストレージ装置１０ａが管理する各論理ボリュームの情報（ＬＤＥＶ＃）と、各論理ボリュームに対する処理を担当する権利を有する正ストレージ装置１０ａのＭＰＢ１１１についての情報が格納されており、副ストレージ装置１０ｂが管理している論理ボリューム管理テーブル２００には、副ストレージ装置１０ｂが管理する各論理ボリュームの情報（ＬＤＥＶ＃）と、各論理ボリュームに対する処理を担当する権利を有する副ストレージ装置１０ｂのＭＰＢ１１１についての情報が格納されている。

　ストレージ装置１０における、論理ボリュームに対する処理の概要を説明する。たとえばホスト２からボリュームに対するアクセス要求を受信した場合を例にとる。ホスト２が論理ボリューム（たとえばＬＤＥＶ＃が０番であるとする）に対するリード要求を発行すると、当該要求はホスト２が接続されているＣＨＡ１１２により受信される。ＣＨＡ１１２内には、論理ボリューム管理テーブル２００と同様の情報、つまり各論理ボリュームの処理を担当するＭＰＢ１１１の情報を保持している（なお、論理ボリューム管理テーブル２００の内容が更新されると、ＣＨＡ１１２が有する情報も更新される）。ＣＨＡ１１２はこの情報をもとに、アクセス要求をＭＰＢ１１１に転送する。図２の例では、ＬＤＥＶ＃（２００－１）が０番の論理ボリュームの処理を担当する権利を持つＭＰＢ＃（２００－２）は１番であるので、１番のＭＰＢ１１１に要求が転送される。

　その後、要求を受信したＭＰＢ１１１が当該論理ボリュームに対するリード要求の処理を行う。具体的にはドライブ１２１からデータをＣＭ１４４に読み出し、読み出されたＣＭ１４４上のデータを、ＣＨＡ１１２を経由してホスト２に返送する。以下、論理ボリュームの処理を担当する権利のことを「オーナ権」と呼び、論理ボリューム管理テーブル２００が管理する、各論理ボリューム２００－１に対する処理を担当するＭＰＢ１１１（２００－２）の情報のことをオーナ権情報と呼ぶ。そして図２の論理ボリューム管理テーブル２００に記載の例では、ＬＤＥＶ＃（２００－１）が０番の論理ボリュームの処理を担当するＭＰＢ＃（２００－２）は１番だが、この場合、１番のＭＰＢ１１１がＬＤＥＶ＃が０番のボリュームのオーナ権を有するＭＰＢである、と表現する。

　なお、ここではリード処理について中心に説明したが、ホスト２からライト要求を受信した場合にも同様に、ＣＨＡ１１２が適切な（ライト対象論理ボリュームのオーナ権を有する）ＭＰＢ１１１に要求を転送し、オーナ権を有するＭＰＢ１１１が論理ボリュームに対するライト処理を行うことができる。また、各論理ボリュームに対するオーナ権は、ストレージシステムの管理者が管理端末等を用いて設定するが、別の実施態様として、ストレージシステム（正副ストレージ装置１０ａ、１０ｂ）のＭＰＢ１１１が自動的に設定できるようにしてもよい。いずれの場合にも、論理ボリュームにオーナ権が設定されると、論理ボリューム管理テーブル２００に、オーナ権を有するＭＰＢの番号がＭＰＢ＃（２００－２）に登録される。

　また、上の説明では、「ＭＰＢが…処理を行う」のように、ＭＰＢが動作主体となって各種処理を行っているかのような説明がなされている箇所があるが、実際に各種処理を行う動作主体は、ＭＰＢ１１１に搭載されているいずれかのプロセッサ１４１である。そして、あるＭＰＢがあるＬＤＥＶのオーナ権を有すると定義された場合、当該ＭＰＢ内の任意のプロセッサが、当該ＬＤＥＶについての処理をすることができる。そのため、本明細書では、「ＭＰＢが…処理を行う」と記載されている箇所は、特に断りのない限り、ＭＰＢ内の任意のプロセッサが処理を行うことを表すものとする。

　続いてリモートコピー機能について概要を説明する。本発明の実施例１に係るストレージ装置１０では、ジャーナルを用いたリモートコピーを行う。ジャーナルを用いたリモートコピーは、たとえば米国特許出願公開第２００５／００７３８８７号明細書等に開示されている機能であるので、以下では本発明に関係する部分の概要のみ説明する。

　リモートコピー機能は、正ストレージ装置１０ａの論理ボリューム（ＬＤＥＶ）のデータの複製（ミラーコピー）を副ストレージ装置１０ｂの論理ボリューム（ＬＤＥＶ）に作成する機能である。本明細書では、複製対象となる正ストレージ装置１０ａの論理ボリュームのことをプライマリボリューム（Ｐ－ＶＯＬ）と呼び、Ｐ－ＶＯＬのデータの複製先である副ストレージ装置１０ｂの論理ボリュームのことを、セカンダリボリューム（Ｓ－ＶＯＬ）と呼ぶ。またＰ－ＶＯＬの複製データが格納されるＳ－ＶＯＬのことを、Ｐ－ＶＯＬと「ペア関係にあるボリューム」と呼ぶ（逆に、Ｓ－ＶＯＬの複製元データが格納されているＰ－ＶＯＬも、当該Ｓ－ＶＯＬとペア関係にあるボリューム、と呼ばれることもある）。そしてＰ－ＶＯＬ及び当該Ｐ－ＶＯＬの複製データが格納されるＳ－ＶＯＬの組のことを、「ペア」あるいは「ペアボリューム」と呼ぶ。

　図３にペア管理テーブル３００の構成を示す。ストレージ装置１０では、各ペアに識別子を付して管理しており、この識別子をペア番号と呼ぶ。そしてペア管理テーブル３００には、各ペアのＰ－ＶＯＬ、Ｓ－ＶＯＬの情報（Ｐ－ＶＯＬの属するストレージ装置を特定可能な識別番号であるＰＤＫＣ＃（３０３）、Ｐ－ＶＯＬのＬＤＥＶ＃（３０４）、Ｓ－ＶＯＬの属するストレージ装置を特定可能な識別番号であるＳＤＫＣ＃（３０５）、Ｓ－ＶＯＬのＬＤＥＶ＃（３０６））を管理する。またペア管理テーブル３００内にある「状態（３０２）」の欄には、各ペアの状態（コピーが行われている状態であるか否か等）を表す情報が格納される。また、ＭＰＢ＃（３０７）の欄には、Ｓ－ＶＯＬのオーナ権を持つ、副ストレージ装置１０ｂのＭＰＢの番号が格納される。このテーブルは正ストレージ装置１０ａ、副ストレージ装置１０ｂ双方のＳＭ１４３に存在し、いずれのＳＭ１４３にも同内容のテーブルが格納される。

　ジャーナルを用いたリモートコピーでは、正副ストレージ装置（１０ａ、１０ｂ）それぞれに、コピーデータを一時的に格納するためのボリュームを用意する。このボリュームのことをジャーナルボリューム（ＪＶＯＬと呼ばれることもある）と呼ぶ。ジャーナルボリュームには、Ｐ－ＶＯＬやＳ－ＶＯＬと同じく、論理ボリューム（ＬＤＥＶ）が用いられる。ただし、Ｐ－ＶＯＬやＳ－ＶＯＬはそれぞれ、正ストレージ装置１０ａ、副ストレージ装置１０ｂに接続されたホスト計算機（ホスト２など）に提供される（ホスト計算機からアクセス可能な）ボリュームであって、ストレージシステムの管理者によって、ホスト２からアクセス可能なように設定されている論理ボリュームであるのに対し、ジャーナルボリュームはホスト２などのホスト計算機から直接アクセスされることのない（ホスト２からアクセス可能に設定されていない）ボリュームである。

　ジャーナルを用いたリモートコピーによるコピー処理の流れは以下の通りである。正ストレージ装置１０ａがホストからＰ－ＶＯＬに対するライト要求及び当該ライト要求で指定されたライトデータを受け付けると、正ストレージ装置１０ａはＰ－ＶＯＬにライトデータを格納する処理を実行するとともに、ライトデータの複製の作成を行う。この作成されたライトデータの複製は、先入れ先出し（ＦＩＦＯ）の要領で正ストレージ装置１０ａのＪＶＯＬ（正ジャーナルボリュームまたは正ＪＶＯＬとも呼ばれる）に格納される。またライトデータの複製が正ジャーナルボリュームに格納される際、各ライトデータの複製には、その書き込み順を示す番号であるシーケンス番号等のメタデータが付されて格納される。正ジャーナルボリュームのデータはその後、ファイバチャネルケーブル６を介して副ストレージ装置１０ｂに接続されているＣＨＡ１１２を経由して、副ストレージ装置１０ｂに送信され、副ストレージ装置１０ｂのジャーナルボリューム（副ジャーナルボリュームまたは副ＪＶＯＬとも呼ばれる）に書き込まれる。副ストレージ装置１０ｂでは、たとえば定期的に副ジャーナルボリュームからデータを取出し、データに付されているシーケンス番号に従って、順番にＳ－ＶＯＬにデータを格納していく。これによりＰ－ＶＯＬからＳ－ＶＯＬへのデータ複製（ミラーリング）が実現される。

　この処理の流れと、先に述べたボリュームのオーナ権の関係を、図４を用いて説明する。図４は、従来のストレージシステム（正ストレージ装置Ｍと副ストレージ装置Ｒ。以下、正ストレージ装置ＭのことをＭＣＵ、副ストレージ装置ＲのことをＲＣＵと呼ぶこともある）において、ジャーナルを利用したリモートコピーを実行する場合の、各ボリュームとＭＰＢとの関係を表した概念図である。ＭＰＢ＃０～ＭＰＢ＃３と記されたボックスが、ストレージ装置のＭＰＢを表し（ＭＰＢ＃Ｘとは、番号ＸのＭＰＢであることを表す）、当該ボックス中に記載された円筒形のオブジェクトがそれぞれ、ボリューム（Ｐ－ＶＯＬ、Ｓ－ＶＯＬ、ＪＶＯＬ）を表している。また、図中の点線はデータの流れを表している。

　また、たとえば図４の中のＰ－ＶＯＬ（４０１）はＭＰＢ＃０のボックス中に記載されているが、これはＰ－ＶＯＬ（４０１）のオーナ権をＭＰＢ＃０が持つことを表している。また、正ストレージ装置Ｍ、副ストレージ装置Ｒの両方において、ＪＶＯＬがＭＰＢ＃０のボックス内に記載されているが、これは正ＪＶＯＬ、副ＪＶＯＬのオーナ権をそれぞれ、正ストレージ装置ＭのＭＰＢ＃０、副ストレージ装置ＲのＭＰＢ＃０が持つことを表している。なお本明細書では、あるボリューム（仮にボリュームＶとする）のオーナ権をＭＰＢ＃Ｘ（番号ＸのＭＰＢ）が有している状態のことを、「ボリュームＶがＭＰＢ＃Ｘに割り当てられている」と呼ぶこともある。たとえば図４の構成では、Ｐ－ＶＯＬ（４０１）のオーナ権をＭＰＢ＃０が持つので、Ｐ－ＶＯＬ（４０１）がＭＰＢ＃０に割り当てられている、と表現することもある。

　従来のストレージシステムにおけるジャーナルを利用したリモートコピーでは、ストレージ装置内の特定の１つのＭＰＢだけが、ジャーナルボリュームに対するオーナ権を持つ（図４の例ではＭＰＢ＃０）。そのため、ホストから各ボリューム４０１～４０４にデータが書き込まれた時、各ボリューム４０１～４０４へのデータの書き込み処理（ディスクキャッシュにデータを格納したり、ディスクキャッシュ上のデータをドライブに書き込む等の処理）は、当該ボリュームに対するオーナ権を有するＭＰＢが実行する。しかし、ジャーナルを利用したリモートコピーに係る処理、つまりボリュームに書き込まれるデータの複製を作成して当該複製を正ＪＶＯＬに格納する処理や、正ストレージ装置のＪＶＯＬのデータを副ＪＶＯＬに転送する等の処理は、ジャーナルボリュームに対するオーナ権を持つＭＰＢ＃０だけが行う。また副ストレージ装置１０ｂにおいても、ジャーナルを利用したリモートコピーに係る処理（正ストレージ装置１０ａから転送されてくるデータを副ＪＶＯＬに格納し、当該格納されたデータの内容をＳ－ＶＯＬに反映する処理）は、副ＪＶＯＬのオーナ権を有する（副ストレージ装置の）ＭＰＢ（ＭＰＢ＃０）が実施する。そのために、ジャーナルを利用したリモートコピーに係る処理を行うＭＰＢが性能上のボトルネックとなり、スケーラビリティに欠ける。

　図５を用いて、本発明の実施例１に係るストレージシステムにおいて、ジャーナルを利用したリモートコピーを実行する場合の、各ボリュームとＭＰＢとの関係を説明する。図中、＜１＞～＜５＞の番号が付されたオブジェクト（ボリューム）はＰ－ＶＯＬを表し、＜１’＞～＜５’＞の番号が付されたオブジェクト（ボリューム）はＳ－ＶＯＬを表している。そしてＡ～Ｐの符号が付されたオブジェクト（ボリューム）は正ストレージ装置１０ａのＪＶＯＬ（正ＪＶＯＬ）、Ａ’～Ｐ ’の符号が付されたオブジェクト（ボリューム）は副ストレージ装置１０ｂのＪＶＯＬ（副ＪＶＯＬ）を表す。

　従来のストレージシステムと異なる点は、各ＭＰＢ１１１に複数のジャーナルボリュームのオーナ権が割り当てられている点である。この構成では、各ジャーナルボリュームに対する処理（ジャーナルの生成、格納等）は、当該ジャーナルボリュームのオーナ権が割り当てられているＭＰＢが担当するので、リモートコピーによるコピー対象ボリューム（Ｐ－ＶＯＬ、Ｓ－ＶＯＬ）の数が増加しても、特定のＭＰＢに負荷が集中することがないという利点がある。なお、各ＭＰＢに割り当てられるＰ－ＶＯＬ、Ｓ－ＶＯＬの数も、１つに限定されない。

　理由は後述するが、本発明の実施例１に係るストレージシステムでは、正ストレージ装置１０ａの各ＭＰＢ１１１に割り当てられている正ジャーナルボリュームの数は、副ストレージ装置１０ｂのＭＰＢ１１１の数に等しくなるように、ストレージシステムが設定される必要がある。同様に、副ストレージ装置１０ｂの各ＭＰＢ１１１に割り当てられている副ジャーナルボリュームの数も、正ストレージ装置１０ａのＭＰＢ１１１の数に等しくなるように、ストレージシステムが設定される必要がある。そのため、リモートコピー機能を実行する前には、正副ストレージ装置１０ａ、１０ｂのそれぞれに、正ストレージ装置１０ａの持つＭＰＢの数と、副ストレージ装置１０ｂの持つＭＰＢの数の積に等しい数のジャーナルボリュームが用意されている必要がある。ジャーナルボリュームの用意は、ストレージシステムの管理者が管理端末を用いて、未使用のボリューム（ホスト２からアクセスされるボリュームとして設定されていないボリューム）をジャーナルボリュームとして設定する方法を採用してもよいし、あるいはストレージ装置１０ａ、１０ｂのＭＰＢ１１１が、リモートコピー機能が実行される（たとえばＰ－ＶＯＬとＳ－ＶＯＬのペア関係が定義される等）ことを契機に、自動的に未使用のボリュームをジャーナルボリュームとして設定する方法を採ってもよい。また、本発明の実施例１に係るストレージシステムでは、ジャーナルボリュームとして選定されたボリュームの情報（論理ボリューム番号等）を、後述する反映ジャーナルボリュームテーブル５００に格納して管理する。

　図６を用いて、各ジャーナルボリュームの用途について説明する。図６に記載のテーブル（反映ジャーナルボリュームテーブル５００）は、正ストレージ装置１０ａ及び副ストレージ装置１０ｂの持つ全ジャーナルボリュームについての情報を格納したテーブルである。正ストレージ装置１０ａのＭＰＢは、作成したジャーナルをジャーナルボリュームに格納する際には、このテーブルを参照して、格納先ジャーナルボリュームを一意に特定する。この情報は正ストレージ装置１０ａ及び副ストレージ装置１０ｂのＳＭ１４３に格納されている。

　反映ジャーナルボリュームテーブル５００は、テーブル５００－１、テーブル５００－２という、２つのテーブルから成る。ＶＯＬ＃（５０１）、Ｐ－ＶＯＬオーナ権を持つＭＰＢ＃（５０２）、Ｓ－ＶＯＬオーナ権を持つＭＰＢ＃（５０３）の項目からなるテーブル５００－１は、正ストレージ装置１０ａ内の各ジャーナルボリュームについての情報を格納するためのテーブルである。またＶＯＬ＃（５１１）、Ｐ－ＶＯＬオーナ権を持つＭＰＢ＃（５１２）、Ｓ－ＶＯＬオーナ権を持つＭＰＢ＃（５１３）の項目からなるテーブル５００－２は、副ストレージ装置１０ｂ内の各ジャーナルボリュームについての情報を格納するためのテーブルである。ＶＯＬ＃（５０１）、ＶＯＬ＃（５１１）はそれぞれ、正ストレージ装置１０ａ、副ストレージ装置１０ｂ内のジャーナルボリュームの論理ボリューム番号を格納する欄である。

　そしてテーブル５００－１の各行は、Ｐ－ＶＯＬオーナ権を持つＭＰＢ＃（５０２）で特定されるＭＰＢ（正ストレージ装置１０ａのＭＰＢ）がＰ－ＶＯＬのオーナ権を持っており、かつＳ－ＶＯＬオーナ権を持つＭＰＢ＃（５０３）で特定されるＭＰＢ（副ストレージ装置１０ｂのＭＰＢ）がＳ－ＶＯＬのオーナ権を持っているペアボリュームについてのジャーナルが、ＶＯＬ＃（５０１）で特定される論理ボリューム番号のジャーナルボリュームに格納されることを表している。同様に、テーブル５００－２の各行は、Ｐ－ＶＯＬオーナ権を持つＭＰＢ＃（５１２）で特定されるＭＰＢ（正ストレージ装置１０ａのＭＰＢ）がＰ－ＶＯＬのオーナ権を持っており、かつＳ－ＶＯＬオーナ権を持つＭＰＢ＃（５１３）で特定されるＭＰＢ（副ストレージ装置１０ｂのＭＰＢ）がＳ－ＶＯＬのオーナ権を持っているペアボリュームについてのジャーナル（正ストレージ装置１０ａから送信されてくるジャーナル）が、ＶＯＬ＃（５１１）で特定される論理ボリューム番号のジャーナルボリュームに格納されることを表している。

　たとえばテーブル５００－１を参照すると、ＶＯＬ＃（５０１）がＡの行には、Ｐ－ＶＯＬオーナ権を持つＭＰＢ＃（５０２）の欄に０、Ｓ－ＶＯＬオーナ権を持つＭＰＢ＃（５０３）の欄に０が格納されている。これは、論理ボリューム番号がＡのジャーナルボリューム（ジャーナルボリュームＡ）には、（正ストレージ装置１０ａの）０番のＭＰＢに割り当てられているＰ－ＶＯＬのうち、（副ストレージ装置１０ｂの）０番のＭＰＢに割り当てられているＳ－ＶＯＬとペア関係にあるＰ－ＶＯＬへのライトデータに基づいて生成されるジャーナルが格納されることを表している。またテーブル５００－２を参照すると、ＶＯＬ＃（５１１）がＢ’の行には、Ｐ－ＶＯＬオーナ権を持つＭＰＢ＃の欄（５１２）に０、Ｓ－ＶＯＬオーナ権を持つＭＰＢ＃（５１３）の欄に１が格納されている。これは、論理ボリューム番号がＢ’のジャーナルボリューム（ジャーナルボリュームＢ’）には、（正ストレージ装置１０ａの）０番のＭＰＢに割り当てられているＰ－ＶＯＬのうち、（副ストレージ装置１０ｂの）１番のＭＰＢに割り当てられているＳ－ＶＯＬとペア関係にあるＰ－ＶＯＬへのライトデータに基づいて生成されるジャーナルが格納されることを表している。

　このように、本発明の実施例１に係るストレージシステムではジャーナルの格納先が、Ｐ－ＶＯＬのオーナ権を持つＭＰＢのＭＰＢ＃とＳ－ＶＯＬのオーナ権を持つＭＰＢのＭＰＢ＃とに依存しているため、正ストレージ装置１０ａの各ＭＰＢ１１１に割り当てられるジャーナルボリュームを、副ストレージ装置１０ｂのＭＰＢ１１１の数と同数用意し、副ストレージ装置１０ｂの各ＭＰＢ１１１に割り当てられるジャーナルボリュームも、正ストレージ装置１０ａのＭＰＢ１１１の数と同数用意することにしている。そしてジャーナルボリュームを用意する（未使用のボリュームをジャーナルボリュームとして設定する）際には、ストレージシステムの管理者がジャーナルボリュームの設定をする場合であっても、ストレージ装置のＭＰＢが設定をする場合であっても、反映ジャーナルボリュームテーブル５００に格納すべき内容（正ストレージ装置１０ａのジャーナルボリュームの場合には、Ｐ－ＶＯＬオーナ権を持つＭＰＢ＃（５０２）、Ｓ－ＶＯＬオーナ権を持つＭＰＢ＃（５０３）の情報。副ストレージ装置１０ｂのジャーナルボリュームの場合には、Ｐ－ＶＯＬオーナ権を持つＭＰＢ＃（５１２）とＳ－ＶＯＬオーナ権を持つＭＰＢ＃（５０３）の情報）に格納されるＭＰＢ＃も同時に決定して、反映ジャーナルボリュームテーブル５００に当該決定した内容を格納する必要がある。同様に未使用のボリュームを副ストレージ装置１０ｂのジャーナルボリュームとして設定する際には、Ｐ－ＶＯＬオーナ権を持つＭＰＢ＃（５１２）とＳ－ＶＯＬオーナ権を持つＭＰＢ＃（５１３）に格納されるＭＰＢ＃も同時に決定して、反映ジャーナルボリュームテーブル５００に当該決定した内容を格納する必要がある。

　図５を参照しながら、この関係を具体的に説明する。図５では、ボリューム（Ｐ－ＶＯＬ）＜１＞の複製は、ボリューム（Ｓ－ＶＯＬ）＜１’＞に作成され（つまりＰ－ＶＯＬ＜１＞とＳ－ＶＯＬ＜１’＞がペアボリュームである）、そしてＰ－ＶＯＬ＜２＞の複製はＳ－ＶＯＬ＜２’＞に作成される（つまりＰ－ＶＯＬ＜２＞とＳ－ＶＯＬ＜２’＞がペアボリュームである）という関係にある場合の例を示している。そしてＰ－ＶＯＬ＜１＞と＜２＞はＭＰＢ＃０に割り当てられているが、Ｓ－ＶＯＬ＜１’＞と＜２’＞が割り当てられているＭＰＢはそれぞれ異なる（Ｓ－ＶＯＬ＜１’＞はＭＰＢ＃０に割り当てられているがＳ－ＶＯＬ＜２’＞はＭＰＢ＃１に割り当てられている）場合の例を示している。そして各ジャーナルボリューム（Ａ～Ｐ，Ａ’～Ｐ’）と、Ｐ－ＶＯＬオーナ権を持つＭＰＢ及びＳ－ＶＯＬオーナ権を持つＭＰＢの関係は、図６に示された反映ジャーナルボリュームテーブル５００の内容の通りであるとする。

　この時、Ｐ－ＶＯＬ＜１＞にホスト２からデータ書き込みがあると、それに対応したジャーナルがＭＰＢ＃０で生成され、生成されたジャーナルはボリュームＡに格納される。またＰ－ＶＯＬ＜２＞にホスト２からデータ書き込みがあると、それに対応したジャーナルがＭＰＢ＃０で生成され、生成されたジャーナルはボリュームＢに格納される。そして、ボリュームＡに格納されたジャーナルは、副ストレージ装置１０ｂのジャーナルボリューム（ボリュームＡ’）に転送され、ボリュームＢに格納されたジャーナルは、副ストレージ装置１０ｂのジャーナルボリューム（ボリュームＢ’）に転送される。その後副ストレージ装置１０ｂでは、ボリュームＡ‘のオーナ権を持つＭＰＢ＃０が、ジャーナルボリューム（ボリュームＡ’）に格納されたジャーナルをＳ－ＶＯＬ＜１‘＞に反映し、ボリュームＢ‘のオーナ権を持つＭＰＢ＃１が、ジャーナルボリューム（ボリュームＢ’）に格納されたジャーナルをＳ－ＶＯＬ＜２‘＞に反映する。

　続いて図７を用いて、ジャーナルボリューム６００に格納されるジャーナルの構造（フォーマット）の概要を説明する。本発明の実施例１に係る正ストレージ装置１０ａでは、Ｐ－ＶＯＬに対してホスト２からライトコマンドを受信するたびに、当該ライトコマンドで指定されたライトデータをＳ－ＶＯＬに転送するためのジャーナル６１０を１つ作成する。作成されたジャーナル６１０は、（正ストレージ装置１０ａの）ジャーナルボリューム６００に格納されることによって、副ストレージ装置１０ｂに送信される。

　先に述べたとおり、本発明の実施例１に係るストレージシステムでは、ジャーナルボリュームを一種のＦＩＦＯとして使用する。そのため、初期状態、つまりジャーナルボリューム６００にジャーナルが未書き込みの状態の時には、正ストレージ装置１０ａのＭＰＢ１１１は、ジャーナルボリューム６００の先頭に作成したジャーナル６１０を格納する。その後ジャーナルをジャーナルボリューム６００に格納する際には、前回格納されたジャーナル６１０の直後に新規に作成されたジャーナルを格納する。そして正ストレージ装置１０ａが副ストレージ装置１０ｂにジャーナルを送信する場合にも、ジャーナルボリューム６００の先頭に作成したジャーナル６１０から順に読み出して送信していく（すでにいくつかのジャーナル６１０を送信済みの場合には、前回の送信処理で送信済みのジャーナル６１０の直後に格納されているジャーナル６１０から順に送信する）。なお、ジャーナル６１０を送信する際、ジャーナル６１０を１つずつ読み出し（及び送信）する必要はなく、複数のジャーナル６１０をまとめて読み出して送信するようにしてもよい。

　また、副ストレージ装置１０ｂに送信されたジャーナルを、副ストレージ装置１０ｂのＭＰＢがジャーナルボリュームに書き込む際にも同様に、ジャーナルボリュームの先頭から順に書き込んでいく。また副ストレージ装置１０ｂのジャーナルボリュームに格納されたジャーナルの内容をＳ－ＶＯＬに反映する際にも、副ストレージ装置１０ｂはジャーナルボリュームの先頭から順にジャーナルを読み出して、Ｓ－ＶＯＬに反映する。

　ジャーナルのフォーマットの説明に戻る。ジャーナル６１０は、管理情報６１０－１とジャーナルデータ６１０－２から構成される。ジャーナルデータ６１０－２の領域には、Ｐ－ＶＯＬに対してホスト２から受信するライトコマンドとともに到来するライトデータが格納され、管理情報６１０－１は以下に説明するように、ジャーナルデータ６１０－２のデータ内容を記述した情報が格納される。

　管理情報６１０－１は、種別６５１とメタデータ６５２から構成される。ジャーナル６１０には、Ｐ－ＶＯＬに対して書き込まれるデータ（ジャーナルデータ６１０－２）以外の情報が格納されることがあり、種別６５１はその内容を説明するための情報である。種別６５１に指定される情報の種類は後述する。メタデータ６５２には、種別６５１で指定される種類に依存して、異なる種類の情報が格納される。図７では、ジャーナル６１０に、Ｐ－ＶＯＬに対して書き込まれるデータが格納されている場合のメタデータについて説明している。この場合、メタデータ６５２には、シーケンス番号（ＳＥＱ＃と表記されることもある）（６５２－１）、ライトデータの書き込み位置を表す情報のセットであるＬＤＥＶ＃（６５２－２）とＬＢＡ（６５２－３）とデータ長（６５２－４）、そしてジャーナルデータのジャーナルボリューム上の格納位置を表すポインタ（６５２－５）の情報が格納される。シーケンス番号（６５２－１）については後述する。ＬＤＥＶ＃（６５２－２）は、ホスト２から受信するライトコマンドに含まれている、Ｐ－ＶＯＬを特定する情報（論理ボリューム番号）である。ＬＢＡ（６５２－３）そしてデータ長（６５２－４）もまた、ホスト２から受信するライトコマンドに含まれている情報で、Ｐ－ＶＯＬ上のデータ書き込み範囲を特定する情報である。ジャーナル６１０を受信する副ストレージ装置１０ｂでは、このＬＤＥＶ＃（６５２－２）とＬＢＡ（６５２－３）とデータ長（６５２－４）の情報に基づいて、ジャーナルデータ６１０－２の内容をＳ－ＶＯＬに反映する。ポインタ（６５２－５）は、管理情報６１０－１に対応するジャーナルデータの、ジャーナルボリューム上の格納位置を表す情報で、たとえばジャーナルボリュームのＬＢＡが格納される。ただしポインタ（６５２－５）に格納される情報は、管理情報６１０－１に対応するジャーナルデータの、ジャーナルボリューム上の格納位置を特定できる情報であればよく、ジャーナルボリュームのＬＢＡに限定されない。たとえば管理情報（６１０－１）の先頭からの相対位置を表す情報が含まれていても良い。

　シーケンス番号（６５２－１）について説明する。ジャーナルを作成する際、各ジャーナルには０から始まる一意な順序番号が付され、これをシーケンス番号と呼ぶ。図８に、正ストレージ装置１０ａが管理するシーケンス番号管理テーブル７００を示す。正ストレージ装置１０ａでは、ジャーナル作成時に、各ジャーナルボリューム内で一意なシーケンス番号を付すように制御するため、あるジャーナルボリューム（仮に、ＪＶＯＬ　Ｂとする）にジャーナルを格納する際、シーケンス番号管理テーブル７００のＶＯＬ＃がＢの行のＳＥＱ＃の欄に格納されている値を、メタデータ６５２のシーケンス番号（６５２－１）に格納し、その後シーケンス番号管理テーブル７００のＳＥＱ＃に１加算する。シーケンス番号管理テーブル７００は、ＳＭ１４３に全ジャーナルボリュームのシーケンス番号を格納して管理するようにしてもよいし、また各ＭＰＢ１１１が、自身に割り当てられているジャーナルボリュームのシーケンス番号の情報のみを、自身のＰＭ１４２で管理するようにしてもよい。

　シーケンス番号は、副ストレージ装置１０ｂにおいて、ジャーナルデータの内容をＳ－ＶＯＬに反映する際に使用される。ジャーナルデータの内容をＳ－ＶＯＬに反映する際、ジャーナルボリュームに格納されている、Ｓ－ＶＯＬに未反映のジャーナルのうち、最も小さなシーケンス番号が付されたジャーナルを選択して、Ｓ－ＶＯＬにジャーナルデータの内容を反映する処理を行う。これにより、正ストレージ装置１０ａにおいてホスト２から各データをＰ－ＶＯＬに対して書き込んだ順序と同じ順序で、Ｓ－ＶＯＬに対しても各データを反映させることができる。

　続いて種別６５１の説明を行う。先に述べたとおり、ジャーナル６１０には、Ｐ－ＶＯＬに対して書き込まれるデータ（ジャーナルデータ６１０－２）以外の情報が格納されることがある。本発明の実施例に係るストレージシステムでは、正ストレージ装置１０ａがジャーナル６１０に書き込む情報として、Ｐ－ＶＯＬに対するライトデータ（の複製）以外に、以下の（１）～（３）で説明する３つの情報がある。

　（１）タイムスタンプ
　本発明の実施例１に係る正ストレージ装置１０ａでは、各ＭＰＢ１１１が自身に割り当てられたジャーナルボリュームにジャーナル６１０を書き込む処理を行う他に、定期的に各ジャーナルボリュームにタイムスタンプを格納する処理を行う。図９（Ａ）は、ジャーナルボリュームに格納されるタイムスタンプのメタデータのフォーマットを表す。タイムスタンプは、ＳＥＱ＃（６５２－１）とタイムスタンプ（Ｔｉｍｅｓｔａｍｐ）情報（６５２－Ｔ）を有するメタデータ６５２のみで構成されるもので、ジャーナルデータ６１０－２は存在しない（言い換えれば、ジャーナルデータのサイズは０である）。ＳＥＱ＃（６５２－１）は先に説明したとおりの情報で、タイムスタンプに付されたシーケンス番号を表す。タイムスタンプ情報（６５２－Ｔ）は時刻情報（時分秒など）を格納してもよいが、本発明の実施例１に係る正ストレージ装置１０ａでは、一定周期（１秒など）でカウントアップされるカウンタの値（カウンタ情報と呼ぶ）がＳＭ１４３に格納されており、タイムスタンプをジャーナルボリュームに格納する際には、このカウンタ情報をＳＭ１４３から読み出し、読み出されたカウンタ情報をタイムスタンプ情報（６５２－Ｔ）とするメタデータ６５２を作成し、ジャーナルボリュームに格納する。またカウンタ情報に格納される値は、特定のＭＰＢ１１１が一定周期でカウントアップしている。タイムスタンプの具体的な用いられ方は後述する。

　（２）ＥＮＤマーカ
　ＥＮＤマーカ及びＲＥＳＴＡＲＴマーカは、Ｐ－ＶＯＬ（またはＳ－ＶＯＬ）のオーナ権を持つＭＰＢが変更されたときに、正ストレージ装置１０ａがジャーナルボリュームに挿入する情報である。タイムスタンプと同様、ＥＮＤマーカ及びＲＥＳＴＡＲＴマーカもメタデータのみで構成される情報で、ジャーナルデータ６１０－２を有さない情報である。なお、ＥＮＤマーカ及びＲＥＳＴＡＲＴマーカは、実施例２に係るストレージシステムにおいて用いられる情報であるので、具体的な用いられ方は実施例２で説明する。

　ＥＮＤマーカのメタデータの構成について、図９（Ｂ）に示す。ＥＮＤマーカのメタデータは、ＳＥＱ＃（６５２－１）、マーカフラグ（６５２－Ｍ１）、ＬＤＥＶ＃（６５２－Ｍ２）、変更前ジャーナルボリューム番号（ＪＶＯＬ＃）（６５２－Ｍ３）、変更後ＪＶＯＬ＃（６５２－Ｍ４）、変更前ＳＥＱ＃（６５２－Ｍ５）で構成される。ＳＥＱ＃（６５２－１）は、ＥＮＤマーカ自体に付されたシーケンス番号を表す。マーカフラグ（６５２－Ｍ１）には、ＥＮＤマーカの場合には「Ｅ」が格納される。ＬＤＥＶ＃（６５２－Ｍ２）はオーナ権が変更されたＰ－ＶＯＬのＬＤＥＶ＃が格納される領域である。

　変更前ＪＶＯＬ＃（６５２－Ｍ３）には、Ｐ－ＶＯＬ（ＬＤＥＶ＃（６５２－Ｍ２）に格納されたＬＤＥＶ＃を有するＰ－ＶＯＬ）または当該Ｐ－ＶＯＬとペア関係にあるＳ－ＶＯＬのオーナ権が変更される前に、当該Ｐ－ＶＯＬのジャーナルが格納されていたジャーナルボリュームの論理ボリューム番号が格納される。変更後ＪＶＯＬ＃には、Ｐ－ＶＯＬまたは当該Ｐ－ＶＯＬとペア関係にあるＳ－ＶＯＬのオーナ権が変更された後に、当該Ｐ－ＶＯＬのジャーナルが格納されるジャーナルボリュームの論理ボリューム番号が格納される。変更前ＳＥＱ＃（６５２－Ｍ５）には、ＥＮＤマーカ自体に付されたシーケンス番号（つまりＳＥＱ＃（６５２－１）と同じ内容）が格納される。ただし別の実施形態として、Ｐ－ＶＯＬ（または当該Ｐ－ＶＯＬとペア関係にあるＳ－ＶＯＬ）のオーナ権が変更される前のジャーナルボリュームに、最後に格納されたジャーナル（ＥＮＤマーカの直前に格納されたジャーナル）に付されたシーケンス番号を格納するようにしてもよい。

　（３）ＲＥＳＴＡＲＴマーカ
　ＲＥＳＴＡＲＴマーカのメタデータを構成する情報は、図９（Ｃ）に示されているように、ＥＮＤマーカのメタデータを構成する情報と同じである。ＥＮＤマーカとＲＥＳＴＡＲＴマーカの違いは、ＲＥＳＴＡＲＴマーカには、マーカフラグ（６５２－Ｍ１）に、値「Ｒ」が格納される点である。マーカフラグ（６５２－Ｍ１）以外の情報、つまりＳＥＱ＃（６５２－１）、ＬＤＥＶ＃（６５２－Ｍ２）、変更前ＪＶＯＬ＃（６５２－Ｍ３）、変更後ＪＶＯＬ＃（６５２－Ｍ４）には、ＥＮＤマーカの説明の際に述べたものと同じ情報が格納される。また変更前ＳＥＱ＃（６５２－Ｍ５）には、ＥＮＤマーカの変更前ＳＥＱ＃（６５２－Ｍ５）と同内容が格納される。

　このようにジャーナルには、Ｐ－ＶＯＬに対して書き込まれるデータの格納されるジャーナル（以下、通常ジャーナルと呼ぶ）に加え、タイムスタンプ、ＥＮＤマーカ、ＲＥＳＴＡＲＴマーカが存在する。ジャーナル６１０の種別６５１の欄には、これら４種類のジャーナルを識別できる情報が格納される。本発明の実施例では、種別６５１の欄に、通常ジャーナルの場合には「１」、タイムスタンプの場合には「２」、ＥＮＤマーカの場合には「３」、ＲＥＳＴＡＲＴマーカの場合には「４」が格納される。ただし種別６５１に格納される情報はこれに限定されない。

　なお、ジャーナルボリュームにジャーナルの格納される態様は、図７のように管理情報６１０－１とジャーナルデータ６１０－２とが隣接して格納される態様に限定されるものではない。たとえば米国特許出願公開第２００５／００７３８８７号明細書等に開示されているように、管理情報とジャーナルデータとが別領域に格納されるようにするなど、様々な格納態様をとることも可能である。

　続いて図１０を用いて、本発明のストレージ装置１０におけるジャーナル作成処理を説明する。この処理は、正ストレージ装置１０ａの各ＭＰＢで実行される処理で、正ストレージ装置１０ａのＬＤＥＶに対して書き込みを要求するライトコマンド（ライト要求）をホスト２から受領した時に、当該ＬＤＥＶに対するライト要求を処理するＭＰＢ（つまりライト対象のＬＤＥＶのオーナ権を持つＭＰＢ）が、当該ＬＤＥＶに対するライト要求の処理直後（具体的にはライトデータをＣＭ１４４に格納した直後）に実行する。

　Ｓ１では、ＭＰＢ１１１はライト対象のＬＤＥＶがペアを構成するボリュームであるか判断する。この判断はペア管理テーブル３００内のＰ－ＶＯＬ＃（３０４）の欄に、ライト対象のＬＤＥＶのＬＤＥＶ番号が含まれているかを判断することで行われる。ライト対象のＬＤＥＶがペアを構成するボリュームでなかった場合（Ｓ１：Ｎ）には、処理を終了するが、ライト対象のＬＤＥＶがペアを構成するボリュームであった場合（Ｓ１：Ｙ）、Ｓ２に進む。

　Ｓ２では、ＭＰＢ１１１はこの処理（ジャーナル作成処理）を実行しているＭＰＢ＃を取得する。ストレージ装置１０は、ＭＰＢで実行される各プログラムが、当該プログラムを実行しているＭＰＢのＭＰＢ＃を取得できる機能を備えており、それを利用する。ここで得られたＭＰＢ＃が、ライト対象ＬＤＥＶ（つまりＰ－ＶＯＬ）のオーナ権を有するＭＰＢのＭＰＢ＃である。

　Ｓ３では、ＭＰＢ１１１はライト対象のＬＤＥＶ（Ｐ－ＶＯＬ）に対応する（ペア関係にある）Ｓ－ＶＯＬのオーナ権を有している副ストレージ装置１０ｂのＭＰＢ＃の情報を取得する。この処理では、ペア管理テーブル３００内から、ライト対象ＬＤＥＶのＬＤＥＶ＃がＰ－ＶＯＬ＃（３０４）の欄に格納されている行を探索し、当該行のＭＰＢ＃（３０７）に格納されているＭＰＢ＃を取得する。

　Ｓ４では、ＭＰＢ１１１は反映ジャーナルボリュームテーブル５００を参照し、ジャーナルを格納すべきジャーナルボリュームを特定し、Ｓ５では、ジャーナルを作成して、Ｓ４で特定されたジャーナルボリュームに対して、作成されたジャーナルを書き込む。ここで作成されるジャーナルは、図７に示すフォーマットのジャーナル６１０（ジャーナルデータ６１０－２と、そのメタデータ６５２としてＳＥＱ＃（６５２－１）、ＬＤＥＶ＃（６５２－２）、ＬＢＡ（６５２－３）、データ長（６５２－４）、ポインタ（６５２－５）を含むジャーナル）である。ジャーナル作成の方法は周知の方法であるため、説明は省略する。

　また、Ｓ５の実行後には、シーケンス番号管理テーブル７００のＳＥＱ＃の欄の値を１加算する。たとえばシーケンス番号管理テーブル７００が図８の状態にあり、ジャーナル作成処理でＶＯＬ＃　Ｂのジャーナルボリュームにジャーナルを作成・格納した場合、ジャーナルのＳＥＱ＃（６５２－１）にはシーケンス番号管理テーブル７００の内容を格納するので、作成されたジャーナルのＳＥＱ＃には２２２が格納されている。そしてジャーナルを（ＶＯＬ＃　Ｂの）ジャーナルボリュームに格納した直後、シーケンス番号管理テーブル７００のＶＯＬ＃　Ｂに対応するＳＥＱ＃の値を２２３に更新する。以上でジャーナル作成処理が終了する。

　続いて図１１を用いて、タイムスタンプ挿入処理について説明する。タイムスタンプ挿入処理では、先に述べたタイムスタンプ（図９）をジャーナルボリュームに挿入する処理である。この処理は、正ストレージ装置１０ａ内の特定の１つのＭＰＢが定期的に実行する。本発明の実施例１においては、タイムスタンプ挿入処理を実行するＭＰＢは、あらかじめもっともＭＰＢ＃の小さいＭＰＢ１１１（ＭＰＢ＃が０番のＭＰＢ１１１）が実行するものとするが、どのＭＰＢ１１１がタイムスタンプ挿入処理を実行するようにしてもよい。

　タイムスタンプ挿入処理は一定周期（数秒間隔等）で実行される処理である。Ｓ１１ではまず、ＭＰＢ１１１は前回タイムスタンプ挿入処理を実行してから一定の時間が経過したか判定し、まだ一定の時間が経過していない場合には処理を終了する。一定の時間が経過していた場合、Ｓ１２に進む。

　Ｓ１２では、タイムスタンプ挿入処理を実行しているＭＰＢ１１１は、他の全てのＭＰＢ１１１に対し、Ｉ／Ｏ処理を保留させる。これにより各ＭＰＢ１１１で実行中のＩ／Ｏ処理は一時中断される。またこの時、ジャーナルボリュームに対するデータ書き込みも中断される。なお、タイムスタンプ挿入処理を実行しているＭＰＢ１１１が実行中のＩ／Ｏ処理、ジャーナルボリュームに対するデータ書き込み処理も中断される。

　Ｓ１３では、タイムスタンプ挿入処理を実行しているＭＰＢ１１１は、他の全てのＭＰＢ１１１に対し、タイムスタンプの挿入を指示する。指示を受けた各ＭＰＢ１１１はＳＭ１４３上のカウンタ情報を読み出し、当該カウンタ情報を含むタイムスタンプ（図９（Ａ））を作成し、これを各ＭＰＢ１１１に割り当てられている各ジャーナルボリュームに格納する。タイムスタンプの作成時に、シーケンス番号を格納する点は、通常のジャーナル作成処理（図１０　Ｓ５）と同様である。またタイムスタンプ挿入処理を実行しているＭＰＢ１１１も、タイムスタンプの作成、ジャーナルボリュームへの格納処理を行う。なお、各ＭＰＢ１１１でのカウンタ情報の取得方法は、各ＭＰＢ１１１が直接ＳＭ１４３上のカウンタ情報を読み出す方法に限定されない。たとえばタイムスタンプ挿入処理を実行しているＭＰＢ１１１がＳＭ１４３からカウンタ情報を読み出し、読み出されたカウンタ情報を各ＭＰＢ１１１に送信し、各ＭＰＢ１１１が送付されたカウンタ情報をもとにタイムスタンプを作成するようにしてもよい。いずれの方法を採るにせよ、Ｓ１３の処理を実行することで、各ＭＰＢ１１１がオーナ権を有する全ジャーナルボリュームに、共通の（同一値の）タイムスタンプ情報（カウンタ情報）を持つタイムスタンプが挿入されればよい。

　Ｓ１４では、タイムスタンプ挿入処理を実行しているＭＰＢ１１１は、他の全てのＭＰＢ１１１に対し、Ｉ／Ｏ処理の再開を指示する。またタイムスタンプ挿入処理を実行しているＭＰＢ１１１自身もＩ／Ｏ処理を再開する。これによりタイムスタンプ挿入処理が終了する。

　図１０、１１で説明したジャーナル作成処理、タイムスタンプ挿入処理により、ジャーナルボリュームに格納されたジャーナルは、定期的に副ストレージ装置１０ｂに送信される。本発明の実施例１におけるストレージシステムでは、複数のジャーナルボリュームを用いているが、ジャーナルの送信元、送信先は一意に定められているので、正副ストレージ装置（１０ａ、１０ｂ）は、定められた規則に従って適切な送信先ジャーナルボリュームへとジャーナルを送信する。正ストレージ装置１０ａの各ジャーナルボリュームに格納されたジャーナルの送信先は、反映ジャーナルボリュームテーブル５００を参照することで判明する。具体的な方法は次の通りである。まず、正側ジャーナルボリュームのＶＯＬ＃５０１で特定されるジャーナルボリュームに対応する、Ｐ－ＶＯＬオーナ権を持つＭＰＢ＃５０２とＳ－ＶＯＬオーナ権を持つＭＰＢ＃５０３の組を特定する。続いてこの組と同じ、Ｐ－ＶＯＬオーナ権を持つＭＰＢ＃５１２とＳ－ＶＯＬオーナ権を持つＭＰＢ＃５１３の組を特定する。この組に対応したＶＯＬ＃５１１で特定される、副ストレージ装置１０ｂのジャーナルボリュームが、送信先ジャーナルボリュームとなる。

　参考までに、正ストレージ装置１０ａのＶＯＬ＃５０１がＣのジャーナルボリュームの送信先ジャーナルボリュームを特定する例を用いて説明する。正ストレージ装置１０ａの論理ボリューム番号（ＶＯＬ＃５０１）がＣのジャーナルボリュームに対応する、Ｐ－ＶＯＬオーナ権を持つＭＰＢ＃５０２は０、そしてＳ－ＶＯＬオーナ権を持つＭＰＢ＃５０３は２である。そしてこれと同じＰ－ＶＯＬオーナ権を持つＭＰＢ＃５１２とＳ－ＶＯＬオーナ権を持つＭＰＢ＃５１３の組（つまり、Ｐ－ＶＯＬオーナ権を持つＭＰＢ＃５１２が０で、Ｓ－ＶＯＬオーナ権を持つＭＰＢ＃５２３は２）に対応付けられた論理ボリューム番号（ＶＯＬ＃５１１）はＣ’であるから、正ストレージ装置１０ａのＶＯＬ＃５０１がＣのジャーナルボリュームの送信先ジャーナルボリュームのＶＯＬ＃は、Ｃ’ということがわかる。

　正ストレージ装置１０ａの各ジャーナルボリュームに格納されたジャーナルを送信する際には、正ストレージ装置１０ａ（のＭＰＢ１１１）は上で説明したように反映ジャーナルボリュームテーブル５００を参照して送信先ジャーナルボリュームのＶＯＬ＃を特定し、副ストレージ装置１０ｂに対して、特定されたＶＯＬ＃のボリューム（ジャーナルボリューム）にジャーナルを格納することを指示する情報とともにジャーナルを送信する。副ストレージ装置１０ｂは、指示情報に指定された論理ボリューム番号（ＶＯＬ＃）のジャーナルボリュームにジャーナルを格納する。なお、正ストレージ装置１０ａから副ストレージ装置１０ｂへのジャーナルの送信処理の具体的な処理は、上記の送信先ジャーナルボリュームの特定方法を除いては、従来の方法（たとえば米国特許出願公開第２００５／００７３８８７号明細書等に開示の方法）と同様の方法を用いることができるので、詳細な説明は省略する。また、ジャーナルの送信の際、１回の送信処理で１つのジャーナルだけが送信されるわけではなく、複数個のジャーナルをまとめて送信することができる。ただし、１回の送信処理で１つのジャーナルだけを送信する方法を採用してもよい。

　また、正ストレージ装置１０ａにおけるジャーナルボリューム内データの副ストレージ装置１０ｂへの送信、及び副ストレージ装置１０ｂにおける、受信したジャーナルのジャーナルボリュームへの格納はそれぞれ、ジャーナルボリュームのオーナ権を持つＭＰＢが独立に実施する。そのため、正ストレージ装置１０ａの各ジャーナルボリュームに同時期に格納された各ジャーナルデータ（各Ｐ－ＶＯＬに対する更新データの複製）が、必ずしも同時期に副ストレージ装置１０ｂのジャーナルボリュームに格納されているわけではない。

　続いて図１２を用いて、副ストレージ装置１０ｂの各ジャーナルボリュームに格納されたジャーナルの内容を、Ｓ－ＶＯＬに反映する処理の流れを説明する。なお、以下では、副ストレージ装置１０ｂの各ジャーナルボリュームに格納されたジャーナルの内容を、Ｓ－ＶＯＬに反映する処理のことを、「格上げ処理」と呼ぶ。この処理は副ストレージ装置１０ｂで定期的に実施される。

　本発明の実施例１における副ストレージ装置１０ｂにおける格上げ処理では、正ストレージ装置１０ａから送信されたジャーナルのうち、所定の条件を満たす範囲のジャーナルのみを格上げする。格上げ処理の際、副ストレージ装置１０ｂの特定の１つのＭＰＢ１１１が、他ＭＰＢ１１１から情報を集めて、格上げするジャーナルの範囲を決定する処理を行う。本発明の実施例１においては、この処理を実行するＭＰＢ１１１は、あらかじめもっともＭＰＢ＃の小さいＭＰＢ１１１（ＭＰＢ＃が０番のＭＰＢ１１１）が実行するものとするが、どのＭＰＢ１１１がタイムスタンプ挿入処理を実行するようにしてもよい。またこの処理を実行するＭＰＢ１１１のことを「代表ＭＰＢ」と呼ぶ。

　Ｓ２１では、代表ＭＰＢは他ＭＰＢに対して、各ＭＰＢ１１１に割り当てられているジャーナルボリューム内のタイムスタンプ情報を要求する。各ＭＰＢ１１１はこの要求を受け付けると、自身に割り当てられている全ジャーナルボリューム内に格納されているタイムスタンプを検査し、ジャーナルボリュームごとに、タイムスタンプ情報の最大値を抽出する（Ｓ３１）。続いて、抽出された、各ジャーナルボリューム内のタイムスタンプ最大値の中の最小値を特定し、特定された最小値を代表ＭＰＢに返信する（Ｓ３２）。Ｓ３１～Ｓ３２の処理は、各ＭＰＢ１１１が自身に割り当てられている全ジャーナルボリューム内に共通に含まれているタイムスタンプの最大値を特定する処理と言い換えることもできる。なお、このＳ３１に相当する処理は、代表ＭＰＢにおいても実施される。

　全ＭＰＢからタイムスタンプ情報を返送されると、代表ＭＰＢではＳ２２の処理に進む。Ｓ２２では、全ＭＰＢ（これには代表ＭＰＢも含まれる）から返信されたタイムスタンプ情報の中からさらに、最小値を特定する（この特定された最小値を「タイムスタンプＴ」と呼ぶ）。なお、この処理の結果特定されるタイムスタンプＴとは、副ストレージ装置１０ｂの全ジャーナルボリューム内に共通に含まれている（複数の）タイムスタンプ情報の最大値といえる。代表ＭＰＢは、ここで特定されたタイムスタンプＴが格納されているジャーナル（タイムスタンプ）以前のジャーナルまでを、格上げ対象として決定する。

　図１３を用いて、格上げ対象決定の概念について説明する。図中の要素６００－０、６００－１、６００－２、６００－３はそれぞれ、副ストレージ装置１０ｂの各ＭＰＢ１１１（ＭＰＢ＃０、ＭＰＢ＃１、ＭＰＢ＃２、ＭＰＢ＃３）に割り当てられているジャーナルボリュームを表している。そして各ジャーナルボリューム（６００－０、６００－１、６００－２、６００－３）に、図１３に示されている内容の情報（通常ジャーナル、タイムスタンプ）が格納されている場合を想定する（なお、この図では、各ＭＰＢに割り当てられているジャーナルボリュームの数が１つの場合について記載している）。この図ではいくつかのジャーナルボリュームにタイムスタンプ＃０、タイムスタンプ＃１、タイムスタンプ＃２が格納されているが、タイムスタンプ＃２がタイムスタンプ＃１より後の時刻を表し、タイムスタンプ＃１がタイムスタンプ＃０より後の時刻を表す情報とする。この図の例では、ＭＰＢ＃１、ＭＰＢ＃２に割り当てられているジャーナルボリュームにはタイムスタンプ＃２が格納されているが、ＭＰＢ＃０、ＭＰＢ＃３に割り当てられているジャーナルボリュームには、タイムスタンプ＃１までしか格納されていない。

　本発明の実施例１におけるストレージシステムの場合、各ＭＰＢが独立して、自身に割り当てられているジャーナルボリュームについてのジャーナル送受信を行うので、正ストレージ装置１０ａにおいて、正ストレージ装置１０ａの各ジャーナルボリュームに同時期に格納されたデータが、副ストレージ装置１０ｂのジャーナルボリュームに同時期に格納される保証はない。そのため、たとえば図１３の例では、ＭＰＢ＃３に割り当てられているジャーナルボリューム６００－３には、タイムスタンプ＃１より後にジャーナル（通常ジャーナル）が格納されていないが、しばらく後にジャーナルが格納される可能性がある。ただしジャーナルの送信の際、正ストレージ装置１０ａのジャーナルボリュームの先頭に格納されているジャーナルから順に副ストレージ装置１０ｂに送信するので、正ストレージ装置１０ａにおいてタイムスタンプ＃１が各ジャーナルボリュームに格納された時点までの全データは、副ストレージ装置１０ｂの各ジャーナルボリュームに格納されていることは保証されている（正確には、正ストレージ装置１０ａから副ストレージ装置１０ｂへのデータ転送の過程で何らかの障害が発生した場合に、特定のジャーナルが送信されない事態が発生する可能性もある。ただし、１つのジャーナルボリューム内に格納される各ジャーナルには連続したシーケンス番号が付与されていることを利用し、副ストレージ装置１０ｂにおいて、副ストレージ装置１０ｂの各ジャーナルボリュームに格納された各ジャーナルのシーケンス番号がすべて連続しているかをジャーナルボリュームごとにチェックし、シーケンス番号が連続していない場合には、未到着のジャーナルの再送を行わせる等の対処をとることで、正ストレージ装置１０ａにおいてタイムスタンプ＃１がジャーナルボリュームに格納された時点までの全データが、副ストレージ装置１０ｂのジャーナルボリュームに格納されていることを保証することができる。この処理は、従来のストレージシステムのリモートコピー処理においても行われている周知の処理なので、詳細な処理の説明はここでは行わない）。

　そのため、この場合には、各ジャーナルボリュームに格納されているタイムスタンプ最大値（タイムスタンプ＃１またはタイムスタンプ＃２）のうち、最小値のタイムスタンプ（タイムスタンプ＃１）よりも前に格納されているジャーナル（図中の斜線部の領域）のみを格上げ対象とする。このような制御を行うことにより、各Ｓ－ＶＯＬのデータ更新順序・データ一貫性を保証している（タイムスタンプ＃１より前にＰ－ＶＯＬに書き込まれたデータがすべてＳ－ＶＯＬに反映されるまでは、タイムスタンプ＃１以降にＰ－ＶＯＬに書き込まれたデータがＳ－ＶＯＬに反映されることがない）。

　また、各ＭＰＢに割り当てられているジャーナルボリュームが複数ある場合には、先に述べたように、各ＭＰＢに割り当てられている複数のジャーナルボリュームに格納されているタイムスタンプのタイムスタンプ情報の最大値のうち、最も小さい値を代表ＭＰＢに送信し、代表ＭＰＢでは各ＭＰＢから送信されたタイムスタンプ情報からさらに最も小さい値を選出し、そのタイムスタンプよりも前に格納されているジャーナル全てを格上げ対象とすることで、各Ｓ－ＶＯＬに格上げされるデータの一貫性が保証される。

　図１２の説明に戻る。Ｓ２３では、代表ＭＰＢは、Ｓ２２で決定された格上げ対象の範囲の情報を他のＭＰＢに対して通知する。ここで通知する格上げ対象の範囲の情報は、たとえば、Ｓ２２で特定された最小のタイムスタンプ情報（タイムスタンプＴ）であり、これを受信した各ＭＰＢは、ジャーナルボリューム内に格納されているジャーナル（かつ、以前に実行された格上げ処理において未処理のジャーナル）のうち、受信したタイムスタンプ情報（タイムスタンプＴ）を含むタイムスタンプより前に格納されているジャーナルを格上げ対象として決定し、Ｓ－ＶＯＬへの格上げ処理を行う（Ｓ３３）。格上げ処理自体は、従来のジャーナルを利用したリモートコピーと同様の処理であるため、詳細な説明は省略するが、ジャーナルボリュームの先頭から順に、これまでに格上げ処理対象となっていないジャーナルを読み出し、各ジャーナルに付与されているシーケンス番号の順に、各ジャーナルに含まれるジャーナルデータ（図７の６１０－２部分）のＳ－ＶＯＬへの反映を行う。また代表ＭＰＢでも同様にジャーナルの格上げ処理を行い（Ｓ２４）、処理を終了する。なお後述するが、Ｐ－ＶＯＬあるいはＳ－ＶＯＬのオーナ権が運用中に変更された場合、Ｓ２４，Ｓ３３で行われる格上げ処理は、従来のジャーナルを利用したリモートコピー処理とは若干異なる処理を行う（図１８）。

　以上が、本発明の実施例１に係るストレージシステムにおける、通常時のリモートコピー処理の流れである。本発明の実施例１に係るストレージシステムでは、正ストレージ装置は各ＭＰＢに対して複数の（副ストレージ装置のＭＰＢ数と同数の）ジャーナルボリュームを割り当てる。そして正ストレージ装置の各ＭＰＢは、自身がオーナ権を持つＰ－ＶＯＬに対するライトデータからジャーナルを作成する処理を自ＭＰＢで行う。

　また、副ストレージ装置においても各ＭＰＢに対して複数の（正ストレージ装置のＭＰＢ数と同数の）ジャーナルボリュームが割り当てられている。副ストレージ装置において実行される格上げ処理でも、自身がオーナ権を持つＳ－ＶＯＬに対する格上げ処理だけを各ＭＰＢが行うようになっている点が、特定のＭＰＢのみがジャーナル作成や格上げ処理を行う従来のリモートコピー処理とは異なる。これにより、ジャーナル作成や格上げ処理の負荷を複数のプロセッサに分散させることができる。

　さらに、正ストレージ装置の各ＭＰＢは、ジャーナルボリュームに定期的にタイムスタンプを挿入し、タイムスタンプの挿入されたジャーナルを副ストレージ装置に送信する。副ストレージ装置では格上げ処理の際、各ジャーナルボリュームに共通に格納されているタイムスタンプのうち、最大のタイムスタンプ（仮にこれをＴと呼ぶ）以前に格納されているジャーナルのみを格上げ対象とすることで、副ストレージ装置に確実に到着している時点までのデータのみをＳ－ＶＯＬに反映する。これにより、Ｓ－ＶＯＬのデータ一貫性を保証することを可能にしている。

　続いて、本発明の実施例２に係るストレージシステムについて説明する。本発明の実施例２に係るストレージシステムの構成は、実施例１で説明したものと同じであるので説明を省略する。

　本発明の実施例２に係るストレージシステムの、実施例１に係るストレージシステムとの違いは、実施例２に係るストレージシステムでは、リモートコピー処理中にＰ－ＶＯＬあるいはＳ－ＶＯＬのオーナ権が変更されることが許される点である。本明細書に開示されているような、複数のプロセッサを有するストレージ装置の場合、何らかの理由、例えば負荷が特定のプロセッサに集中した等の理由により、各ＬＤＥＶのオーナ権を持つプロセッサが変更される場合がある。以下では、本発明の対象としているリモートコピー処理対象であるＰ－ＶＯＬあるいはＳ－ＶＯＬのオーナ権が変更された場合に行う処理について説明する（逆に、Ｐ－ＶＯＬあるいはＳ－ＶＯＬのオーナ権が変更されない場合の処理及び当該処理で参照・更新される各種情報の内容は、実施例１で説明したものと同じである）。

　まず、Ｐ－ＶＯＬあるいはＳ－ＶＯＬのオーナ権が変更された場合に対処するために必要となる制御情報について説明する。図１４は本発明の実施例２に係る正ストレージ装置１０ａが管理するオーナ権移動情報テーブル１１００の内容を示している。この情報は正ストレージ装置１０ａのＳＭ１４３に格納される。

　オーナ権移動情報テーブル１１００には、正ストレージ装置１０ａが管理するＬＤＥＶ（厳密にはＰ－ＶＯＬ）１１０１ごとに、初回アクセスビット１１０２、変更前Ｓ－ＶＯＬオーナ権１１０３、変更後Ｓ－ＶＯＬオーナ権１１０４、変更前ＪＶＯＬ＃１１０５の情報を持つ。初回アクセスビット１１０２は、当該ビットに対応するＬＤＥＶ１１０１のオーナ権が変更された後、ライトＩ／Ｏ要求を受け付けたか否かを示す情報であり、オーナ権が変更された直後に、オーナ権変更処理を行ったＭＰＢ１１１によって、１が格納される。そしてオーナ権変更後に、当該ビットに対応するＬＤＥＶに対するライトＩ／Ｏを受け付け、当該ライトＩ／Ｏにより書き込まれるデータのジャーナルを作成する時点で、当該ビットが０に変更される。変更前ＪＶＯＬ＃１１０５と変更前ＳＥＱ＃１１０６にはそれぞれ、当該情報に対応するＰ－ＶＯＬ（ＬＤＥＶ＃１１０１で特定される番号のＬＤＥＶ）のオーナ権が変更される前の正ジャーナルボリュームの論理ボリューム番号、そして当該正ジャーナルボリュームに最後に格納されたジャーナル（ＥＮＤマーカ）のシーケンス番号が格納される。

　変更前Ｓ－ＶＯＬオーナ権１１０３及び変更後Ｓ－ＶＯＬオーナ権１１０４は、Ｐ－ＶＯＬ（ＬＤＥＶ＃１１０１で特定されるＬＤＥＶ）とペア関係にある、副ストレージ装置１０ｂのＬＤＥＶ（Ｓ－ＶＯＬ）のオーナ権が変更された場合に使用される欄である。Ｓ－ＶＯＬのオーナ権が変更された場合、変更前のオーナ権を持つＭＰＢのＭＰＢ＃（副ストレージ装置１０ｂの）が欄１１０３に、変更後のオーナ権を持つＭＰＢのＭＰＢ＃（副ストレージ装置１０ｂの）が欄１１０４に格納される。なお、Ｓ－ＶＯＬのオーナ権が変更されていない場合には、欄１１０３、１１０４には無効値（ＮＵＬＬ等）が格納されている。

　図１５を用いて、順序制御用テーブル１２００について説明する。順序制御用テーブル１２００は、副ストレージ装置１０ｂが格上げ処理中に、ジャーナルボリュームにＥＮＤマーカ（図９（Ｂ）を用いて説明したもの）が格納されていることを検出した際に、検出したＥＮＤマーカについての情報を格納するテーブルである。この情報は、副ストレージ装置１０ｂのＳＭ１４３に格納される。

　順序制御用テーブル１２００には、正ストレージ装置１０ａが管理するＬＤＥＶ（Ｐ－ＶＯＬ）１２０１ごとに、ＥＮＤマーカビット１２０２、変更前ＪＶＯＬ＃１２０４、変更後ＪＶＯＬ＃１２０５、変更前ＪＶＯＬＳＥＱ＃１２０６の情報を持つ。

　ＥＮＤマーカビット１２０２の欄には、初期状態では０が格納される。そして副ストレージ装置１０ｂがジャーナル格上げ処理中に、格上げ対象のジャーナル中にＥＮＤマーカが含まれていることを検出した際に、ＥＮＤマーカビット１２０２に１を格納する。そして変更前ＪＶＯＬ＃１２０４、変更後ＪＶＯＬ＃１２０５、変更前ＪＶＯＬＳＥＱ＃１２０６には、ＥＮＤマーカに格納されている変更前ＪＶＯＬ＃（図９　６５２－Ｍ３）、変更後ＪＶＯＬ＃（図９　６５２－Ｍ４）、シーケンス番号（図９　６５２－Ｍ５）が格納される。

　オーナ権は、Ｐ－ＶＯＬのオーナ権が変更される場合以外に、このＰ－ＶＯＬとペア関係にあるＳ－ＶＯＬのオーナ権が変更されることもある。そして、両方がほぼ同時期に変更されることもあり得るため、１つのＬＤＥＶ１２０１に対して、ＥＮＤマーカに格納されている情報を格納する欄が複数設けられている。

　次に、ＬＤＥＶ（Ｐ－ＶＯＬまたはＳ－ＶＯＬ）のオーナ権が変更された時に、正ストレージ装置１０ａまたは副ストレージ装置１０ｂが実行する処理について説明していく。まず図１６を用いて、Ｐ－ＶＯＬのオーナ権が変更された時に正ストレージ装置１０ａのＭＰＢ１１１が実行する処理について説明する。

　以下、正ストレージ装置１０ａにおいて、Ｐ－ＶＯＬ（ＬＤＥＶ＃はＮ番とする）のオーナ権を持つＭＰＢ１１１が、ＭＰＢ＃がＫ番のＭＰＢ（以下、このＭＰＢ１１１を「ＭＰＢ（＃Ｋ）」と記載する）から、Ｌ番のＭＰＢ（以下、このＭＰＢ１１１を「ＭＰＢ（＃Ｌ）」と記載する）に変更された場合について説明する。またこの時、Ｐ－ＶＯＬのライトデータについてのジャーナルを格納するジャーナルボリュームの論理ボリューム番号は、オーナ権変更前はＡ（以下、この識別番号のジャーナルボリュームをＪＶＯＬ　Ａと表記する）、オーナ権変更後はＥ（以下、この識別番号のジャーナルボリュームをＪＶＯＬ　Ｅと表記する）に変更されるものとする。

　オーナ権の変更は、ストレージ装置１０の管理者が管理端末を操作することで変更する場合、またはＭＰＢ１１１が何らかの理由（たとえばあるＭＰＢ１１１が、特定のＭＰＢ１１１の負荷が他ＭＰＢ１１１より高くなっていることを検知した等）で管理者による操作とは無関係に変更する場合があり得るが、どちらの場合でも図１６に記載の処理が行われる。Ｐ－ＶＯＬのオーナ権の変更の際、最初に正ストレージ装置１０ａ内の任意の１つのＭＰＢ１１１がその処理を担当する。当該ＭＰＢ１１１は、ペア管理テーブル３００を参照し、オーナ権の変更されるＬＤＥＶが、リモートコピーのペアボリュームであるか確認し、ペアボリュームである場合、たとえばＰ－ＶＯＬであることが判明した場合、当該Ｐ－ＶＯＬの変更前のオーナ権を持つＭＰＢ１１１（ここではＭＰＢ（＃Ｋ））に、オーナ権の変更されるＬＤＥＶのＬＤＥＶ＃、変更後にオーナ権を持つＭＰＢのＭＰＢ＃（ここではＭＰＢ（＃Ｌ））を通知し、オーナ権の変更処理をＭＰＢ（＃Ｋ）が実施するよう指示する。ＭＰＢ（＃Ｋ）はこの通知を受信すると、図１６の処理を開始する。

　Ｓ１０１でＭＰＢ（＃Ｋ）は、Ｐ－ＶＯＬのオーナ権が変更される前のジャーナルボリューム（ＪＶＯＬ　Ａ）に格納するためのＥＮＤマーカを作成する。ＥＮＤマーカの作成に必要な情報は、図９に示されているように、シーケンス番号（６５２－１）、ＬＤＥＶ番号（つまりＰ－ＶＯＬのＬＤＥＶ＃）（６５２－Ｍ２）、変更前ＪＶＯＬ＃（６５２－Ｍ３）、変更後ＪＶＯＬ＃（６５２－Ｍ４）、変更前ＳＥＱ＃（６５２－Ｍ５）である。変更前ＪＶＯＬ＃（６５２－Ｍ３）及び変更後ＪＶＯＬ＃（６５２－Ｍ４）についての情報は、図１６の処理開始前にオーナ権の変更処理を実施するように指示してきたＭＰＢ１１１から受信した情報である、オーナ権の変更されるＬＤＥＶのＬＤＥＶ＃及び変更後にオーナ権を持つＭＰＢのＭＰＢ＃の情報、そして変更前にオーナ権を持つＭＰＢのＭＰＢ＃の情報（これは図１６の処理を実行しているＭＰＢ自身のＭＰＢ＃である）を用いて、反映ジャーナルボリュームテーブル５００を検索することで特定できる。シーケンス番号（６５２－１）及び変更前ＳＥＱ＃（６５２－Ｍ５）は、シーケンス番号管理テーブル７００を参照することで得ることができる。ＭＰＢ（＃Ｋ）は、ＥＮＤマーカを作成し、Ｐ－ＶＯＬのオーナ権が変更される前のジャーナルボリューム（ＪＶＯＬ　Ａ）にＥＮＤマーカを格納する。

　Ｓ１０２では、ＭＰＢ（＃Ｋ）は、オーナ権移動情報テーブル１１００の内容を更新する。具体的には、ＬＤＥＶ＃１１０１に、オーナ権が変更されるＬＤＥＶのＬＤＥＶ＃と同一の番号が格納されている行の、初回アクセスビット１１０２、変更前Ｓ－ＶＯＬオーナ権１１０３、変更後Ｓ－ＶＯＬオーナ権１１０４、変更前ＪＶＯＬ＃１１０５、変更前ＳＥＱ＃１１０６の内容を変更する。初回アクセスビット１１０２の欄には「１」を格納し、変更前ＪＶＯＬ＃１１０５には、オーナ権変更前に用いられていたジャーナルボリュームの識別番号「Ａ」を格納し、変更前ＳＥＱ＃１１０６には、Ｓ１０１で作成したＥＮＤマーカの変更前ＳＥＱ＃（６５２－Ｍ５）の値を格納する。またＳ－ＶＯＬオーナ権の欄（１１０３、１１０４）には無効値を格納する。

　Ｓ１０３では、ＭＰＢ（＃Ｋ）は論理ボリューム管理テーブル２００に登録されている、オーナ権の情報（ＭＰＢ＃（２００－２））を更新することで、オーナ権の変更を行い、処理を終了する。つまりＥＮＤマーカはＰ－ＶＯＬのオーナ権が変更される直前に、ジャーナルボリュームに挿入され、これ以降、このジャーナルボリューム（ＥＮＤマーカの格納されたジャーナルボリューム）には、オーナ権の変更されたＰ－ＶＯＬについてのジャーナルは格納されない。

　この後、オーナ権変更後のＭＰＢ１１１（ＭＰＢ（＃Ｌ））にて、ＲＥＳＴＡＲＴマーカの挿入処理を行う必要があるが、この処理はオーナ権変更後のＭＰＢ１１１（ＭＰＢ（＃Ｌ））において、オーナ権が変更されたＰ－ＶＯＬに対するライトデータからジャーナルを作成し、作成されたジャーナルをジャーナルボリューム（ＪＶＯＬ　Ｅ）に格納する契機（図１０のジャーナル格納処理の実行される契機）で行う。

　ＲＥＳＴＡＲＴマーカ挿入処理の説明の前に、副ストレージ装置１０ｂでＳ－ＶＯＬのオーナ権が変更された場合に、正ストレージ装置１０ａ及び副ストレージ装置１０ｂで行われる処理について説明しておく。Ｓ－ＶＯＬのオーナ権変更もＰ－ＶＯＬのオーナ権変更と同様、ストレージ装置１０の管理者が管理端末を操作することで変更する場合、またはＭＰＢ１１１が何らかの理由で管理者による操作とは無関係に変更する場合があり得るが、いずれの場合の以下で説明する処理が行われる。

　副ストレージ装置１０ｂでＬＤＥＶのオーナ権の変更が行われると、副ストレージ装置１０ｂのＭＰＢは、副ストレージ装置１０ｂで管理している論理ボリューム管理テーブル２００のオーナ権の情報（ＭＰＢ＃（２００－２））を更新し、その後、オーナ権の変更が行われたＬＤＥＶが正ストレージ装置１０ａのＬＤＥＶとペア関係にあるＬＤＥＶであるか判断する。これはペア管理テーブル３００を参照することで判断できる。

　オーナ権変更が行われたＬＤＥＶが正ストレージ装置１０ａのＬＤＥＶとペア関係にあるＬＤＥＶであった場合、副ストレージ装置１０ｂのＭＰＢは正ストレージ１０ａのＭＰＢに対し、Ｓ－ＶＯＬのオーナ権の変更が発生したことを通知する。この通知の際、副ストレージ装置１０ｂのＭＰＢは、オーナ権が変更されたＬＤＥＶ（Ｓ－ＶＯＬ）とペア関係にあるＰ－ＶＯＬのＬＤＥＶ＃、当該Ｓ－ＶＯＬのオーナ権の変更前にオーナ権を有していたＭＰＢのＭＰＢ＃、及び当該Ｓ－ＶＯＬのオーナ権の変更後にオーナ権を有することになったＭＰＢのＭＰＢ＃の情報（つまり、オーナ権移動情報テーブル１１００の、ＬＤＥＶ＃１１０１、変更前Ｓ－ＶＯＬオーナ権１１０３、変更後Ｓ－ＶＯＬオーナ権１１０４に格納すべき情報）を通知する。なお、オーナ権変更の通知を行う副ストレージ装置１０ｂのＭＰＢ及び副ストレージ装置１０ｂから通知を受信する正ストレージ装置１０ａのＭＰＢは、任意のＭＰＢでよい。また、この通知の方法は、正ストレージ装置１０ａと副ストレージ装置１０ｂを接続するファイバチャネルケーブル６等の伝送線を介した通知であっても、イーサネット５を経由した通知であってもよい。

　正ストレージ装置１０ａのＭＰＢはこの通知を受けると、オーナ権移動情報テーブル１１００のＬＤＥＶ＃１１０１が、通知された情報のＬＤＥＶ＃と等しい行について、変更前Ｓ－ＶＯＬオーナ権１１０３、変更後Ｓ－ＶＯＬオーナ権１１０４の値を、通知された情報（Ｓ－ＶＯＬのオーナ権の変更前にオーナ権を有していたＭＰＢのＭＰＢ＃、及びＳ－ＶＯＬのオーナ権の変更後にオーナ権を有することになったＭＰＢのＭＰＢ＃）で更新する。これにより、Ｓ－ＶＯＬのオーナ権が変更された旨の情報が、正ストレージ装置１０ａのオーナ権移動情報テーブル１１００に格納されることになる。

　図１７を用いて、本発明の実施例２に係る正ストレージ装置１０ａのＭＰＢが実行する、ジャーナルデータ作成及び格納処理の流れを説明する。図１７に記載の各ステップのうち、Ｓ１１１～Ｓ１２５までが、ＲＥＳＴＡＲＴマーカの挿入に関係する処理で、Ｓ１２６は、図１０で説明した処理（ジャーナルデータ作成及び格納処理）である。また、Ｓ１１１～Ｓ１１３が、Ｐ－ＶＯＬのオーナ権変更に伴って挿入される必要が生じたＲＥＳＴＡＲＴマーカの挿入処理であり、Ｓ１２２～Ｓ１２５が、Ｓ－ＶＯＬのオーナ権変更に伴って挿入される必要が生じたＥＮＤマーカ及びＲＥＳＴＡＲＴマーカの挿入処理である。

　なお、以下では、図１７の処理の前に、図１６を用いて説明したＰ－ＶＯＬのオーナ権変更に係る処理が実施され、ジャーナル作成対象となっているＰ－ＶＯＬのオーナ権をＭＰＢ（＃Ｌ）が有している場合を例にとって説明する。Ｓ１１１では、ＭＰＢ（＃Ｌ）はオーナ権移動情報テーブル１１００の内容を参照し、ＬＤＥＶ１１０１に、Ｐ－ＶＯＬのＬＤＥＶ＃と同一の番号が格納されている行の初回アクセスビット１１０２の情報を取得する。初回アクセスビット１１０２が「１」であった場合（Ｓ１１２：Ｙ）、ＥＮＤマーカが（オーナ権変更前のジャーナルボリュームに）格納されてから最初のライト処理であるので、ＲＥＳＴＡＲＴマーカの作成、格納処理を行う（Ｓ１１３）。

　ＲＥＳＴＡＲＴマーカの作成に必要な情報は、図９に示されているように、シーケンス番号（６５２－１）、ＬＤＥＶ番号（つまりＰ－ＶＯＬのＬＤＥＶ＃）（６５２－Ｍ２）、変更前ＪＶＯＬ＃（６５２－Ｍ３）、変更後ＪＶＯＬ＃（６５２－Ｍ４）、変更前ＳＥＱ＃（６５２－Ｍ５）である。変更前ＪＶＯＬ＃（６５２－Ｍ３）、変更前ＳＥＱ＃（６５２－Ｍ５）は、オーナ権移動情報テーブル１１００の変更前ＪＶＯＬ＃１１０５、変更前ＳＥＱ＃１１０６を参照することで取得できる。変更後ＪＶＯＬ＃（６５２－Ｍ４）についての情報は、Ｐ－ＶＯＬのオーナ権変更後にオーナ権を持つＭＰＢのＭＰＢ＃（これは本処理を実行しているＭＰＢのＭＰＢ＃である）と、ペア管理テーブル３００に登録されているＭＰＢ＃３０７（Ｓ－ＶＯＬのオーナ権を持つ、副ストレージ装置１０ｂのＭＰＢ＃の情報）とを用いて、反映ジャーナルボリュームテーブル５００を検索することで取得できる。またシーケンス番号（６５２－１）は、シーケンス番号管理テーブル７００を参照することで得ることができる。

　Ｓ１１３では、ＭＰＢ（＃Ｌ）はこれらの情報をもとにＲＥＳＴＡＲＴマーカを作成し、ジャーナルボリューム（ＪＶＯＬ　Ｅ）に格納する。さらに、ＲＥＳＴＡＲＴマーカの作成及びジャーナルボリュームへの格納に加え、オーナ権移動情報テーブル１１００の、ＬＤＥＶ１１０１にＰ－ＶＯＬのＬＤＥＶ＃と同一の番号が格納されている行における、初回アクセスビット１１０２と変更前ＪＶＯＬ＃１１０５と変更前ＳＥＱ＃１１０６の内容を更新する。具体的には、初回アクセスビット１１０２の内容を「０」に変更し、変更前ＪＶＯＬ＃１１０５及び変更前ＳＥＱ＃１１０６の内容を無効値（ＮＵＬＬ）に変更する。これらの処理が終了した後、処理はＳ１２２に進む。

　一方、Ｓ１１２の判定で、初回アクセスビット１１０２が「０」であった場合（Ｓ１１２：Ｎ）は、ＲＥＳＴＡＲＴマーカを作成済みの場合、あるいはＰ－ＶＯＬのオーナ権変更が発生していない場合であるため、Ｓ１１３の処理は行わず、Ｓ１２２に進む。

　Ｓ１２２以降では、ＥＮＤマーカ、ＲＥＳＴＡＲＴマーカの作成要否の確認処理、そしてＥＮＤマーカ、ＲＥＳＴＡＲＴマーカの作成が必要な場合には、ＥＮＤマーカ、ＲＥＳＴＡＲＴマーカの作成が行われる。Ｓ１２２でＭＰＢ（＃Ｌ）は、オーナ権移動情報テーブル１１００の内容を参照し、現在ジャーナル作成対象としているＰ－ＶＯＬとペア関係にあるＳ－ＶＯＬのオーナ権変更が発生したか判定する。具体的にはＭＰＢ（＃Ｌ）は、オーナ権移動情報テーブル１１００のＳ－ＶＯＬオーナ権の欄（１１０３、１１０４）に有効な値（無効値でない値）が格納されていれば、Ｓ－ＶＯＬのオーナ権変更が発生したと判断し、Ｓ－ＶＯＬオーナ権の欄（１１０３、１１０４）に無効値が格納されていれば、Ｓ－ＶＯＬのオーナ権変更が発生していないと判断する。

　Ｓ１２２で、オーナ権変更が発生していないと判定された場合（Ｓ１２２：Ｎ）、Ｓ１２６に移り、Ｐ－ＶＯＬのジャーナルデータの作成、格納処理を行って（図１０と同じ処理）、図１６の処理を終了する。Ｓ－ＶＯＬのオーナ権変更が発生したと判定された場合（Ｓ－ＶＯＬオーナ権１１０３に有効な値が格納されていた場合）、Ｓ１２４に進む。

　Ｓ１２４では、ＥＮＤマーカの作成、及びＥＮＤマーカのジャーナルボリュームへの格納を行う。ＥＮＤマーカの作成に必要な情報は、図９に示されているように、シーケンス番号（６５２－１）、ＬＤＥＶ番号（つまりＰ－ＶＯＬのＬＤＥＶ＃）（６５２－Ｍ２）、変更前ＪＶＯＬ＃（６５２－Ｍ３）、変更後ＪＶＯＬ＃（６５２－Ｍ４）、変更前ＳＥＱ＃（６５２－Ｍ５）である。オーナ権変更前のＪＶＯＬ＃、オーナ権変更後のＪＶＯＬ＃についての情報は、Ｐ－ＶＯＬのオーナ権を持つＭＰＢのＭＰＢ＃（これは本処理を実行しているＭＰＢのＭＰＢ＃である）と、オーナ権移動情報テーブル１１００に格納されている変更前Ｓ－ＶＯＬオーナ権１１０３と変更後Ｓ－ＶＯＬオーナ権１１０４の情報を用いて、反映ジャーナルボリュームテーブル５００を検索することで特定できる。シーケンス番号（６５２－１）及び変更前ＳＥＱ＃（６５２－Ｍ５）は、シーケンス番号管理テーブル７００を参照することで得ることができる。ＭＰＢ（＃Ｌ）は、ＥＮＤマーカを作成し、Ｓ－ＶＯＬのオーナ権が変更される前のジャーナルボリューム（ＪＶＯＬ　Ｅ）にＥＮＤマーカを格納する。

　Ｓ１２５では、ＲＥＳＴＡＲＴマーカの作成、ジャーナルボリューム（オーナ権変更後のジャーナルボリューム）へのＲＥＳＴＡＲＴマーカの格納を行う。ＲＥＳＴＡＲＴマーカの作成に必要な情報は、シーケンス番号（６５２－１）を除いて、ＥＮＤマーカに格納した情報と同じであるので、Ｓ１２４で作成したＥＮＤマーカに格納した情報を用いて、ＲＥＳＴＡＲＴマーカを作成する。ＭＰＢ（＃Ｌ）はＲＥＳＴＡＲＴマーカを作成すると、Ｓ－ＶＯＬのオーナ権が変更された後のジャーナルボリュームにＲＥＳＴＡＲＴマーカを格納する。これ以降、オーナ権が変更されたＳ－ＶＯＬとペア関係にあるＰ－ＶＯＬに対するライトデータに基づいて生成されるジャーナルは、オーナ権が変更された後のジャーナルボリュームに書き込まれる。そしてオーナ権が変更される前のジャーナルボリュームのＥＮＤマーカより後には、当該Ｓ－ＶＯＬとペア関係にあるＰ－ＶＯＬに対するライトデータに基づいて生成されるジャーナルは格納されない。

　またＳ１２５では、ＲＥＳＴＡＲＴマーカの作成及びジャーナルボリュームへの格納に加え、オーナ権移動情報テーブル１１００、ペア管理テーブル３００の内容更新も行う。具体的には、ペア管理テーブル３００について、現在ジャーナル作成対象としているＰ－ＶＯＬのＬＤＥＶ＃に対応する行（Ｐ－ＶＯＬ＃３０４が、現在ジャーナル作成対象としているＰ－ＶＯＬのＬＤＥＶ＃と等しい行）の、ＭＰＢ＃３０７の欄に、Ｓ－ＶＯＬのオーナ権を持つ、副ストレージ装置１０ｂのＭＰＢ＃を格納する（これは変更後Ｓ－ＶＯＬオーナ権１１０４に格納されている値を格納すればよい）。そしてオーナ権移動情報テーブル１１００については、現在ジャーナル作成対象としているＰ－ＶＯＬのＬＤＥＶ＃に対応する行の、変更前Ｓ－ＶＯＬオーナ権１１０３、変更後Ｓ－ＶＯＬオーナ権１１０４の内容を無効値（ＮＵＬＬ）に変更する。

　Ｓ１２５の処理が終了すると、Ｓ１２６でＰ－ＶＯＬのジャーナルデータの作成及び格納処理（図１０と同じ処理）を行って、図１７の処理を終了する。

　図１６、１７の処理でジャーナルボリュームに格納された、ＥＮＤマーカ及びＲＥＳＴＡＲＴマーカは、副ストレージ装置１０ｂにおける格上げ処理で用いられる。あるＰ－ＶＯＬ（あるいはＳ－ＶＯＬ）のオーナ権が変更されると、Ｐ－ＶＯＬに対するライトデータに基づいて作成されるジャーナルの格納されるジャーナルボリュームが、オーナ権変更前後で変更される。つまりオーナ権変更前に作成されたジャーナルは、オーナ権変更前に使用していたジャーナルボリュームに格納され、オーナ権変更後に作成されたジャーナルは、オーナ権変更後に使用するジャーナルボリュームに格納されることになる。この場合、オーナ権変更前のジャーナルボリュームに格納されたジャーナルが、オーナ権変更後のジャーナルボリュームに格納されたジャーナルよりも時間的に先に、Ｓ－ＶＯＬに反映（格上げ）された場合には、Ｓ－ＶＯＬへのデータ書き込み順は、Ｐ－ＶＯＬに対するデータ書き込み順と同じになるため、データ一貫性が保証される。逆に、オーナ権変更後のジャーナルボリュームに格納されたジャーナルが、オーナ権変更前のジャーナルボリュームに格納されたジャーナルよりも時間的に先に、Ｓ－ＶＯＬに反映された場合、Ｓ－ＶＯＬへのデータ書き込み順は、Ｐ－ＶＯＬに対するデータ書き込み順と逆になるので好ましくない。そこで副ストレージ装置１０ｂでは、ジャーナルボリュームに格納されたＥＮＤマーカ及びＲＥＳＴＡＲＴマーカを用いて、オーナ権変更前のジャーナルボリュームに格納されたジャーナルが、オーナ権変更後のジャーナルボリュームに格納されたジャーナルよりも先にＳ－ＶＯＬに反映（格上げ）されるように制御する。

　図１８を用いて、Ｐ－ＶＯＬまたはＳ－ＶＯＬのオーナ権が変更された場合の、副ストレージ装置１０ｂにおけるジャーナル格上げ処理について説明する。この処理は副ストレージ装置１０ｂで行われる格上げ処理の一部、具体的には先に説明した図１２における処理のＳ２４、Ｓ３３に相当する処理である（つまり、リモートコピー処理中にＰ－ＶＯＬあるいはＳ－ＶＯＬのオーナ権が変更されることを許す場合の格上げ処理は、図１２のＳ２４、Ｓ３３の処理が、以下で説明する図１８に記載された処理に置き換わったものである）。

　またこの処理は、各ＭＰＢ１１１が自身に割り当てられているジャーナルボリュームごとに実行する（つまり４つのジャーナルボリューム（ＪＶＯＬ　Ａ，Ｂ，Ｃ，Ｄ）が割り当てられているＭＰＢ１１１では、ＪＶＯＬ　Ａ，Ｂ，Ｃ，Ｄそれぞれについて図１８の処理を実行する。一例として、４つのジャーナルボリューム（ＪＶＯＬ　Ａ，Ｂ，Ｃ，Ｄ）が割り当てられているＭＰＢ１１１では、図１８の処理を実行する４つの独立したプロセス（またはスレッド）を動作させることで、格上げ処理が行われる。

　Ｓ２０１では、ＭＰＢ１１１はジャーナルボリュームから、今回の格上げ処理で格上げ対象となっているジャーナル（複数）を読み出す。

　Ｓ２０２では、ＭＰＢ１１１はＳ２０１で読み出した各ジャーナルについて、ジャーナルの種別６５１を先頭のジャーナルから順に確認し、ＲＥＳＴＡＲＴマーカが存在するか判定する。ＲＥＳＴＡＲＴマーカが含まれていた場合（Ｓ２０２：Ｙ）、順序制御用テーブル１２００を参照し、Ｓ２０２で検出したＲＥＳＴＡＲＴマーカに対応したＥＮＤマーカの情報が格納されているか判定する（Ｓ２０３）。

　Ｓ２０３では具体的には、順序制御用テーブル１２００内のＬＤＥＶ＃１２０１が、ＲＥＳＴＡＲＴマーカに含まれているＬＤＥＶ＃（６５２－Ｍ２）と同一で、かつＲＥＳＴＡＲＴマーカに含まれている、変更前ＪＶＯＬ＃（６５２－Ｍ３）、変更後ＪＶＯＬ＃（６５２－Ｍ４）、そして変更前ＳＥＱ＃（６５２－Ｍ５）がそれぞれ、変更前ＪＶＯＬ＃１２０４、変更後ＪＶＯＬ＃１２０５、変更前ＪＶＯＬＳＥＱ＃１２０６と等しい行があるか判定する。当該判定がＹｅｓの場合（Ｓ２０４：Ｙ）、他のジャーナルボリュームに対して行われている格上げ処理によって、Ｓ２０２で検出したＲＥＳＴＡＲＴマーカに対応したＥＮＤマーカより前にジャーナルボリュームに格納されているジャーナルが処理済み（格上げ処理済み）であることを意味する。そのためこの場合、Ｓ２０６に進み、Ｓ２０１で読み出したジャーナルについて格上げ処理を実施する。

　なお、格上げ処理の完了後、順序制御用テーブル１２００内の情報を無効化する。具体的には順序制御用テーブル１２００において、ＬＤＥＶ＃１２０１がＲＥＳＴＡＲＴマーカに含まれているＬＤＥＶ＃と同一で、かつＲＥＳＴＡＲＴマーカに含まれている、変更前ＪＶＯＬ＃（６５２－Ｍ３）、変更後ＪＶＯＬ＃（６５２－Ｍ４）、そして変更前ＳＥＱ＃（６５２－Ｍ５）がそれぞれ、変更前ＪＶＯＬ＃１２０４、変更後ＪＶＯＬ＃１２０５、変更前ＪＶＯＬＳＥＱ＃１２０６と等しい行について、ＥＮＤマーカビット１２０２、変更前ＪＶＯＬ＃１２０４、変更後ＪＶＯＬ＃１２０５、変更前ＪＶＯＬＳＥＱ＃１２０６の内容を無効値（ＮＵＬＬ）に変更する。

　Ｓ２０４での判定がＮｏの場合には、一定時間待ち（Ｓ２０５）、再びＳ２０３に戻って順序制御用テーブル１２００を参照し、ＥＮＤマーカまでのジャーナルについて格上げ処理が終了したか判定する（Ｓ２０４）。判定がＹｅｓであれば、Ｓ２０６以降の処理に進む。なお、ＲＥＳＴＡＲＴマーカが複数含まれていた場合（これは、複数のＰ－ＶＯＬあるいはＳ－ＶＯＬのオーナ権が変更されていた場合に発生し得る）、順序制御用テーブル１２００に全てのＲＥＳＴＡＲＴマーカに対応したＥＮＤマーカの情報が格納されるまで、Ｓ２０３～Ｓ２０５の処理を繰り返す。

　Ｓ２０７で、ＭＰＢ１１１は今回読み出したジャーナル（かつＳ２０６で格上げ処理が行われたジャーナルでもある）の中にＥＮＤマーカが含まれていたか判定する。ＥＮＤマーカが含まれていなかった場合（Ｓ２０７：Ｎ）には、そのまま処理を終了する。ＥＮＤマーカが含まれていた場合（Ｓ２０７：Ｙ）、ＥＮＤマーカに格納されている内容を順序制御用テーブル１２００に反映する（Ｓ２０８）。具体的には、ＥＮＤマーカのＬＤＥＶ＃（６５２－Ｍ２）の値と順序制御用テーブル１２００のＬＤＥＶ＃１２０１の値が等しい行について、ＥＮＤマーカに含まれている変更前ＪＶＯＬ＃（６５２－Ｍ３）及び変更後ＪＶＯＬ＃（６５２－Ｍ４）の内容を、変更前ＪＶＯＬ＃１２０４、変更後ＪＶＯＬ＃１２０５に格納する。またＥＮＤマーカに格納されている変更前ＳＥＱ＃（６５２－Ｍ５）の内容を、変更前ＪＶＯＬＳＥＱ＃１２０６に格納する。そしてＥＮＤマーカビット１２０２に１を格納し、ジャーナル格上げ処理を終了する。

　なお、順序制御用テーブル１２００に、あるＬＤＥＶ（Ｐ－ＶＯＬ、Ｓ－ＶＯＬ）についてのＥＮＤマーカの情報を格納する処理を行うプロセス（またはスレッド）は、Ｓ２０２の処理で、当該ＬＤＥＶに対するＲＥＳＴＡＲＴマーカが含まれていると判定する処理を行ったプロセス（またはスレッド）とは異なる（独立した）プロセス（またはスレッド）である。なぜならば、ＥＮＤマーカやＲＥＳＴＡＲＴマーカが格納される場合とは、Ｐ－ＶＯＬ／Ｓ－ＶＯＬのオーナ権が変更された場合であり、ＥＮＤマーカはオーナ権変更前にジャーナルを格納していたジャーナルボリュームに格納され、ＲＥＳＴＡＲＴマーカはオーナ権変更後にジャーナルを格納するジャーナルボリュームに格納されるためである。

　たとえば、図１９のように、ＭＰＢ＃３に割り当てられたジャーナルボリュームからＲＥＳＴＡＲＴマーカ２００２が検出された場合、ＥＮＤマーカ２００１は異なるジャーナルボリューム（ＭＰＢ＃１に割り当てられたジャーナルボリューム）に存在している。そのため、ＭＰＢ＃３において図１８の処理を実行しているときにＲＥＳＴＡＲＴマーカを検出した場合、しばらく待機していると、ＭＰＢ＃１で実行されるジャーナル格上げ処理においてＥＮＤマーカが検出され、その結果ＭＰＢ＃１は順序制御用テーブル１２００にＥＮＤマーカを検出した旨を反映する処理を行う。そのため、ＭＰＢ＃３は順序制御用テーブル１２００の内容を観測し続けていれば、ＭＰＢ＃１でＥＮＤマーカが格納される直前までのジャーナルが格上げされたことを確認することができる。

　図１９の例では、ＥＮＤマーカ２００１の格納されたジャーナルボリュームが割り当てられているＭＰＢと、ＲＥＳＴＡＲＴマーカ２００２の格納されたジャーナルボリュームが割り当てられているＭＰＢとが異なる場合について図示されているが、ＥＮＤマーカ２００１の格納されたジャーナルボリュームとＲＥＳＴＡＲＴマーカ２００２の格納されたジャーナルボリュームとが、同一ＭＰＢに割り当てられている場合でも、同様である。

　以上が、Ｐ－ＶＯＬまたはＳ－ＶＯＬのオーナ権が変更された場合の、副ストレージ装置１０ｂにおけるジャーナル格上げ処理の説明である。本発明の実施例２に係るストレージシステムでは、このような処理を行うため、オーナ権変更前のジャーナルボリュームに格納されたジャーナルが、オーナ権変更後のジャーナルボリュームに格納されたジャーナルよりも先にＳ－ＶＯＬに反映（格上げ）されるため、データ一貫性を保証することができる。

　なお、Ｓ－ＶＯＬのオーナ権が変更された旨の通知は、副ストレージ装置１０ｂでＳ－ＶＯＬのオーナ権が変更された後に、副ストレージ装置１０ｂから正ストレージ装置１０ａに通知され、オーナ権移動情報テーブル１１００にオーナ権が変更された旨の内容が格納される。その後正ストレージ装置１０ａでオーナ権移動情報テーブル１１００の内容に基づいて、ジャーナルボリュームへのＥＮＤマーカ、ＲＥＳＴＡＲＴマーカの挿入が行われる。そのため、副ストレージ装置１０ｂでのＳ－ＶＯＬのオーナ権の変更後から、正ストレージ装置１０ａでのジャーナルボリュームへのＥＮＤマーカ挿入処理の前まで（正確にはオーナ権移動情報テーブル１１００の内容が更新される前まで）に、Ｐ－ＶＯＬ（オーナ権が変更されたＳ－ＶＯＬとペア関係にあるＰ－ＶＯＬ）へのライト、及び当該ライトに伴うジャーナル作成・格納が行われると、そのジャーナルはオーナ権変更前に用いられていた正ジャーナルボリューム、副ジャーナルボリュームに格納されることがある。そのため、副ストレージ装置１０ｂでこのジャーナルの格上げ処理を行う際、当該ジャーナルの格納されているジャーナルボリュームのオーナ権を持つＭＰＢと、当該ジャーナルの内容が反映されるべきＳ－ＶＯＬのオーナ権を持つＭＰＢとが異なる状態が発生する。

　この場合のジャーナル格上げ処理では、たとえば以下のような処理を行うことで、ジャーナルの内容をＳ－ＶＯＬに反映する。ジャーナルボリュームのオーナ権を持つＭＰＢがジャーナルの内容を解析して、ジャーナルデータ部分（６１０－２）をキャッシュに格納する。その後ジャーナルボリュームのオーナ権を持つＭＰＢがＳ－ＶＯＬのオーナ権を持つＭＰＢに、キャッシュ上に格納されたジャーナルデータ部分の内容をＳ－ＶＯＬの所定位置（ジャーナルのメタデータ６５２、具体的にはＬＢＡ６５２－３、データ長６５２－４で特定される位置）に格納するように指示する。Ｓ－ＶＯＬのオーナ権を持つＭＰＢはその指示を受けて、キャッシュ上に格納されたジャーナルデータ部分の内容をＳ－ＶＯＬに反映する。

　そのため、この場合にはＭＰＢ間通信が発生し、若干処理性能が悪化することがある。ただし副ストレージ装置１０ｂでＳ－ＶＯＬのオーナ権が変更されてから、正ストレージ装置１０ａで、ジャーナルボリュームへのＥＮＤマーカ、ＲＥＳＴＡＲＴマーカが挿入されるまでの時間はそれほど長くはないため、格上げ処理でＭＰＢ間通信を必要とするジャーナルの数はそれほど多くはないため、性能への影響は少ない。

　以上が、本発明の実施例に係るストレージシステムで実行される、ジャーナルを利用したリモートコピー処理の説明である。本発明の実施例に係るストレージシステムでは、複数のＭＰＢがジャーナル作成、格上げ処理を行うため、ジャーナル作成や格上げ処理の負荷を複数のプロセッサに分散させることができる。また、ジャーナルに定期的に格納されるタイムスタンプを用いた、Ｓ－ＶＯＬへの反映（格上げ）可能なデータを調整することで、各ボリュームへのデータ書き込み順を制御できる。さらにリモートコピー運用中に、Ｐ－ＶＯＬあるいはＳ－ＶＯＬのオーナ権が変更されたとしても、オーナ権変更後のジャーナルボリュームに格納されたジャーナルが、オーナ権変更前のジャーナルボリュームに格納されたジャーナルよりも先にＳ－ＶＯＬに反映（格上げ）されないように制御することができる。

　以上、本発明の実施例を説明してきたが、これは本発明の説明のための例示であって、本発明を上で説明した実施例に限定する趣旨ではない。本発明は、他の種々の形態でも実施可能である。たとえば実施例に記載のストレージシステムにおいて、正副ストレージ装置１０ａ、１０ｂ内のＣＨＡ１１２やＭＰＢ１１１等の要素数は、図に示された数に限定されるわけではない。また正ストレージ装置１０ａ、副ストレージ装置１０ｂで、ＣＨＡ１１２やＭＰＢ１１１等の要素数が異なっていても、本発明は実施可能である。

　また、実施例では、正副ストレージ装置１０ａ、１０ｂの有する各種テーブルの情報は、ＳＭ１４３に格納される態様のほか、ＳＭ１４３に格納された情報をＰＭ１４２に複製して、各ＭＰ１４１はＰＭ１４２上の情報を主として利用するようにしてもよい。

　また、実施例では、各ボリュームのオーナ権の割り当て単位がプロセッサボード（ＭＰＢ）であり、オーナ権を有するプロセッサボード内の任意のプロセッサが、ボリュームに対するアクセス処理を担当することになっているが、別の態様として、各ボリュームのオーナ権の割り当て単位をプロセッサ（ＭＰ１４１）にする（この場合、たとえばＬＤＥＶ　Ａのオーナ権をＭＰＢ＃０の第１ＭＰのみが持ち、ＭＰＢ＃０の第１ＭＰ以外のＭＰはＬＤＥＶ　Ａのオーナ権を持たない等の設定が可能になる）ようにしてもよい。

　また、実施例では、正ストレージ装置１０ａのＭＰＢはそれぞれ、副ストレージ装置１０ｂのＭＰＢ数と同数のジャーナルボリュームのオーナ権を有し、副ストレージ装置１０ｂのＭＰＢはそれぞれ、正ストレージ装置１０ａのＭＰＢ数と同数のジャーナルボリュームのオーナ権を有する構成の前提で説明したが、たとえば一部のＭＰＢが、Ｐ－ＶＯＬ（またはＳ－ＶＯＬ）のオーナ権を有していない場合、当該ＭＰＢでジャーナルボリュームに対する処理が行われることはない。そのため、正ストレージ装置１０ａは、Ｐ－ＶＯＬのオーナ権を有するＭＰＢのみがそれぞれ、副ストレージ装置１０ｂのＭＰＢのうち、Ｓ－ＶＯＬのオーナ権を有しているＭＰＢの数と同数のジャーナルボリュームのオーナ権を有するようにし、副ストレージ装置１０ｂは、Ｓ－ＶＯＬのオーナ権を有するＭＰＢのみがそれぞれ、正ストレージ装置１０ａのＭＰＢのうち、Ｐ－ＶＯＬのオーナ権を有しているＭＰＢの数と同数のジャーナルボリュームのオーナ権を有するような構成をとってもよい。

　また本発明の実施例に係るストレージシステムでは、正副ストレージ装置のＭＰＢが複数のジャーナルボリュームのオーナ権を有する構成であるが、これはＰ－ＶＯＬに対するライトデータに基づいて生成されるジャーナルの処理をＰ－ＶＯＬのオーナ権を持つＭＰＢと同一のＭＰＢで実施させること、またＳ－ＶＯＬへのデータ格上げ用のジャーナルの処理をＳ－ＶＯＬのオーナ権を持つＭＰＢと同一のＭＰＢで実施させるための一手法に過ぎない。たとえば正副ストレージ装置の各ＭＰＢが、１つのジャーナルボリュームのみのオーナ権を有する構成をとり、正ストレージ装置から副ストレージ装置へのジャーナル送信時に、各ジャーナル（タイムスタンプ、ＥＮＤ／ＲＥＳＴＡＲＴマーカ含む）を適切な副ストレージ装置のジャーナルボリューム（当該ジャーナルに対応するＳ－ＶＯＬのオーナ権を有するＭＰＢに割り当てられているジャーナルボリューム）に格納するようにしても、本発明の実施例に係るストレージシステムと同様の効果を得ることができる。

１０ａ:　正ストレージ装置
１０ｂ:　副ストレージ装置
１１:　ストレージコントローラ
１２:　 ディスクユニット
１３:　 管理端末
１１１:　ＭＰＢ
１１２:　ＣＨＡ
１１３:　ＤＫＡ
１１４:　ＣＭＰＫ
１１５:　スイッチ
１４１:　ＭＰ
１４２:　ＬＭ／ＰＭ
１４３:　ＳＭ
１４４:　ＣＭ

Claims (15)

1. 　正ストレージ装置と副ストレージ装置から成るストレージシステムであって、
   　前記正ストレージ装置は、ホスト計算機及び／または前記副ストレージ装置と接続するための正チャネルアダプタと、前記ホスト計算機に提供される複数のプライマリボリュームと、前記副ストレージ装置に転送すべきジャーナルを格納するための複数の正ジャーナルボリュームと、前記プライマリボリューム及び前記正ジャーナルボリュームに対するＩ／Ｏ処理を実行する複数の正プロセッサボードを有し、前記正プロセッサボードの各々は、前記複数の正ジャーナルボリュームのうちの１以上の正ジャーナルボリュームについての処理を担当する権利であるオーナ権を有するよう構成されており、
   　前記副ストレージ装置は、ホスト計算機及び／または前記正ストレージ装置と接続するための副チャネルアダプタと、前記複数のプライマリボリュームのデータ複製を格納する複数のセカンダリボリュームと、前記正ストレージ装置から転送されてくるジャーナルを格納するための複数の副ジャーナルボリュームと、前記セカンダリボリューム及び前記副ジャーナルボリュームに対するＩ／Ｏ処理を実行する複数の副プロセッサボードを有し、前記副プロセッサボードの各々は、前記複数の副ジャーナルボリュームのうちの１以上の副ジャーナルボリュームについてのオーナ権を有するよう構成されており、
   　前記正プロセッサボードは、前記プライマリボリュームのうちの前記正プロセッサボードがオーナ権を有する１のプライマリボリュームが指定されたライト要求を、前記ホスト計算機から受信すると、
   　前記ライト要求及び前記ライト要求で指定されたライトデータをもとにジャーナルを作成し、前記正プロセッサボードがオーナ権を有する１の前記正ジャーナルボリュームにジャーナルを格納し、前記正ジャーナルボリュームに格納された前記ジャーナルを、前記１のプライマリボリュームのデータ複製を格納するペア関係にある前記セカンダリボリュームのオーナ権を有する、前記副ストレージ装置の副プロセッサボードがオーナ権を有する前記副ジャーナルボリュームに対して送信する、
   ことを特徴とする、ストレージシステム。
2. 　前記正プロセッサボードの各々は、前記副ストレージ装置の副プロセッサボードの数と同数の正ジャーナルボリュームについてオーナ権を有し、
   　前記副プロセッサボードの各々は、前記正ストレージ装置の正プロセッサボードの数と同数の副ジャーナルボリュームについてオーナ権を有する、
   ことを特徴とする、請求項１に記載のストレージシステム。
3. 　前記副ストレージ装置の各副プロセッサボードは、前記副プロセッサボードがオーナ権を有する副ジャーナルボリュームから前記ジャーナルを読み出し、
   　前記読み出されたジャーナルの内容に基づいて、前記副プロセッサボードがオーナ権を有する前記セカンダリボリュームの内容を更新する、
   ことを特徴とする、請求項２に記載のストレージシステム。
4. 　前記正ストレージ装置は、前記正ジャーナルボリュームの各々に、定期的にタイムスタンプを格納し、前記タイムスタンプは、前記ジャーナルとともに前記副ストレージ装置へ送信され、
   　前記副プロセッサボードの各々は、前記各セカンダリボリュームの内容を更新する際、前記副ジャーナルボリュームに含まれている１以上のタイムスタンプの中で、前記副ジャーナルボリュームの全てに共通に含まれているタイムスタンプの最大値より前に格納されているジャーナルの内容に基づいて、前記セカンダリボリュームの内容を更新する、
   ことを特徴とする、請求項３に記載のストレージシステム。
5. 　前記正ストレージ装置は、
   　前記プライマリボリュームのオーナ権が、前記複数の正プロセッサボードのうちの第１正プロセッサボードから第２正プロセッサボードに変更される時、
   　前記第１正プロセッサボードは、前記第１の正プロセッサボードがオーナ権を有する正ジャーナルボリュームにＥＮＤマーカを格納し、
   　前記ＥＮＤマーカの格納後であって、前記プライマリボリュームについてのジャーナルが作成される前に、前記第２正プロセッサボードは、前記第２の正プロセッサボードがオーナ権を有する正ジャーナルボリュームにＲＥＳＴＡＲＴマーカを格納する、
   ことを特徴とする、請求項２に記載のストレージシステム。
6. 　前記副ストレージ装置は、
   　前記セカンダリボリュームのオーナ権が、前記複数の副プロセッサボードのうちの第１副プロセッサボードから第２副プロセッサボードに変更されると、前記オーナ権の変更された旨の情報を前記正ストレージ装置に送信するよう制御され、
   　前記オーナ権の変更されたセカンダリボリュームとペア関係にある前記プライマリボリュームのオーナ権を有する前記正プロセッサボードは、前記第１副プロセッサボードがオーナ権を有する第１副ジャーナルボリュームに送信すべきジャーナルを格納する、第１正ジャーナルボリュームと、前記第２副プロセッサボードがオーナ権を有する第２副ジャーナルボリュームに送信すべきジャーナルを格納する、第２正ジャーナルボリュームとを有しており、
   　前記正ストレージ装置は、前記副ストレージ装置から前記オーナ権の変更された旨の情報を受信すると、
   　前記オーナ権の変更されたセカンダリボリュームとペア関係にある前記プライマリボリュームのオーナ権を有する前記正プロセッサボードが、前記第１正ジャーナルボリュームにＥＮＤマーカを格納し、前記第２正ジャーナルボリュームにＲＥＳＴＡＲＴマーカを格納する、
   ことを特徴とする、請求項２に記載のストレージシステム。
7. 　前記副ストレージ装置の各副プロセッサボードは、前記副プロセッサボードがオーナ権を有する副ジャーナルボリュームから、１以上の前記ジャーナルを読み出し、
   　前記読み出されたジャーナルの中に、前記ＲＥＳＴＡＲＴマーカが含まれていた場合、前記ＥＮＤマーカが前記副ストレージ装置で検出されたことが確認されるまで、前記副ジャーナルボリューム中の前記ＲＥＳＴＡＲＴマーカ以降に格納されていたジャーナルに対応する前記セカンダリボリュームの内容更新を待機する、
   ことを特徴とする、請求項５に記載のストレージシステム。
8. 　前記ＥＮＤマーカ及び前記ＲＥＳＴＡＲＴマーカには、オーナ権変更対象である前記プライマリボリュームの識別番号と、前記プライマリボリュームのオーナ権が変更される前に前記プライマリボリュームについてのジャーナルが格納されていたジャーナルボリュームである変更前ジャーナルボリュームの情報、前記プライマリボリュームのオーナ権が変更される直前に前記変更前ジャーナルボリュームに格納されたジャーナルに含まれているシーケンス番号、前記プライマリボリュームのオーナ権が変更された後に前記プライマリボリュームについてのジャーナルが格納されることになったジャーナルボリュームである変更後ジャーナルボリュームの情報のセットが含まれており、
   　前記副ストレージ装置の各副プロセッサボードは、前記読み出されたジャーナルに前記ＥＮＤマーカが含まれていた場合、前記ＥＮＤマーカに含まれている、前記プライマリボリュームの識別番号、前記変更前ジャーナルボリュームの情報、前記シーケンス番号、前記変更後ジャーナルボリュームの情報の組を前記副ストレージ装置のメモリに記憶しておき、
   　前記副ストレージ装置の各副プロセッサボードは、前記読み出されたジャーナルに前記ＲＥＳＴＡＲＴマーカが含まれていた場合、前記ＲＥＳＴＡＲＴマーカが含まれている情報のセットと一致する情報が、前記副ストレージ装置のメモリに記憶されていることが確認されるまでは、前記副ジャーナルボリューム中の前記ＲＥＳＴＡＲＴマーカ以降に格納されていたジャーナルに対応する前記セカンダリボリュームの内容更新を待機し、
   　前記ＲＥＳＴＡＲＴマーカが含まれている情報のセットと一致する情報が、前記副ストレージ装置のメモリに記憶されていることが確認されると、前記副ジャーナルボリューム中の前記ＲＥＳＴＡＲＴマーカ以降に格納されていたジャーナルに基づいて、前記セカンダリボリュームの内容を更新する、
   ことを特徴とする、請求項７に記載のストレージシステム。
9. 　前記ホスト計算機から発行されるライト要求は、前記ホスト計算機に接続された前記正チャネルアダプタによって受信され、
   　前記正チャネルアダプタは、受信した前記ライト要求で指定されている前記プライマリボリュームの識別番号に基づいて、前記ライト要求で指定されている前記プライマリボリュームのオーナ権を有する前記正プロセッサボードを特定し、
   　前記正チャネルアダプタが前記特定された前記正プロセッサボードに対し、前記ライト要求を送信することにより、前記正プロセッサボードは前記ライト要求を受信する、
   ことを特徴とする、請求項１に記載のストレージシステム。
10. 　複数のプライマリボリュームと、複数の正ジャーナルボリュームと、前記プライマリボリューム及び前記正ジャーナルボリュームに対するＩ／Ｏ処理を実行する複数の正プロセッサボードを有し、ホスト計算機と前記プライマリボリュームの複製を格納する副ストレージ装置とに接続された正ストレージ装置であって、
    　前記正プロセッサボードの各々は、前記複数の正ジャーナルボリュームのうちの１以上の正ジャーナルボリュームについての処理を担当する権利であるオーナ権を有するよう構成されており、
    　前記正プロセッサボードは、前記プライマリボリュームのうちの前記正プロセッサボードがオーナ権を有する１のプライマリボリュームが指定されたライト要求を、前記ホスト計算機から受信すると、
    　前記ライト要求及び前記ライト要求で指定されたライトデータをもとにジャーナルを作成し、前記正プロセッサボードがオーナ権を有する前記ジャーナルボリュームにジャーナルを格納し、前記正ジャーナルボリュームに格納された前記ジャーナルを、前記１のプライマリボリュームのデータ複製を格納する関係にある前記セカンダリボリュームのオーナ権を有する、前記副ストレージ装置が有する複数の副プロセッサボードのうちの１の副プロセッサボードがオーナ権を有する前記副ジャーナルボリュームに対して送信する、
    ことを特徴とする、正ストレージ装置。
11. 　前記正プロセッサボードの各々は、前記副ストレージ装置の副プロセッサボードの数と同数の正ジャーナルボリュームについてのオーナ権を有する、
    ことを特徴とする、請求項１０に記載の正ストレージ装置。
12. 　前記プライマリボリュームのオーナ権が、前記複数の正プロセッサボードのうちの第１正プロセッサボードから第２正プロセッサボードに変更される時、
    　前記第１正プロセッサボードは、前記第１の正プロセッサボードがオーナ権を有する正ジャーナルボリュームにＥＮＤマーカを格納し、
    　前記ＥＮＤマーカの格納後であって、前記プライマリボリュームについてのジャーナルが作成される前に、前記第２正プロセッサボードは、前記第２の正プロセッサボードがオーナ権を有する正ジャーナルボリュームにＲＥＳＴＡＲＴマーカを格納する、
    ことを特徴とする、請求項１１に記載の正ストレージ装置。
13. 　複数のセカンダリボリュームと、複数の副ジャーナルボリュームと、前記セカンダリボリューム及び前記副ジャーナルボリュームに対するＩ／Ｏ処理を実行する複数の副プロセッサボードを有し、前記セカンダリボリュームの複製元ボリュームである複数のプライマリボリュームを有する正ストレージ装置とに接続された副ストレージ装置であって、
    　前記副プロセッサボードの各々は、前記複数の副ジャーナルボリュームのうちの１以上の副ジャーナルボリュームについてのオーナ権を有するよう構成されており、
    　前記副プロセッサボードは、前記正ストレージ装置から、前記副プロセッサボードがオーナ権を有する前記副ジャーナルボリュームを格納先として指定された前記ジャーナルを受信すると、前記ジャーナルを前記副プロセッサボードがオーナ権を有する前記副ジャーナルボリュームに格納した後、
    　前記副プロセッサボードがオーナ権を有する副ジャーナルボリュームから前記ジャーナルを読み出し、
    　前記読み出されたジャーナルの内容に基づいて、前記副プロセッサボードがオーナ権を有する前記セカンダリボリュームの内容を更新する、
    ことを特徴とする、副ストレージ装置。
14. 　前記副プロセッサボードの各々は、前記正ストレージ装置の正プロセッサボードの数と同数の副ジャーナルボリュームについてのオーナ権を有する、
    ことを特徴とする、請求項１３に記載の副ストレージ装置。
15. 　前記副ストレージ装置の各副プロセッサボードは、前記副プロセッサボードがオーナ権を有する副ジャーナルボリュームから、１以上の前記ジャーナルを読み出し、
    　前記読み出されたジャーナルの中に、前記プライマリボリュームまたはセカンダリボリュームのオーナ権が変更されたことを示す情報であるＲＥＳＴＡＲＴマーカが含まれていた場合、前記プライマリボリュームまたはセカンダリボリュームのオーナ権が変更される直前に挿入される情報であるＥＮＤマーカが前記複数の副ジャーナルボリュームのいずれかから検出されたことが確認されるまで、前記副ジャーナルボリューム中の前記ＲＥＳＴＡＲＴマーカ以降に格納されていたジャーナルに対応する前記セカンダリボリュームの内容更新を待機する、
    ことを特徴とする、請求項１４に記載の副ストレージ装置。

Images