JP2003208268A - 分散ストレージシステム、ストレージ装置、およびデータのコピー方法 - Google Patents
分散ストレージシステム、ストレージ装置、およびデータのコピー方法Info
- Publication number
- JP2003208268A JP2003208268A JP2002002937A JP2002002937A JP2003208268A JP 2003208268 A JP2003208268 A JP 2003208268A JP 2002002937 A JP2002002937 A JP 2002002937A JP 2002002937 A JP2002002937 A JP 2002002937A JP 2003208268 A JP2003208268 A JP 2003208268A
- Authority
- JP
- Japan
- Prior art keywords
- storage device
- data
- network
- storage
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/061—Improving I/O performance
- G06F3/0613—Improving I/O performance in relation to throughput
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
- G06F11/2056—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
- G06F11/2082—Data synchronisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0629—Configuration or reconfiguration of storage systems
- G06F3/0635—Configuration or reconfiguration of storage systems by changing the path, e.g. traffic rerouting, path reconfiguration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
- G06F3/065—Replication mechanisms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0683—Plurality of storage devices
- G06F3/0689—Disk arrays, e.g. RAID, JBOD
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
- G06F11/2056—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
- G06F11/2069—Management of state, configuration or failover
Abstract
(57)【要約】
【課題】高速なデータのバックアップを実現する。
【解決手段】 ３個以上のストレージデバイス1、2，3
をネットワーク4経由で相互接続し、１個のコピー元ス
トレージデバイスから複数のコピー先ストレージデバイ
スに対し、並列にバックアップデータを転送する。ま
た、コピー元ストレージデバイスから各コピー先ストレ
ージデバイスへのデータ転送量を、コピー元ストレージ
デバイスから各コピー先ストレージデバイスへの通信コ
ネクションの状態によって動的に変化させることで、通
信品質が時々刻々と変化するネットワークにおいて、特
定の通信コネクションの通信状態悪化により、データの
バックアップが阻害されるのを防止することができる。
さらに、コピー元のストレージデバイスに障害が発生し
た場合には、複数のバックアップ先ストレージデバイス
からデータを並列に読み出すことで、高速なデータ復旧
が可能となる。
をネットワーク4経由で相互接続し、１個のコピー元ス
トレージデバイスから複数のコピー先ストレージデバイ
スに対し、並列にバックアップデータを転送する。ま
た、コピー元ストレージデバイスから各コピー先ストレ
ージデバイスへのデータ転送量を、コピー元ストレージ
デバイスから各コピー先ストレージデバイスへの通信コ
ネクションの状態によって動的に変化させることで、通
信品質が時々刻々と変化するネットワークにおいて、特
定の通信コネクションの通信状態悪化により、データの
バックアップが阻害されるのを防止することができる。
さらに、コピー元のストレージデバイスに障害が発生し
た場合には、複数のバックアップ先ストレージデバイス
からデータを並列に読み出すことで、高速なデータ復旧
が可能となる。
Description
【０００１】
【発明の属する技術分野】本発明は、データ記憶装置、
特に、分散ストレージ装置及びそれを用いたシステムに
係わる。
特に、分散ストレージ装置及びそれを用いたシステムに
係わる。
【０００２】
【従来の技術】電子商取引システムやデータセンタの構
築が本格化するなか、地震、火事、あるいは停電など地
域的な災害に対しても、顧客情報や商用コンテンツなど
の重要データを保護できるシステムが求められている。
築が本格化するなか、地震、火事、あるいは停電など地
域的な災害に対しても、顧客情報や商用コンテンツなど
の重要データを保護できるシステムが求められている。
【０００３】従来、データの保護方法としては、RAID(R
edundant Array of Independent Disks)、あるいはリモ
ートコピーと呼ばれる方法などが用いられている。RAID
は、RAID-0からRAID-5に分類されるが、ディスク障害時
のデータ保護のため、現在、主に用いられているのはRA
ID-1とRAID-5である。
edundant Array of Independent Disks)、あるいはリモ
ートコピーと呼ばれる方法などが用いられている。RAID
は、RAID-0からRAID-5に分類されるが、ディスク障害時
のデータ保護のため、現在、主に用いられているのはRA
ID-1とRAID-5である。
【０００４】RAID-1は、現用と予備の２個のディスクに
全く同じデータを書き込む方法であり、現用ディスクが
故障しても、予備ディスクに現用ディスクと全く同じデ
ータが記録されているため、データの消失を防止でき
る。RAID-5は、ブロック単位に分割した記録データおよ
び記録データのパリティを複数のディスクに分散して記
録する方法である。
全く同じデータを書き込む方法であり、現用ディスクが
故障しても、予備ディスクに現用ディスクと全く同じデ
ータが記録されているため、データの消失を防止でき
る。RAID-5は、ブロック単位に分割した記録データおよ
び記録データのパリティを複数のディスクに分散して記
録する方法である。
【０００５】RAID-5では、RAIDを構成するディスクの一
個に障害が発生した場合、残りの正常なディスクに記録
されたデータおよびデータのパリティから、記録データ
を復元できる。また、RAID-5では、データを分散記録す
る複数のディスクに並列に書込み/読出しが可能である
ため、ディスクが１個の場合と比較して高速なディスク
アクセスが可能となる。
個に障害が発生した場合、残りの正常なディスクに記録
されたデータおよびデータのパリティから、記録データ
を復元できる。また、RAID-5では、データを分散記録す
る複数のディスクに並列に書込み/読出しが可能である
ため、ディスクが１個の場合と比較して高速なディスク
アクセスが可能となる。
【０００６】リモートコピーとは、ネットワークを用い
て、物理的に離れた場所にデータのレプリカを作成する
方法である。リモートコピーには、サーバ同士をネット
ワークで接続する構成、およびストレージ・サブシステ
ム同士をネットワークで接続する構成などがある。リモ
ートコピーに用いられるネットワークとしては、主に通
信品質が保証される専用線などが用いられている。
て、物理的に離れた場所にデータのレプリカを作成する
方法である。リモートコピーには、サーバ同士をネット
ワークで接続する構成、およびストレージ・サブシステ
ム同士をネットワークで接続する構成などがある。リモ
ートコピーに用いられるネットワークとしては、主に通
信品質が保証される専用線などが用いられている。
【０００７】
【発明が解決しようとする課題】RAIDは、データ保護の
ために広く用いられている方法であるが、この方法はサ
ーバ付属のディスク間、またはSAN(Strage Area Networ
k)を介してサーバと接続されるストレージ・サブシステ
ム内部でのデータ保護手段であるため、地域的な災害に
対してのデータ保護を行うことはできない。地域的な災
害を避けるためのリモートコピーには、一般に専用線が
用いられるが、専用線の通信コストは高く、大容量のデ
ータのバックアップには、多くのコストが必要となる。
ために広く用いられている方法であるが、この方法はサ
ーバ付属のディスク間、またはSAN(Strage Area Networ
k)を介してサーバと接続されるストレージ・サブシステ
ム内部でのデータ保護手段であるため、地域的な災害に
対してのデータ保護を行うことはできない。地域的な災
害を避けるためのリモートコピーには、一般に専用線が
用いられるが、専用線の通信コストは高く、大容量のデ
ータのバックアップには、多くのコストが必要となる。
【０００８】リモートコピーにインターネットのような
安価なネットワークを用いることも可能であるが、この
ような通信品質が保証されないネットワークを用いる場
合、通信品質悪化（通信速度低下）によりバックアップ
が阻害されるのを防止する手段が必要となる。
安価なネットワークを用いることも可能であるが、この
ような通信品質が保証されないネットワークを用いる場
合、通信品質悪化（通信速度低下）によりバックアップ
が阻害されるのを防止する手段が必要となる。
【０００９】
【課題を解決するための手段】本発明では、３個以上の
ストレージデバイスをネットワーク経由で相互接続し、
１個のコピー元ストレージデバイスから複数のコピー先
ストレージデバイスに対し、並列にバックアップデータ
を転送することで、高速なデータのバックアップを実現
する。
ストレージデバイスをネットワーク経由で相互接続し、
１個のコピー元ストレージデバイスから複数のコピー先
ストレージデバイスに対し、並列にバックアップデータ
を転送することで、高速なデータのバックアップを実現
する。
【００１０】また、コピー元ストレージデバイスから各
コピー先ストレージデバイスへのデータ転送量を、コピ
ー元ストレージデバイスから各コピー先ストレージデバ
イスへの通信コネクションの状態によって動的に変化さ
せることで、通信品質が時々刻々と変化する安価なネッ
トワークにおいて、特定の通信コネクションの通信状態
悪化により、データのバックアップが阻害されるのを防
止することができる。また、通信速度の保証される専用
線においては、さらに高速なバックアップが可能となる
であろう。
コピー先ストレージデバイスへのデータ転送量を、コピ
ー元ストレージデバイスから各コピー先ストレージデバ
イスへの通信コネクションの状態によって動的に変化さ
せることで、通信品質が時々刻々と変化する安価なネッ
トワークにおいて、特定の通信コネクションの通信状態
悪化により、データのバックアップが阻害されるのを防
止することができる。また、通信速度の保証される専用
線においては、さらに高速なバックアップが可能となる
であろう。
【００１１】さらに、コピー元のストレージデバイスに
障害が発生した場合には、複数のバックアップ先ストレ
ージデバイスからデータを並列に読み出すことで、高速
なデータ復旧が可能となる。
障害が発生した場合には、複数のバックアップ先ストレ
ージデバイスからデータを並列に読み出すことで、高速
なデータ復旧が可能となる。
【００１２】具体的には、本願発明はネットワークを介
して複数のストレージ装置を互いに接続し、あるストレ
ージ装置のデータのコピーを、他の複数のストレージ装
置に作成するデータのコピー方法であって、ネットワー
クの通信コネクションの状態に応じて、あるストレージ
装置からコピーを作成するためにアクセスするストレー
ジ装置を動的に選択する。このとき、ネットワークの状
態を監視するパケットを用いて、ネットワークの通信コ
ネクションの状態を識別することができる。また、スト
レージ装置は、他のストレージ装置との通信コネクショ
ン毎に分けられたデータフレーム送信用のデータ入力バ
ッファを有し、データ入力バッファの状態に基づいて、
ネットワークの通信コネクションの状態を識別すること
ができる。具体的には、空きのおおいバッファに優先的
にデータを送る、送出レートの大きいバッファに優先的
にデータを送るなど様々な態様が考えられる。
して複数のストレージ装置を互いに接続し、あるストレ
ージ装置のデータのコピーを、他の複数のストレージ装
置に作成するデータのコピー方法であって、ネットワー
クの通信コネクションの状態に応じて、あるストレージ
装置からコピーを作成するためにアクセスするストレー
ジ装置を動的に選択する。このとき、ネットワークの状
態を監視するパケットを用いて、ネットワークの通信コ
ネクションの状態を識別することができる。また、スト
レージ装置は、他のストレージ装置との通信コネクショ
ン毎に分けられたデータフレーム送信用のデータ入力バ
ッファを有し、データ入力バッファの状態に基づいて、
ネットワークの通信コネクションの状態を識別すること
ができる。具体的には、空きのおおいバッファに優先的
にデータを送る、送出レートの大きいバッファに優先的
にデータを送るなど様々な態様が考えられる。
【００１３】さらに、本願発明のシステムでは、ネット
ワークを介してホスト計算機と複数のストレージ装置を
接続してなる分散ストレージシステムにおいて、ネット
ワークの通信コネクションの状態に応じて、ホストから
アクセスするストレージ装置を動的に選択する。また、
本願発明のストレージ装置は、ネットワークを介して他
のストレージ装置と接続され、互いにアクセス可能なス
トレージ装置であって、ネットワークの通信コネクショ
ンの状態に応じて、アクセスする他のストレージ装置を
動的に選択する。
ワークを介してホスト計算機と複数のストレージ装置を
接続してなる分散ストレージシステムにおいて、ネット
ワークの通信コネクションの状態に応じて、ホストから
アクセスするストレージ装置を動的に選択する。また、
本願発明のストレージ装置は、ネットワークを介して他
のストレージ装置と接続され、互いにアクセス可能なス
トレージ装置であって、ネットワークの通信コネクショ
ンの状態に応じて、アクセスする他のストレージ装置を
動的に選択する。
【００１４】
【発明実施の形態】以下、図を用いて本発明の実施例を
説明する。
説明する。
【００１５】図１は本発明に係わる分散ストレージシス
テムの全体構成図である。
テムの全体構成図である。
【００１６】ネットワーク４を介して相互に接続された
３個のストレージデバイス１〜３、および各ストレージ
デバイス１〜３と接続される４個のホスト計算機５〜８
から構成される分散ストレージシステムの例である。各
ストレージデバイス１〜３とホスト計算機５〜８は、例
えば、ケーブルあるいは光ファイバーで直接接続するこ
とも、あるいはSANを介して接続することも可能であ
る。また、ストレージデバイス１〜３をホスト計算機５
〜８に内蔵し、ホスト計算機５〜８とストレージデバイ
ス１〜３を内部バスで接続する構成も可能である。
３個のストレージデバイス１〜３、および各ストレージ
デバイス１〜３と接続される４個のホスト計算機５〜８
から構成される分散ストレージシステムの例である。各
ストレージデバイス１〜３とホスト計算機５〜８は、例
えば、ケーブルあるいは光ファイバーで直接接続するこ
とも、あるいはSANを介して接続することも可能であ
る。また、ストレージデバイス１〜３をホスト計算機５
〜８に内蔵し、ホスト計算機５〜８とストレージデバイ
ス１〜３を内部バスで接続する構成も可能である。
【００１７】図２にストレージデバイス１の構成例を示
す。ここで、ストレージデバイス２、３の構成は、スト
レージデバイス１と同様でよい。ストレージデバイス１
は、ストレージ制御装置９およびストレージ装置１０か
ら構成されている。ストレージ制御装置９とストレージ
装置１０は、データ転送バス１１を介して接続される。
ストレージデバイス１は、２個のホストインタフェース
１２−１，１２−２を介して、ホスト計算機５、６とそ
れぞれ接続され、また、２個のストレージコントローラ
１３−１，１３−２を介して、ストレージ装置１０と接
続される。ストレージデバイス１は、ネットワークイン
タフェース１４を介して、ネットワーク４経由で、他の
ストレージデバイス２、３と相互接続される。キャシュ
メモリ１５は、ストレージ装置１０への書込み、あるい
は読出しデータを一時的に記憶するために用いられる。
ホストインタフェース１２、ストレージコントローラ１
３、ネットワークインタフェース１４、キャッシュメモ
リは１５、ストレージ制御装置内の内部バス１６で相互
に接続されている。
す。ここで、ストレージデバイス２、３の構成は、スト
レージデバイス１と同様でよい。ストレージデバイス１
は、ストレージ制御装置９およびストレージ装置１０か
ら構成されている。ストレージ制御装置９とストレージ
装置１０は、データ転送バス１１を介して接続される。
ストレージデバイス１は、２個のホストインタフェース
１２−１，１２−２を介して、ホスト計算機５、６とそ
れぞれ接続され、また、２個のストレージコントローラ
１３−１，１３−２を介して、ストレージ装置１０と接
続される。ストレージデバイス１は、ネットワークイン
タフェース１４を介して、ネットワーク４経由で、他の
ストレージデバイス２、３と相互接続される。キャシュ
メモリ１５は、ストレージ装置１０への書込み、あるい
は読出しデータを一時的に記憶するために用いられる。
ホストインタフェース１２、ストレージコントローラ１
３、ネットワークインタフェース１４、キャッシュメモ
リは１５、ストレージ制御装置内の内部バス１６で相互
に接続されている。
【００１８】ホスト計算機５、６は、オペレーティング
システムあるいはアプリケーション等のプロセスからの
要求に従い、ホストインタフェース１２を介して、スト
レージ制御装置９にアクセス命令を発行し、ストレージ
制御装置９は、ホスト計算機５、６からのアクセス命令
に従って、ストレージコントローラ１３を介してストレ
ージ装置１０が保持する記憶媒体１７を制御し、データ
の書込みまたは読出しを行う。
システムあるいはアプリケーション等のプロセスからの
要求に従い、ホストインタフェース１２を介して、スト
レージ制御装置９にアクセス命令を発行し、ストレージ
制御装置９は、ホスト計算機５、６からのアクセス命令
に従って、ストレージコントローラ１３を介してストレ
ージ装置１０が保持する記憶媒体１７を制御し、データ
の書込みまたは読出しを行う。
【００１９】図３にホスト計算機５とストレージデバイ
ス１との間のデータ書込み手順の例を示す。ホスト計算
機５は、ストレージデバイス１に対して、データ書込み
コマンドフレーム１８を発行する。図４には、図３に示
すデータ転送に用いられる各フレームの例を示す。ま
ず、ホスト計算機５は、ストレージデバイス１に対し
て、データ書込みコマンドフレーム１８（図４（ａ））
を発行してデータ書込みを指示する。ここで、コマンド
フレーム１８の送信元ストレージデバイスから宛先スト
レージデバイスへの命令は、コマンドフィールド２９の
命令コードとして記載される（図４（ａ））。ホストイ
ンタフェース１２−１は、コマンドフレーム１８のコマ
ンドフィールド２９に含まれる転送データ長情報をもと
に、キャッシュメモリ１５にデータ受信領域を確保し、
転送レディフレーム１９（図４（ｂ））をホスト計算機
に送信する。ホスト計算５は、転送レディフレーム１９
を受信すると、ストレージデバイス１に対し、データフ
レーム２０（図４（ｃ））を出力する。ホストインタフ
ェース１２は、内部バス１６を経由して、キャッシュメ
モリ１５にホスト計算機５から転送されたデータフレー
ムを書込み、転送レディフレーム１９をホスト計算機に
送信して、次のデータフレーム１９の転送を要求する。
もし受信したデータフレーム１９が最終のデータフレー
ム１９であった場合、または受信エラーが発生した場
合、ホストインタフェース１２は、ホスト計算機５に受
信ステータスを示したレスポンスフレーム２１（図４
（ｄ））を送信してデータ書込み転送を終了する。ま
た、ホストインタフェース１２は、ストレージコントロ
ーラ１３およびネットワークインタフェース１４に対
し、書込みデータの論理ユニット番号２８、コマンド２
９の内容(論理アドレス、転送データ長、データの書込
み時間を示すタイムスタンプ)、キャッシュメモリ上の
データ記憶領域アドレスなどの情報を通知する。なお、
各フレームのフレームヘッダ２２には、各データ転送シ
ーケンスを識別するためのシーケンス識別子２６、シー
ケンス内におけるフレームの順序を示すシーケンス番号
２７、および送信先と送信元となるホスト計算機５ある
いはストレージデバイス１を識別するための送信元アド
レス２４、宛先アドレス２５を含むものとする。アドレ
スの形式は、ホスト計算機５とストレージデバイス６を
接続するネットワークによって異なる。例として、Fibe
r channelの場合にはIDが、ネットワークがEthernet
（イーサネット（富士ゼロックス社の登録商標））であ
る場合にはMACアドレスが、ネットワークがレイヤ３のI
Pネットワークで構成されている場合には、IPアドレス
が、それぞれアドレス２４、２５となる。
ス１との間のデータ書込み手順の例を示す。ホスト計算
機５は、ストレージデバイス１に対して、データ書込み
コマンドフレーム１８を発行する。図４には、図３に示
すデータ転送に用いられる各フレームの例を示す。ま
ず、ホスト計算機５は、ストレージデバイス１に対し
て、データ書込みコマンドフレーム１８（図４（ａ））
を発行してデータ書込みを指示する。ここで、コマンド
フレーム１８の送信元ストレージデバイスから宛先スト
レージデバイスへの命令は、コマンドフィールド２９の
命令コードとして記載される（図４（ａ））。ホストイ
ンタフェース１２−１は、コマンドフレーム１８のコマ
ンドフィールド２９に含まれる転送データ長情報をもと
に、キャッシュメモリ１５にデータ受信領域を確保し、
転送レディフレーム１９（図４（ｂ））をホスト計算機
に送信する。ホスト計算５は、転送レディフレーム１９
を受信すると、ストレージデバイス１に対し、データフ
レーム２０（図４（ｃ））を出力する。ホストインタフ
ェース１２は、内部バス１６を経由して、キャッシュメ
モリ１５にホスト計算機５から転送されたデータフレー
ムを書込み、転送レディフレーム１９をホスト計算機に
送信して、次のデータフレーム１９の転送を要求する。
もし受信したデータフレーム１９が最終のデータフレー
ム１９であった場合、または受信エラーが発生した場
合、ホストインタフェース１２は、ホスト計算機５に受
信ステータスを示したレスポンスフレーム２１（図４
（ｄ））を送信してデータ書込み転送を終了する。ま
た、ホストインタフェース１２は、ストレージコントロ
ーラ１３およびネットワークインタフェース１４に対
し、書込みデータの論理ユニット番号２８、コマンド２
９の内容(論理アドレス、転送データ長、データの書込
み時間を示すタイムスタンプ)、キャッシュメモリ上の
データ記憶領域アドレスなどの情報を通知する。なお、
各フレームのフレームヘッダ２２には、各データ転送シ
ーケンスを識別するためのシーケンス識別子２６、シー
ケンス内におけるフレームの順序を示すシーケンス番号
２７、および送信先と送信元となるホスト計算機５ある
いはストレージデバイス１を識別するための送信元アド
レス２４、宛先アドレス２５を含むものとする。アドレ
スの形式は、ホスト計算機５とストレージデバイス６を
接続するネットワークによって異なる。例として、Fibe
r channelの場合にはIDが、ネットワークがEthernet
（イーサネット（富士ゼロックス社の登録商標））であ
る場合にはMACアドレスが、ネットワークがレイヤ３のI
Pネットワークで構成されている場合には、IPアドレス
が、それぞれアドレス２４、２５となる。
【００２０】ストレージコントローラ１３は、ホストイ
ンタフェース１２からの通知に従い、論理ユニット番号
１８から記憶媒体１７の物理ユニット番号への変換、記
憶媒体１７の論理アドレスから物理アドレスへのアドレ
ス変換、内部バス１６を介してのキャシュメモリ１５か
らのデータ読出し等を行い、最後にデータ転送バスを介
して記憶媒体１７にデータを書き込む。
ンタフェース１２からの通知に従い、論理ユニット番号
１８から記憶媒体１７の物理ユニット番号への変換、記
憶媒体１７の論理アドレスから物理アドレスへのアドレ
ス変換、内部バス１６を介してのキャシュメモリ１５か
らのデータ読出し等を行い、最後にデータ転送バスを介
して記憶媒体１７にデータを書き込む。
【００２１】ネットワークインタフェース１４は、ホス
トインタフェース１２からの指示に従い、ネットワーク
４を経由してホスト計算機５からの書込みデータを、分
散ストレージシステムを構成する他のストレージデバイ
ス２、３に分散してコピーする。このコピーはバックア
ップとして用いることができる。
トインタフェース１２からの指示に従い、ネットワーク
４を経由してホスト計算機５からの書込みデータを、分
散ストレージシステムを構成する他のストレージデバイ
ス２、３に分散してコピーする。このコピーはバックア
ップとして用いることができる。
【００２２】図５にネットワークインタフェース１４の
構成の例を示す。図５のネットワークインタフェース１
４は、バス制御部３３、プロセッサ３４、メモリ３５、
フレーム送信部３６、フレーム受信部３７から構成され
る。バス制御部３３は、内部バス１６の調停を行い、ス
トレージ制御装置９を構成する他の要素との間で、内部
バス１６を介してのデータ入出力を行う。プロセッサ３
４は、分散ストレージシステムを構成するストレージデ
バイス２、３との通信コネクションの設定・維持・管
理、データ転送のフロー制御、データ転送先の決定など
の処理を行う。メモリ３５には、プロセッサ３４で処理
させるプログラムの他、分散ストレージシステムを構成
する他のストレージデバイス２，３へ転送したデータを
管理するローカル管理テーブル４２、分散ストレージシ
ステムを構成する他のストレージデバイスから転送され
たデータを管理するためのリモート管理テーブル４３を
持つ。また、メモリ３５には、障害発生時に障害データ
の復旧に使用する障害データテーブル４４を待つ。フレ
ーム送信部３６は、分散ストレージシステムを構成する
他のストレージデバイス２、３との通信コネクション毎
に分けられたデータフレーム送信用のデータ入力バッフ
ァ３８と、コマンドフレーム１８あるいはデータ転送フ
ローの制御用フレーム(例えば、TCPのAckフレーム)送信
用のコマンド入力バッファ３９を持つ。また、フレーム
受信部３７も分散ストレージシステムを構成するストレ
ージデバイス２、３との通信コネクション毎に分けられ
たデータフレーム受信用のデータ出力バッファ４０と、
コマンドフレーム１８あるいはデータ転送フロー制御フ
レーム受信用のコマンド入力バッファ３９を持つ。
構成の例を示す。図５のネットワークインタフェース１
４は、バス制御部３３、プロセッサ３４、メモリ３５、
フレーム送信部３６、フレーム受信部３７から構成され
る。バス制御部３３は、内部バス１６の調停を行い、ス
トレージ制御装置９を構成する他の要素との間で、内部
バス１６を介してのデータ入出力を行う。プロセッサ３
４は、分散ストレージシステムを構成するストレージデ
バイス２、３との通信コネクションの設定・維持・管
理、データ転送のフロー制御、データ転送先の決定など
の処理を行う。メモリ３５には、プロセッサ３４で処理
させるプログラムの他、分散ストレージシステムを構成
する他のストレージデバイス２，３へ転送したデータを
管理するローカル管理テーブル４２、分散ストレージシ
ステムを構成する他のストレージデバイスから転送され
たデータを管理するためのリモート管理テーブル４３を
持つ。また、メモリ３５には、障害発生時に障害データ
の復旧に使用する障害データテーブル４４を待つ。フレ
ーム送信部３６は、分散ストレージシステムを構成する
他のストレージデバイス２、３との通信コネクション毎
に分けられたデータフレーム送信用のデータ入力バッフ
ァ３８と、コマンドフレーム１８あるいはデータ転送フ
ローの制御用フレーム(例えば、TCPのAckフレーム)送信
用のコマンド入力バッファ３９を持つ。また、フレーム
受信部３７も分散ストレージシステムを構成するストレ
ージデバイス２、３との通信コネクション毎に分けられ
たデータフレーム受信用のデータ出力バッファ４０と、
コマンドフレーム１８あるいはデータ転送フロー制御フ
レーム受信用のコマンド入力バッファ３９を持つ。
【００２３】図６にローカル管理テーブル４２の構成例
を示す。図７にリモート管理テーブル４３の構成例を示
す。
を示す。図７にリモート管理テーブル４３の構成例を示
す。
【００２４】ここでストレージデバイス１の起動手順の
例として、ストレージデバイス１が、ストレージデバイ
ス２、３で構成される分散ストレージシステムの要素と
して起動した場合を説明する。初めに、ストレージデバ
イス１は、分散ストレージシステムを構成する他のスト
レージデバイス２、３に対し、分散ストレージシステム
を構成するストレージデバイス１としての動作を開始す
ることを広告する。広告を受け取ったストレージデバイ
ス２、３は、広告発行元ストレージデバイス１を分散ス
トレージシステムを構成する要素として登録し、広告発
行元のストレージデバイス１に登録完了の応答を返す。
広告発行元のストレージデバイス１は、この登録完了応
答により、分散ストレージシステムとして、有効に動作
するストレージデバイス２、３を確認し、この応答があ
ったストレージデバイス２、３との間で、データの送受
信を行う。なお、上記の広告-応答処理は、分散ストレ
ージシステムを構成するストレージデバイス２、３が正
常に動作していることを確認するため、一定時間間隔で
定期的に行うことも可能である。
例として、ストレージデバイス１が、ストレージデバイ
ス２、３で構成される分散ストレージシステムの要素と
して起動した場合を説明する。初めに、ストレージデバ
イス１は、分散ストレージシステムを構成する他のスト
レージデバイス２、３に対し、分散ストレージシステム
を構成するストレージデバイス１としての動作を開始す
ることを広告する。広告を受け取ったストレージデバイ
ス２、３は、広告発行元ストレージデバイス１を分散ス
トレージシステムを構成する要素として登録し、広告発
行元のストレージデバイス１に登録完了の応答を返す。
広告発行元のストレージデバイス１は、この登録完了応
答により、分散ストレージシステムとして、有効に動作
するストレージデバイス２、３を確認し、この応答があ
ったストレージデバイス２、３との間で、データの送受
信を行う。なお、上記の広告-応答処理は、分散ストレ
ージシステムを構成するストレージデバイス２、３が正
常に動作していることを確認するため、一定時間間隔で
定期的に行うことも可能である。
【００２５】ストレージデバイス１が広告の発行先とな
るストレージデバイス２、３のアドレス２４を知る方法
としては、予めシステム管理者が広告先リストを設定す
る方法、予め設定された代表サーバに問い合わせる方法
などがある。また、各ストレージデバイス１〜３を相互
接続するネットワーク４がマルチキャストあるいはブロ
ードキャストをサポートする場合には、広告先を意識せ
ず、広告をマルチキャストあるいはブロードキャストす
ることも可能である。
るストレージデバイス２、３のアドレス２４を知る方法
としては、予めシステム管理者が広告先リストを設定す
る方法、予め設定された代表サーバに問い合わせる方法
などがある。また、各ストレージデバイス１〜３を相互
接続するネットワーク４がマルチキャストあるいはブロ
ードキャストをサポートする場合には、広告先を意識せ
ず、広告をマルチキャストあるいはブロードキャストす
ることも可能である。
【００２６】分散ストレージデバイスを構成する各スト
レージデバイス１〜３間の通信コネクションは、固定的
に通信コネクションを設定・維持しておく方法、例えば
ATMネットワークにおけるPVCのようなコネクション、あ
るいはデータ転送開始時に動的に設定し、データ転送完
了時には切断する方法、例えば、IPネットワークにおけ
るTCPコネクションなどが考えられる。
レージデバイス１〜３間の通信コネクションは、固定的
に通信コネクションを設定・維持しておく方法、例えば
ATMネットワークにおけるPVCのようなコネクション、あ
るいはデータ転送開始時に動的に設定し、データ転送完
了時には切断する方法、例えば、IPネットワークにおけ
るTCPコネクションなどが考えられる。
【００２７】以下、分散ストレージシステムを構成する
各ストレージデバイス１〜３を相互接続するネットワー
ク４が、インターネットに代表されるIPネットワークで
あり、各ストレージデバイス１〜３間のデータ転送フロ
ー制御(パケット転送制御)がTCPで行われる場合につい
て、データコピーの手順を述べる。以下、データコピー
元のストレージデバイスのことを、ローカル・ストレー
ジデバイス、データコピー先のストレージデバイスをリ
モート・ストレージデバイスと呼ぶ。また、ホスト計算
機からローカル・ストレージデバイスに書き込まれたデ
ータをオリジナルデータ、ローカル・ストレージデバイ
スからリモート・ストレージデバイスに書き込まれたデ
ータをレプリカデータと呼ぶ。図８〜図１２に、ローカ
ル・ストレージデバイスからリモート・ストレージデバ
イスへのデータコピーの例として、ストレージデバイス
１からストレージデバイス２へのデータコピーの例を示
す。図８〜図１１は、データ送信時のストレージデバイ
ス１のネットワークインタフェース１４の動作例を示す
フローチャートである。
各ストレージデバイス１〜３を相互接続するネットワー
ク４が、インターネットに代表されるIPネットワークで
あり、各ストレージデバイス１〜３間のデータ転送フロ
ー制御(パケット転送制御)がTCPで行われる場合につい
て、データコピーの手順を述べる。以下、データコピー
元のストレージデバイスのことを、ローカル・ストレー
ジデバイス、データコピー先のストレージデバイスをリ
モート・ストレージデバイスと呼ぶ。また、ホスト計算
機からローカル・ストレージデバイスに書き込まれたデ
ータをオリジナルデータ、ローカル・ストレージデバイ
スからリモート・ストレージデバイスに書き込まれたデ
ータをレプリカデータと呼ぶ。図８〜図１２に、ローカ
ル・ストレージデバイスからリモート・ストレージデバ
イスへのデータコピーの例として、ストレージデバイス
１からストレージデバイス２へのデータコピーの例を示
す。図８〜図１１は、データ送信時のストレージデバイ
ス１のネットワークインタフェース１４の動作例を示す
フローチャートである。
【００２８】図８において、ホスト計算機５、６からの
データ書込み時、ホストインタフェース１２は、ネット
ワークインタフェース１４に対し、書込みデータの論理
ユニット番号、論理アドレス、転送データ長、データの
書込み時間を示すタイムスタンプ、キャッシュメモリ１
５上のデータ記憶領域アドレスなどを通知する。
データ書込み時、ホストインタフェース１２は、ネット
ワークインタフェース１４に対し、書込みデータの論理
ユニット番号、論理アドレス、転送データ長、データの
書込み時間を示すタイムスタンプ、キャッシュメモリ１
５上のデータ記憶領域アドレスなどを通知する。
【００２９】プロセッサ３４は、通知されたデータと同
一の論理ユニット番号と論理アドレスを持つエントリが
ローカル管理テーブル４２に存在するかを検索する（４
６）。通知された論理ユニット番号と論理アドレスを持
つエントリがローカル管理テーブル４２に存在しない場
合、プロセッサ３４は、データ入力バッファ３８の状態
を確認（４７）し、データ送信が可能なデータ入力バッ
ファ３８を見つける。ここで、例えば、他のデータ書込
みのため、全てのデータ入力バッファ３８からの送信が
不可である場合、プロセッサ３４は、他のデータ書込み
が完了し、データ入力バッファ３８が空くのを待つ（４
８）。また、送信可能なデータ入力バッファ３８が複数
発見された場合には、予め決められた手順（例えば、ラ
ウンドロビン、ランダム、総データ転送量の少ないバッ
ファを優先）に従って、送信を行うデータ入力バッファ
３８を選択する（４９）。
一の論理ユニット番号と論理アドレスを持つエントリが
ローカル管理テーブル４２に存在するかを検索する（４
６）。通知された論理ユニット番号と論理アドレスを持
つエントリがローカル管理テーブル４２に存在しない場
合、プロセッサ３４は、データ入力バッファ３８の状態
を確認（４７）し、データ送信が可能なデータ入力バッ
ファ３８を見つける。ここで、例えば、他のデータ書込
みのため、全てのデータ入力バッファ３８からの送信が
不可である場合、プロセッサ３４は、他のデータ書込み
が完了し、データ入力バッファ３８が空くのを待つ（４
８）。また、送信可能なデータ入力バッファ３８が複数
発見された場合には、予め決められた手順（例えば、ラ
ウンドロビン、ランダム、総データ転送量の少ないバッ
ファを優先）に従って、送信を行うデータ入力バッファ
３８を選択する（４９）。
【００３０】図９において、ホストインタフェース１２
から通知された書込みデータと同一の論理ユニット番号
と論理アドレスを持つエントリ(以降、このエントリを
旧エントリと呼ぶ)がローカル管理テーブル４２に存在
する場合、プロセッサ３４は、データの転送先として、
旧エントリに記載された転送先リモートストレージデバ
イスを優先的に選択する（５６〜５９）。これは、旧エ
ントリに記載以外のリモートストレージデバイスにデー
タを転送すると、同一の論理ユニット番号と論理アドレ
スを持つデータが分散ストレージデバイス内に複数存在
することになるからである。旧エントリに記載されたリ
モートストレージデバイスにデータを転送することが可
能であれば、旧データは新しい書込みデータによって上
書きされ、同一の論理ユニット番号と論理アドレスを持
つデータが分散ストレージデバイス内に複数存在すると
いう状況を避けることができる。図１０と図１１におい
て、もし、旧エントリに記載されたリモートストレージ
デバイスに対応するデータ入力バッファ３８が、他のデ
ータ送信に使用されているなどの理由により使用できな
い場合には、プロセッサ３４は、旧エントリに記載以外
のリモートストレージデバイスに対応するデータ入力バ
ッファ３８を選択する（６０〜６３）。この場合、プロ
セッサは３４データの複重を避けるため、旧エントリに
記載以外リモートストレージデバイスへのデータ転送完
了後に、旧エントリに示されるリモートストレージデバ
イスに対し、旧エントリに示された論理ユニットと論理
アドレスのデータ領域の解放、およびリモート管理テー
ブル４３の解放データ領域に対応するエントリの消去を
命令するコマンドフレーム１８を送信する必要がある
（６８）。
から通知された書込みデータと同一の論理ユニット番号
と論理アドレスを持つエントリ(以降、このエントリを
旧エントリと呼ぶ)がローカル管理テーブル４２に存在
する場合、プロセッサ３４は、データの転送先として、
旧エントリに記載された転送先リモートストレージデバ
イスを優先的に選択する（５６〜５９）。これは、旧エ
ントリに記載以外のリモートストレージデバイスにデー
タを転送すると、同一の論理ユニット番号と論理アドレ
スを持つデータが分散ストレージデバイス内に複数存在
することになるからである。旧エントリに記載されたリ
モートストレージデバイスにデータを転送することが可
能であれば、旧データは新しい書込みデータによって上
書きされ、同一の論理ユニット番号と論理アドレスを持
つデータが分散ストレージデバイス内に複数存在すると
いう状況を避けることができる。図１０と図１１におい
て、もし、旧エントリに記載されたリモートストレージ
デバイスに対応するデータ入力バッファ３８が、他のデ
ータ送信に使用されているなどの理由により使用できな
い場合には、プロセッサ３４は、旧エントリに記載以外
のリモートストレージデバイスに対応するデータ入力バ
ッファ３８を選択する（６０〜６３）。この場合、プロ
セッサは３４データの複重を避けるため、旧エントリに
記載以外リモートストレージデバイスへのデータ転送完
了後に、旧エントリに示されるリモートストレージデバ
イスに対し、旧エントリに示された論理ユニットと論理
アドレスのデータ領域の解放、およびリモート管理テー
ブル４３の解放データ領域に対応するエントリの消去を
命令するコマンドフレーム１８を送信する必要がある
（６８）。
【００３１】送信を行うデータ入力バッファ３８の選択
が完了すると、プロセッサ３４は選択したデータ入力バ
ッファ３８のTCPコネクションの状態を確認し（５０、
６４）、TCPコネクションが設定されていない場合に
は、選択したリモートストレージデバイスとの間で、３
方向ハンドシェークを行い、TCPコネクションを設定す
る（５１、６５）。ローカルストレージデバイスは、TC
Pコネクション設定後、リモートデバイスに対し、デー
タの転送を行う（５３、６７）。図１２に、ストレージ
デバイス１とストレージデバイス２間のデータ書込み手
順の例を示す。以下、ネットワーク４を介して各ストレ
ージデバイス（１〜３）間で送受信される各フレーム
（１８〜２１）は、送信側ストレージデバイスのデータ
入力バッファ３８において、ネットワーク４が許す最大
パケット長に合わせて複数のブロックに分割、レイヤ２
ヘッダ、IPヘッダ、TCPヘッダ等のヘッダを付与され、I
Pパケットとして、ネットワーク４を転送、受信側スト
レージデバイスのデータ出力バッファ４０において、レ
イヤ２ヘッダ、IPヘッダ、TCPヘッダ等を削除され、フ
レームに組み立てられるものとする。また、ネットワー
ク４におけるIPパケットの送受信は、TCPウィンドウに
より制御されるものとする。ストレージデバイス１は、
ストレージデバイス２に対して、書込みコマンドフレー
ム１８を送信する。書込みコマンドフレーム１８を受信
したストレージデバイス２は、キャッシュメモリ１５に
データ受信に必要なバッファ容量を確保し、転送レディ
フレーム１９をストレージデバイス１に返信する。書込
みレディフレーム１９を受信したストレージデバイス１
のプロセッサ３４は、バス制御部３３を介し、ホストイ
ンタフェース１２から指示されたキャッシュメモリ１５
のデータ書込みアドレスから書込みデータ（データフレ
ーム２０）を選択したデータ入力バッファ３８に転送、
ストレージデバイス２に送信する。
が完了すると、プロセッサ３４は選択したデータ入力バ
ッファ３８のTCPコネクションの状態を確認し（５０、
６４）、TCPコネクションが設定されていない場合に
は、選択したリモートストレージデバイスとの間で、３
方向ハンドシェークを行い、TCPコネクションを設定す
る（５１、６５）。ローカルストレージデバイスは、TC
Pコネクション設定後、リモートデバイスに対し、デー
タの転送を行う（５３、６７）。図１２に、ストレージ
デバイス１とストレージデバイス２間のデータ書込み手
順の例を示す。以下、ネットワーク４を介して各ストレ
ージデバイス（１〜３）間で送受信される各フレーム
（１８〜２１）は、送信側ストレージデバイスのデータ
入力バッファ３８において、ネットワーク４が許す最大
パケット長に合わせて複数のブロックに分割、レイヤ２
ヘッダ、IPヘッダ、TCPヘッダ等のヘッダを付与され、I
Pパケットとして、ネットワーク４を転送、受信側スト
レージデバイスのデータ出力バッファ４０において、レ
イヤ２ヘッダ、IPヘッダ、TCPヘッダ等を削除され、フ
レームに組み立てられるものとする。また、ネットワー
ク４におけるIPパケットの送受信は、TCPウィンドウに
より制御されるものとする。ストレージデバイス１は、
ストレージデバイス２に対して、書込みコマンドフレー
ム１８を送信する。書込みコマンドフレーム１８を受信
したストレージデバイス２は、キャッシュメモリ１５に
データ受信に必要なバッファ容量を確保し、転送レディ
フレーム１９をストレージデバイス１に返信する。書込
みレディフレーム１９を受信したストレージデバイス１
のプロセッサ３４は、バス制御部３３を介し、ホストイ
ンタフェース１２から指示されたキャッシュメモリ１５
のデータ書込みアドレスから書込みデータ（データフレ
ーム２０）を選択したデータ入力バッファ３８に転送、
ストレージデバイス２に送信する。
【００３２】ストレージデバイス２は、受信したデータ
フレーム２０を、予め確保したキャッシュメモリ15のバ
ッファ領域に転送、転送レディーフレーム１９をローカ
ルストレージデバイス１に送信して、次のデータの転送
を要求する。もし受信したデータフレーム２０が最終の
データフレーム２０であった場合、または受信エラーが
発生した場合、ストレージデバイス２は、ストレージデ
バイス１に受信ステータスを示したレスポンスフレーム
２１を送信してデータ転送を完了、ホストインタフェー
ス１２から、次のデータ書込み通知がない場合には、TC
Pコネクションを切断する。データフレーム２０のキャ
ッシュメモリ書込み後、ストレージデバイス２のネット
ワークインタフェース１４は、ストレージコントローラ
１３に対し、書込みデータの論理ユニット番号、論理ア
ドレス、転送データ長、およびデータが一時記憶されて
いるキャッシュメモリ領域などを通知する。ストレージ
コントローラ１３は、ネットワークインタフェース１４
の通知を受信すると、論理ユニット番号から物理ユニッ
ト番号への変換、論理アドレスから物理アドレスへのア
ドレス変換、内部バス１６を介してのキャシュメモリ１
５からのデータ読出し等を行い、最後にデータ転送バス
１１を介して記憶媒体１７にデータを書き込む。
フレーム２０を、予め確保したキャッシュメモリ15のバ
ッファ領域に転送、転送レディーフレーム１９をローカ
ルストレージデバイス１に送信して、次のデータの転送
を要求する。もし受信したデータフレーム２０が最終の
データフレーム２０であった場合、または受信エラーが
発生した場合、ストレージデバイス２は、ストレージデ
バイス１に受信ステータスを示したレスポンスフレーム
２１を送信してデータ転送を完了、ホストインタフェー
ス１２から、次のデータ書込み通知がない場合には、TC
Pコネクションを切断する。データフレーム２０のキャ
ッシュメモリ書込み後、ストレージデバイス２のネット
ワークインタフェース１４は、ストレージコントローラ
１３に対し、書込みデータの論理ユニット番号、論理ア
ドレス、転送データ長、およびデータが一時記憶されて
いるキャッシュメモリ領域などを通知する。ストレージ
コントローラ１３は、ネットワークインタフェース１４
の通知を受信すると、論理ユニット番号から物理ユニッ
ト番号への変換、論理アドレスから物理アドレスへのア
ドレス変換、内部バス１６を介してのキャシュメモリ１
５からのデータ読出し等を行い、最後にデータ転送バス
１１を介して記憶媒体１７にデータを書き込む。
【００３３】ストレージデバイス１のネットワークイン
タフェース１４は、ストレージデバイス２へのデータ転
送が完了すると、データを転送したストレージデバイス
２の識別子、書込みデータの論理ユニット番号、論理ア
ドレス、タイムスタンプなどを含むエントリを、メモリ
３５に置かれたローカル管理テーブル４２に記載する。
また、ストレージデバイス２は、データ送信元のストレ
ージデバイス１の識別子、書込みデータの論理ユニット
番号、論理アドレス、タイムスタンプなどを含むエント
リを、リモート管理テーブル４３に記載する。
タフェース１４は、ストレージデバイス２へのデータ転
送が完了すると、データを転送したストレージデバイス
２の識別子、書込みデータの論理ユニット番号、論理ア
ドレス、タイムスタンプなどを含むエントリを、メモリ
３５に置かれたローカル管理テーブル４２に記載する。
また、ストレージデバイス２は、データ送信元のストレ
ージデバイス１の識別子、書込みデータの論理ユニット
番号、論理アドレス、タイムスタンプなどを含むエント
リを、リモート管理テーブル４３に記載する。
【００３４】図６にローカル管理テーブル４２の構成例
を示す。図７にリモート管理テーブル４３の構成例を示
す。
を示す。図７にリモート管理テーブル４３の構成例を示
す。
【００３５】デバイス識別子ＩＤ=1のストレージデバイ
スが、デバイス識別子ID=2のリモートデバイスに論理ユ
ニット番号LUN=1、論理アドレスLA=1、データ長Ｌ＝
２、タイムスタンプTS=0のデータを、デバイス識別子ID
=３のリモートデバイスに論理ユニット番号LUN=1、論理
アドレスLA=3、データ長Ｌ＝3、タイムスタンプTS=1の
データを書き込んだ場合のローカル管理テーブル４２と
リモート管理テーブル４３−１、４３−２の例を示して
いる。
スが、デバイス識別子ID=2のリモートデバイスに論理ユ
ニット番号LUN=1、論理アドレスLA=1、データ長Ｌ＝
２、タイムスタンプTS=0のデータを、デバイス識別子ID
=３のリモートデバイスに論理ユニット番号LUN=1、論理
アドレスLA=3、データ長Ｌ＝3、タイムスタンプTS=1の
データを書き込んだ場合のローカル管理テーブル４２と
リモート管理テーブル４３−１、４３−２の例を示して
いる。
【００３６】以上の動作により、ホスト計算機からスト
レージデバイスに書き込まれたオリジナルデータを、ス
トレージデバイス間の通信コネクションの状態によって
データ転送量を動的に変化させながら、リモートのスト
レージデバイスにレプリカデータとして保存することが
できる。以上の例では、データ転送量制御としてTCPウ
インドウ制御を用いたが、ATM(Asynchronous Transfer
Mode)のABR(AvailableBit Rate)サービスのように、ネ
ットワークの状態を監視するパケットを用いて、各リモ
ートストレージデバイスへのデータの転送量を変化させ
ることも可能である。
レージデバイスに書き込まれたオリジナルデータを、ス
トレージデバイス間の通信コネクションの状態によって
データ転送量を動的に変化させながら、リモートのスト
レージデバイスにレプリカデータとして保存することが
できる。以上の例では、データ転送量制御としてTCPウ
インドウ制御を用いたが、ATM(Asynchronous Transfer
Mode)のABR(AvailableBit Rate)サービスのように、ネ
ットワークの状態を監視するパケットを用いて、各リモ
ートストレージデバイスへのデータの転送量を変化させ
ることも可能である。
【００３７】図１３に、ホスト計算機とストレージデバ
イスとの間のデータ読出し手順の例を示す。ホスト計算
機５からデータ読出しコマンドフレームを受信したスト
レージデバイス１は、読出し要求のあったデータが、キ
ャッシュメモリ１５内に存在するかを検索する。もし、
キャッシュメモリ１５にデータが存在する場合には、ス
トレージデバイス１は、キャッシュメモリ１５からデー
タを読出し、フレームヘッダを付与して、データフレー
ム２０として、ホスト計算機５に送信する。また、キャ
ッシュメモリ１５にデータが存在しない場合には、スト
レージデバイス１は、ストレージコントローラ１３を介
して、記憶媒体１７からデータをキャッシュメモリ１５
に転送、以下同様の手順で、ホスト計算機Ａにデータフ
レーム２０を送信する。ストレージデバイス１は、デー
タフレーム２０の送信が終了すると、ホスト計算機Ａに
対し、データフレーム送信のステータスを記載したレス
ポンスフレーム３２を送信し、データの読出し動作を完
了する。
イスとの間のデータ読出し手順の例を示す。ホスト計算
機５からデータ読出しコマンドフレームを受信したスト
レージデバイス１は、読出し要求のあったデータが、キ
ャッシュメモリ１５内に存在するかを検索する。もし、
キャッシュメモリ１５にデータが存在する場合には、ス
トレージデバイス１は、キャッシュメモリ１５からデー
タを読出し、フレームヘッダを付与して、データフレー
ム２０として、ホスト計算機５に送信する。また、キャ
ッシュメモリ１５にデータが存在しない場合には、スト
レージデバイス１は、ストレージコントローラ１３を介
して、記憶媒体１７からデータをキャッシュメモリ１５
に転送、以下同様の手順で、ホスト計算機Ａにデータフ
レーム２０を送信する。ストレージデバイス１は、デー
タフレーム２０の送信が終了すると、ホスト計算機Ａに
対し、データフレーム送信のステータスを記載したレス
ポンスフレーム３２を送信し、データの読出し動作を完
了する。
【００３８】分散ストレージシステムを構成する各スト
レージデバイス１〜３は、自身が持つ記憶媒体に障害が
発生した、他のストレージデバイスにバックアップして
いたレプリカデータを読み出し、ホスト計算機から障害
記憶媒体に書き込まれたオリジナルデータを復旧すると
同時に、他のストレージデバイスから障害記憶媒体に書
き込まれていたレプリカデータの再バックアップを、他
のストレージデバイスに指示する。
レージデバイス１〜３は、自身が持つ記憶媒体に障害が
発生した、他のストレージデバイスにバックアップして
いたレプリカデータを読み出し、ホスト計算機から障害
記憶媒体に書き込まれたオリジナルデータを復旧すると
同時に、他のストレージデバイスから障害記憶媒体に書
き込まれていたレプリカデータの再バックアップを、他
のストレージデバイスに指示する。
【００３９】図１４に、記憶媒体１７障害が発生したス
トレージデバイス１が、ストレージデバイス２および３
にバックアップしていたレプリカデータを読み出し、障
害記憶媒体１７に書き込まれたオリジナルデータを復旧
する手順を示す。ストレージデバイス１は、ストレージ
コントローラ１３の管理する論理ユニット番号・論理ア
ドレスと物理ユニット番号・物理アドレスとの変換テー
ブルおよびローカル管理テーブルから、障害記憶媒体１
７に書き込まれた各オリジナルデータのバックアップ先
を特定、ストレージデバイス２、３に対して、レプリカ
データの読出しコマンドフレーム１８を送信する。
トレージデバイス１が、ストレージデバイス２および３
にバックアップしていたレプリカデータを読み出し、障
害記憶媒体１７に書き込まれたオリジナルデータを復旧
する手順を示す。ストレージデバイス１は、ストレージ
コントローラ１３の管理する論理ユニット番号・論理ア
ドレスと物理ユニット番号・物理アドレスとの変換テー
ブルおよびローカル管理テーブルから、障害記憶媒体１
７に書き込まれた各オリジナルデータのバックアップ先
を特定、ストレージデバイス２、３に対して、レプリカ
データの読出しコマンドフレーム１８を送信する。
【００４０】レプリカデータの読出しコマンドフレーム
１８を受信したストレージデバイス２、３は、読出し要
求のあったデータが、キャッシュメモリ１５内に存在す
るかを検索する。もし、キャッシュメモリ１５にデータ
が存在する場合には、キャッシュメモリ１５からデータ
を読出し、データフレーム２０として、記憶媒体障害が
発生したストレージデバイス１に送信する。また、キャ
ッシュメモリ１５にデータが存在しない場合には、スト
レージコントローラ１３を介して、記憶媒体１７からデ
ータをキャッシュメモリ１５に転送後、データフレーム
２０として、ストレージデバイス１にデータフレームを
送信する。ストレージデバイス１は、ストレージデバイ
ス２、３から転送されたデータを、キャッシュメモリ１
５およびストレージコントローラ１３経由で、復旧用の
記憶媒体１７に書き込む。
１８を受信したストレージデバイス２、３は、読出し要
求のあったデータが、キャッシュメモリ１５内に存在す
るかを検索する。もし、キャッシュメモリ１５にデータ
が存在する場合には、キャッシュメモリ１５からデータ
を読出し、データフレーム２０として、記憶媒体障害が
発生したストレージデバイス１に送信する。また、キャ
ッシュメモリ１５にデータが存在しない場合には、スト
レージコントローラ１３を介して、記憶媒体１７からデ
ータをキャッシュメモリ１５に転送後、データフレーム
２０として、ストレージデバイス１にデータフレームを
送信する。ストレージデバイス１は、ストレージデバイ
ス２、３から転送されたデータを、キャッシュメモリ１
５およびストレージコントローラ１３経由で、復旧用の
記憶媒体１７に書き込む。
【００４１】ストレージデバイス１は、障害記憶媒体１
７に書き込まれていた全てのオリジナルデータに対し、
以上の手順を繰り返すことにより、障害記憶媒体１７に
書き込まれていたオリジナルデータの復旧を行うことが
できる。また、障害が発生した記憶媒体１７の復旧前
に、ホスト計算機５から障害記憶媒体１７へのデータ読
出しが発生した場合、ストレージデバイス１は、上記と
同様の方法により、リモートストレージ２、３から、読
出し要求があったデータのレプリカを読み出すことが可
能であることは明らかである。
７に書き込まれていた全てのオリジナルデータに対し、
以上の手順を繰り返すことにより、障害記憶媒体１７に
書き込まれていたオリジナルデータの復旧を行うことが
できる。また、障害が発生した記憶媒体１７の復旧前
に、ホスト計算機５から障害記憶媒体１７へのデータ読
出しが発生した場合、ストレージデバイス１は、上記と
同様の方法により、リモートストレージ２、３から、読
出し要求があったデータのレプリカを読み出すことが可
能であることは明らかである。
【００４２】図１５と図１６に、ストレージデバイス２
から、ストレージデバイス１の障害記憶媒体に書き込ま
れていたレプリカデータの再バックアップを手順を示
す。図１５は、ストレージデバイス１からストレージデ
バイス２への障害データテーブルの転送手順の例であ
る。記憶媒体障害が発生したストレージデバイス１は、
ストレージデバイス２から障害記憶媒体１７に書き込ま
れていたレプリカデータの一覧を示す障害データテーブ
ル４４を作成する。図１７に障害データテーブル４４の
例を示す。ストレージデバイス１にレプリカデータを書
き込んでいたストレージデバイス２は、ストレージデバ
イス１に対し、障害記憶媒体に書き込まれていたデータ
の一覧を示す障害データテーブル４４のテーブルサイズ
通知を要求する。ストレージデバイス１は、記憶媒体障
害通知を受信すると、ストレージコントローラ１３が保
持する論理ユニット番号・論理アドレスと物理ユニット
番号・物理アドレスとの変換テーブルおよびリモート管
理テーブル４３から、ストレージデバイス２からストレ
ージデバイス1の障害記憶媒体に書き込まれていたレプ
リカデータの一覧を示す障害データテーブル４４を作成
し、ストレージデバイス２に対して、障害データテーブ
ルのテーブルサイズを記載したデータフレーム３１とレ
スポンスフレーム２１を送信する。障害データテーブル
４４のテーブルサイズを記載したデータフレーム４４を
受信したストレージデバイス２は、ネットワークインタ
フェース１４のメモリ３５に、障害データテーブル書き
込み容量を確保し、ストレージデバイス１に障害データ
テーブル４４の転送要求コマンドフレーム１８を送信す
る。障害データテーブル４４の転送要求コマンドフレー
ム１８を受信したストレージデバイス１は、障害データ
テーブル４４を記載したデータフレーム２０およびレス
ポンスフレーム２１を送信する。障害データテーブル４
４を記載したデータフレーム３１を受信したストレージ
デバイス２は、ネットワークインタフェース１４のメモ
リ３１に、障害データテーブル４４書き込き込む。次
に、ストレージデバイス２は、障害データテーブル４４
のエントリに示された論理ユニット番号と論理アドレス
が示すデータが、キャッシュメモリ３５内にあるかを検
索する。キャッシュメモリ３５にデータが存在する場合
には、キャッシュメモリ３５からデータを読出し、図１
２−２に示すデータ転送手順に従い、ストレージデバイ
ス２のリモートストレージデバイスとなる、ストレージ
デバイス１および３に、データの再バックアップを行
う。また、キャッシュメモリ３５にデータが存在しない
場合、ストレージデバイス２は、ストレージコントロー
ラ１３を介して、データをキャッシュメモリ３５に転送
後、上記手順と同様にして、ストレージデバイス１ある
いは３にデータフレーム３１を送信する。この時、デー
タ転送先となるリモートストレージは、必ずしも記憶媒
体障害が発生したストレージデバイス１である必要はな
い。なお、同様の手段により、ストレージデバイス３か
ら、ストレージデバイス１の障害記憶媒体に書き込まれ
ていたレプリカデータの再バックアップを行うことも可
能であることは明らかである。
から、ストレージデバイス１の障害記憶媒体に書き込ま
れていたレプリカデータの再バックアップを手順を示
す。図１５は、ストレージデバイス１からストレージデ
バイス２への障害データテーブルの転送手順の例であ
る。記憶媒体障害が発生したストレージデバイス１は、
ストレージデバイス２から障害記憶媒体１７に書き込ま
れていたレプリカデータの一覧を示す障害データテーブ
ル４４を作成する。図１７に障害データテーブル４４の
例を示す。ストレージデバイス１にレプリカデータを書
き込んでいたストレージデバイス２は、ストレージデバ
イス１に対し、障害記憶媒体に書き込まれていたデータ
の一覧を示す障害データテーブル４４のテーブルサイズ
通知を要求する。ストレージデバイス１は、記憶媒体障
害通知を受信すると、ストレージコントローラ１３が保
持する論理ユニット番号・論理アドレスと物理ユニット
番号・物理アドレスとの変換テーブルおよびリモート管
理テーブル４３から、ストレージデバイス２からストレ
ージデバイス1の障害記憶媒体に書き込まれていたレプ
リカデータの一覧を示す障害データテーブル４４を作成
し、ストレージデバイス２に対して、障害データテーブ
ルのテーブルサイズを記載したデータフレーム３１とレ
スポンスフレーム２１を送信する。障害データテーブル
４４のテーブルサイズを記載したデータフレーム４４を
受信したストレージデバイス２は、ネットワークインタ
フェース１４のメモリ３５に、障害データテーブル書き
込み容量を確保し、ストレージデバイス１に障害データ
テーブル４４の転送要求コマンドフレーム１８を送信す
る。障害データテーブル４４の転送要求コマンドフレー
ム１８を受信したストレージデバイス１は、障害データ
テーブル４４を記載したデータフレーム２０およびレス
ポンスフレーム２１を送信する。障害データテーブル４
４を記載したデータフレーム３１を受信したストレージ
デバイス２は、ネットワークインタフェース１４のメモ
リ３１に、障害データテーブル４４書き込き込む。次
に、ストレージデバイス２は、障害データテーブル４４
のエントリに示された論理ユニット番号と論理アドレス
が示すデータが、キャッシュメモリ３５内にあるかを検
索する。キャッシュメモリ３５にデータが存在する場合
には、キャッシュメモリ３５からデータを読出し、図１
２−２に示すデータ転送手順に従い、ストレージデバイ
ス２のリモートストレージデバイスとなる、ストレージ
デバイス１および３に、データの再バックアップを行
う。また、キャッシュメモリ３５にデータが存在しない
場合、ストレージデバイス２は、ストレージコントロー
ラ１３を介して、データをキャッシュメモリ３５に転送
後、上記手順と同様にして、ストレージデバイス１ある
いは３にデータフレーム３１を送信する。この時、デー
タ転送先となるリモートストレージは、必ずしも記憶媒
体障害が発生したストレージデバイス１である必要はな
い。なお、同様の手段により、ストレージデバイス３か
ら、ストレージデバイス１の障害記憶媒体に書き込まれ
ていたレプリカデータの再バックアップを行うことも可
能であることは明らかである。
【００４３】分散ストレージシステムを構成する各スト
レージデバイス１〜３は、あるストレージデバイスが障
害により動作を停止した場合、あるいはシステム管理者
から命令があった場合、マスタとして予め登録されてい
るストレージデバイスが、障害ストレージデバイスが他
のストレージデバイスにバックアップしていたレプリカ
データを読み出し、オリジナルデータを復旧する。
レージデバイス１〜３は、あるストレージデバイスが障
害により動作を停止した場合、あるいはシステム管理者
から命令があった場合、マスタとして予め登録されてい
るストレージデバイスが、障害ストレージデバイスが他
のストレージデバイスにバックアップしていたレプリカ
データを読み出し、オリジナルデータを復旧する。
【００４４】図１８と図１９に、ストレージデバイス１
に障害が発生した場合のストレージデバイス２と３の間
の動作の例を示す。ストレージデバイス１に障害が発生
すると、分散ストレージシステムは、予め決められたリ
モートストレージデバイス２をマスタとし、それ以外の
ストレージデバイス（図１４−１、図１４−２ではスト
レージデバイス３のみ）をスレーブとして、オリジナル
データ復旧を行う。マスタのストレージデバイス２は、
ストレージデバイス１の障害通知を受けると、ストレー
ジデバイス１からストレージデバイス２に書き込まれた
レプリカデータの一覧を示す障害データテーブル４４を
リモート管理テーブル４３から作成、スレーブのストレ
ージデバイス３に対しては、ストレージデバイス１から
ストレージデバイス３に書き込まれたレプリカデータの
一覧を示す障害データテーブル４４のテーブルサイズ転
送要求コマンドフレーム１８を送信する。障害データテ
ーブル４４のテーブルサイズ転送要求コマンドフレーム
１８を受信したストレージデバイス３は、ストレージデ
バイス１からストレージデバイス３に書き込まれたレプ
リカデータの一覧を示す障害データテーブル４４をリモ
ート管理テーブル４３から作成し、ストレージデバイス
に２に対して、作成した障害データテーブル４４のサイ
ズを記載したデータフレーム２０とレスポンスフレーム
２１を送信する。ストレージデバイス３から障害データ
テーブル４４のテーブルサイズを記載したデータフレー
ム２０を受信したストレージデバイス２は、ネットワー
クインタフェース１４のメモリ３５に、ストレージデバ
イス３の障害データテーブル４４書込み容量を確保し、
ストレージデバイス３に障害データテーブル４４の転送
要求コマンドフレーム１８を送信する。障害データテー
ブル４４の転送要求コマンドフレーム１８を受信したス
トレージデバイス３は、障害データテーブル４４を記載
したデータフレーム２０およびレスポンスフレーム２１
を送信する。ストレージデバイス３の障害データテーブ
ル４４を記載したデータフレーム２０を受信したストレ
ージデバイス２は、ストレージデバイス２自身が保持す
る障害データテーブル４４とストレージデバイス３から
受信した障害データテーブル４４を合成し、障害ストレ
ージデバイス１が保持していたローカル管理テーブル４
４を再現する。ローカル管理テーブル４４の合成時に、
ストレージデバイス３の障害データテーブル４４とスト
レージデバイス３の障害データテーブル４４に、同一の
論理ユニット番号と論理アドレスを持つエントリが存在
する場合には、両エントリのタイムスタンプを比較し、
よりタイムスタンプが新しいエントリを選択すること
で、データの複重を避けることができる。ストレージデ
バイス３の障害データテーブル４４およびストレージデ
バイス３の障害データテーブル４４に、同一の論理ユニ
ット番号と論理アドレスを持つエントリが存在する状況
は、例えば、ストレージデバイス１が突然停止したた
め、エントリ消去命令コマンドフレーム１８が正常に送
信されなかった場合などに発生する。マスタのストレー
ジデバイス２は、合成したローカル管理テーブル４４を
もとに、図１４−２に示す手順に従って、ストレージデ
バイス３から読出したレプリカデータと、自身が保持す
るレプリカデータから、ストレージデバイス１が保持し
てオリジナルデータを再現する。
に障害が発生した場合のストレージデバイス２と３の間
の動作の例を示す。ストレージデバイス１に障害が発生
すると、分散ストレージシステムは、予め決められたリ
モートストレージデバイス２をマスタとし、それ以外の
ストレージデバイス（図１４−１、図１４−２ではスト
レージデバイス３のみ）をスレーブとして、オリジナル
データ復旧を行う。マスタのストレージデバイス２は、
ストレージデバイス１の障害通知を受けると、ストレー
ジデバイス１からストレージデバイス２に書き込まれた
レプリカデータの一覧を示す障害データテーブル４４を
リモート管理テーブル４３から作成、スレーブのストレ
ージデバイス３に対しては、ストレージデバイス１から
ストレージデバイス３に書き込まれたレプリカデータの
一覧を示す障害データテーブル４４のテーブルサイズ転
送要求コマンドフレーム１８を送信する。障害データテ
ーブル４４のテーブルサイズ転送要求コマンドフレーム
１８を受信したストレージデバイス３は、ストレージデ
バイス１からストレージデバイス３に書き込まれたレプ
リカデータの一覧を示す障害データテーブル４４をリモ
ート管理テーブル４３から作成し、ストレージデバイス
に２に対して、作成した障害データテーブル４４のサイ
ズを記載したデータフレーム２０とレスポンスフレーム
２１を送信する。ストレージデバイス３から障害データ
テーブル４４のテーブルサイズを記載したデータフレー
ム２０を受信したストレージデバイス２は、ネットワー
クインタフェース１４のメモリ３５に、ストレージデバ
イス３の障害データテーブル４４書込み容量を確保し、
ストレージデバイス３に障害データテーブル４４の転送
要求コマンドフレーム１８を送信する。障害データテー
ブル４４の転送要求コマンドフレーム１８を受信したス
トレージデバイス３は、障害データテーブル４４を記載
したデータフレーム２０およびレスポンスフレーム２１
を送信する。ストレージデバイス３の障害データテーブ
ル４４を記載したデータフレーム２０を受信したストレ
ージデバイス２は、ストレージデバイス２自身が保持す
る障害データテーブル４４とストレージデバイス３から
受信した障害データテーブル４４を合成し、障害ストレ
ージデバイス１が保持していたローカル管理テーブル４
４を再現する。ローカル管理テーブル４４の合成時に、
ストレージデバイス３の障害データテーブル４４とスト
レージデバイス３の障害データテーブル４４に、同一の
論理ユニット番号と論理アドレスを持つエントリが存在
する場合には、両エントリのタイムスタンプを比較し、
よりタイムスタンプが新しいエントリを選択すること
で、データの複重を避けることができる。ストレージデ
バイス３の障害データテーブル４４およびストレージデ
バイス３の障害データテーブル４４に、同一の論理ユニ
ット番号と論理アドレスを持つエントリが存在する状況
は、例えば、ストレージデバイス１が突然停止したた
め、エントリ消去命令コマンドフレーム１８が正常に送
信されなかった場合などに発生する。マスタのストレー
ジデバイス２は、合成したローカル管理テーブル４４を
もとに、図１４−２に示す手順に従って、ストレージデ
バイス３から読出したレプリカデータと、自身が保持す
るレプリカデータから、ストレージデバイス１が保持し
てオリジナルデータを再現する。
【００４５】最後に、このオリジナルデータの再現がシ
ステム管理者の命令ではなく、ストレージ障害により発
生している場合、マスタのストレージデバイス２は、自
身が保持していたストレージデバイス１のレプリカデー
タを、図９に示すのと同様の手順に従い、分散ストレー
ジデバイスを構成する各ストレージデバイス（この実施
例では、ストレージデバイス３のみとなる）に再バック
アップする。以上の動作により、ストレージデバイス２
とホスト計算機７は、障害により停止したストレージデ
バイス１とホスト計算機５に変わって、データ処理を再
開することができる。
ステム管理者の命令ではなく、ストレージ障害により発
生している場合、マスタのストレージデバイス２は、自
身が保持していたストレージデバイス１のレプリカデー
タを、図９に示すのと同様の手順に従い、分散ストレー
ジデバイスを構成する各ストレージデバイス（この実施
例では、ストレージデバイス３のみとなる）に再バック
アップする。以上の動作により、ストレージデバイス２
とホスト計算機７は、障害により停止したストレージデ
バイス１とホスト計算機５に変わって、データ処理を再
開することができる。
【００４６】
【発明の効果】本発明によれば、高速なデータのバック
アップおよび高速なデータ復旧が可能となる。
アップおよび高速なデータ復旧が可能となる。
【図１】分散ストレージシステムの構成図。
【図２】ストレージデバイスのブロック図。
【図３】ホスト計算機からストレージデバイスへのデー
タ書き込み手順の流れ図。
タ書き込み手順の流れ図。
【図４】データ転送に使用されるフレーム構成図。
【図５】ネットワークインターフェースの構成図。
【図６】ローカル管理テーブルの表図。
【図７】リモート管理テーブルの表図。
【図８】データ書き込み時のローカルインターフェース
動作連を示すフローチャート（その１）。
動作連を示すフローチャート（その１）。
【図９】データ書き込み時のローカルインターフェース
動作連を示すフローチャート（その２）。
動作連を示すフローチャート（その２）。
【図１０】データ書き込み時のローカルインターフェー
ス動作連を示すフローチャート（その３）。
ス動作連を示すフローチャート（その３）。
【図１１】データ書き込み時のローカルインターフェー
ス動作連を示すフローチャート（その４）。
ス動作連を示すフローチャート（その４）。
【図１２】ローカルデバイスからリモートデバイスへの
データ転送の動作の流れ図。
データ転送の動作の流れ図。
【図１３】ホスト計算機からストレージデバイスへのデ
ータ転送の動作の流れ図。
ータ転送の動作の流れ図。
【図１４】記憶媒体障害時のオリジナルデータ復旧の動
作例。
作例。
【図１５】記憶媒体障害時のレプリカデータ再バックア
ップにおける障害データテーブル転送の動作流れ図。
ップにおける障害データテーブル転送の動作流れ図。
【図１６】記憶媒体障害時のレプリカデータ再バックア
ップにおけるデータ転送の動作流れ図。
ップにおけるデータ転送の動作流れ図。
【図１７】障害データテーブルの構成図。
【図１８】ストレージデバイス障害時のオリジナルデー
タ復旧動作における障害データテーブル転送動作流れ
図。
タ復旧動作における障害データテーブル転送動作流れ
図。
【図１９】ストレージデバイス障害時のオリジナルデー
タ復旧動作におけるデータ転送動作流れ図。
タ復旧動作におけるデータ転送動作流れ図。
─────────────────────────────────────────────────────
フロントページの続き
(51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考）
Ｇ０６Ｆ 15/177 ６７８ Ｇ０６Ｆ 15/177 ６７８Ｂ
Ｆターム(参考） 5B018 GA04 HA04 MA12
5B045 BB29 DD15 JJ02 JJ17 JJ32
5B065 BA01 CA19 CE02 CE12 EA23
EA34
5B082 DE06
Claims (20)
- 【請求項１】ネットワークを介してホスト計算機と複数
のストレージ装置を接続してなる分散ストレージシステ
ムにおいて、 上記ネットワークの通信コネクションの状態に応じて、
上記ホストからアクセスするストレージ装置を動的に選
択することを特徴とする分散ストレージシステム。 - 【請求項２】上記ホスト計算機は該ホスト計算機と組を
なすストレージ装置を有し、上記複数のストレージ装置
もそれぞれが該ストレージ装置と組をなすホスト計算機
を有することを特徴とする請求項１記載の分散ストレー
ジシステム。 - 【請求項３】上記ストレージ装置は、データを記録する
記憶装置と、上記組をなすホスト計算機に接続されるホ
ストインターフェイスと、上記ネットワークに接続され
るネットワークインターフェイスと、上記記憶装置を制
御するストレージコントローラと、上記ホストインター
フェイス、ネットワークインターフェイス、および、ス
トレージコントローラを接続するバスを有することを特
徴とする請求項２記載の分散ストレージシステム。 - 【請求項４】上記ネットワークインタフェースは、上記
ネットワークを介して接続される他のストレージ装置と
の通信コネクションの制御を行うプロセッサ、上記他の
ストレージデバイスへ転送したデータを管理するローカ
ル管理テーブルと、上記他のストレージデバイスから転
送されたデータを管理するためのリモート管理テーブル
を持つメモリ、上記他のストレージ装置にデータを送信
するフレーム送信部、上記他のストレージ装置からデー
タを受信するフレーム受信部を有することを特徴とする
請求項３記載の分散ストレージシステム。 - 【請求項５】ネットワークの状態を監視するパケットを
用いて、上記ネットワークの通信コネクションの状態を
識別することを特徴とする請求項４記載の分散ストレー
ジシステム。 - 【請求項６】.上記メモリは、さらに障害発生時に障害
データの復旧に使用する障害データテーブル持つことを
特徴とする請求項４記載の分散ストレージシステム。 - 【請求項７】上記フレーム送信部は、上記他のストレー
ジ装置との通信コネクション毎に分けられたデータフレ
ーム送信用のデータ入力バッファを有することを特徴と
する請求項６記載の分散ストレージシステム。 - 【請求項８】上記プロセッサが、上記データ入力バッフ
ァの状態に基づいて、上記ネットワークの通信コネクシ
ョンの状態を識別することを特徴とする請求項７記載の
分散ストレージシステム。 - 【請求項９】上記フレーム送信部は、さらに、制御用フ
レーム送信用のコマンド入力バッファを持つことを特徴
とする請求項８記載の分散ストレージシステム。 - 【請求項１０】ネットワークを介して他のストレージ装
置と接続され、互いにアクセス可能なストレージ装置で
あって、 上記ネットワークの通信コネクションの状態に応じて、
上記アクセスする他のストレージ装置を動的に選択する
ことを特徴とするストレージ装置。 - 【請求項１１】上記ストレージ装置は、データを記録す
る記憶装置と、ホスト計算機に接続されるホストインタ
ーフェイスと、上記ネットワークに接続されるネットワ
ークインターフェイスと、上記記憶装置を制御するスト
レージコントローラと、上記ホストインターフェイス、
ネットワークインターフェイス、および、ストレージコ
ントローラを接続するバスを有することを特徴とする請
求項１０記載のストレージ装置。 - 【請求項１２】上記ネットワークインタフェースは、上
記ネットワークを介して接続される他のストレージ装置
との通信コネクションの制御を行うプロセッサ、上記他
のストレージデバイスへ転送したデータを管理するロー
カル管理テーブルと、上記他のストレージデバイスから
転送されたデータを管理するためのリモート管理テーブ
ルを持つメモリ、上記他のストレージ装置にデータを送
信するフレーム送信部、上記他のストレージ装置からデ
ータを受信するフレーム受信部を有することを特徴とす
る請求項１１記載のストレージ装置。 - 【請求項１３】ネットワークの状態を監視するパケット
を用いて、上記ネットワークの通信コネクションの状態
を識別することを特徴とする請求項１２記載のストレー
ジ装置。 - 【請求項１４】.上記メモリは、さらに障害発生時に障
害データの復旧に使用する障害データテーブル持つこと
を特徴とする請求項１３記載のストレージ装置。 - 【請求項１５】上記フレーム送信部は、上記他のストレ
ージ装置との通信コネクション毎に分けられたデータフ
レーム送信用のデータ入力バッファを有することを特徴
とする請求項１４記載のストレージ装置。 - 【請求項１６】上記プロセッサが、上記データ入力バッ
ファの状態に基づいて、上記ネットワークの通信コネク
ションの状態を識別することを特徴とする請求項１５記
載のストレージ装置。 - 【請求項１７】上記フレーム送信部は、さらに、制御用
フレーム送信用のコマンド入力バッファを持つことを特
徴とする請求項１６記載のストレージ装置。 - 【請求項１８】ネットワークを介して複数のストレージ
装置を互いに接続し、あるストレージ装置のデータのコ
ピーを、他の複数のストレージ装置に作成するデータの
コピー方法であって、 上記ネットワークの通信コネクションの状態に応じて、
上記あるストレージ装置からコピーを作成するためにア
クセスするストレージ装置を動的に選択することを特徴
とするデータのコピー方法。 - 【請求項１９】ネットワークの状態を監視するパケット
を用いて、上記ネットワークの通信コネクションの状態
を識別することを特徴とする請求項１８記載のデータの
コピー方法。 - 【請求項２０】上記ストレージ装置は、上記他のストレ
ージ装置との通信コネクション毎に分けられたデータフ
レーム送信用のデータ入力バッファを有し、該データ入
力バッファの状態に基づいて、上記ネットワークの通信
コネクションの状態を識別することを特徴とする請求項
１８記載のデータのコピー方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002002937A JP4434543B2 (ja) | 2002-01-10 | 2002-01-10 | 分散ストレージシステム、ストレージ装置、およびデータのコピー方法 |
| US10/194,316 US7424519B2 (en) | 2002-01-10 | 2002-07-15 | Distributed storage system, storage device and method of copying data |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002002937A JP4434543B2 (ja) | 2002-01-10 | 2002-01-10 | 分散ストレージシステム、ストレージ装置、およびデータのコピー方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2003208268A true JP2003208268A (ja) | 2003-07-25 |
| JP2003208268A5 JP2003208268A5 (ja) | 2005-07-28 |
| JP4434543B2 JP4434543B2 (ja) | 2010-03-17 |
Family
ID=19190810
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002002937A Expired - Fee Related JP4434543B2 (ja) | 2002-01-10 | 2002-01-10 | 分散ストレージシステム、ストレージ装置、およびデータのコピー方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7424519B2 (ja) |
| JP (1) | JP4434543B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007511844A (ja) * | 2003-11-20 | 2007-05-10 | インターナショナル・ビジネス・マシーンズ・コーポレーション | Ｐｐｒｃ書き込みオペレーションの応答時間削減 |
| JP2007535763A (ja) * | 2004-04-30 | 2007-12-06 | イーエムシー コーポレイション | ストレージ・エリア・ネットワークにおけるオンライン初期ミラー同期化およびミラー同期化検証 |
| JP2017157152A (ja) * | 2016-03-04 | 2017-09-07 | 日本電気株式会社 | ストレージ制御装置、ストレージシステム、ストレージ制御方法、および、プログラム |
Families Citing this family (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI282053B (en) * | 2002-06-19 | 2007-06-01 | Quanta Comp Inc | Data reading/writing method by calling for service routine of basic input/output system |
| US7103727B2 (en) | 2002-07-30 | 2006-09-05 | Hitachi, Ltd. | Storage system for multi-site remote copy |
| JP4452438B2 (ja) * | 2002-11-11 | 2010-04-21 | 株式会社日立製作所 | 記憶システム |
| US7382788B2 (en) * | 2002-12-24 | 2008-06-03 | Applied Micro Circuit Corporation | Method and apparatus for implementing a data frame processing model |
| JP2005108098A (ja) * | 2003-10-01 | 2005-04-21 | Hitachi Ltd | データｉ／ｏ装置及びデータｉ／ｏ装置の制御方法 |
| US7475134B2 (en) * | 2003-10-14 | 2009-01-06 | International Business Machines Corporation | Remote activity monitoring |
| JP4489455B2 (ja) * | 2004-02-16 | 2010-06-23 | 株式会社日立製作所 | ディスク制御装置及びディスク制御装置の制御方法 |
| WO2005101241A2 (en) * | 2004-04-13 | 2005-10-27 | Alon Tavori | Method for depositing and retrieving digital records |
| US7827144B1 (en) * | 2005-11-17 | 2010-11-02 | Hewlett-Packard Development Company, L.P. | Methods of reading and writing data |
| US8595313B2 (en) * | 2005-11-29 | 2013-11-26 | Netapp. Inc. | Systems and method for simple scale-out storage clusters |
| US8156174B2 (en) | 2007-04-13 | 2012-04-10 | Platform Computing Corporation | Method and system for information exchange utilizing an asynchronous persistent store protocol |
| JP2008305073A (ja) * | 2007-06-06 | 2008-12-18 | Hitachi Ltd | ファイル共有システム及びファイル共有装置の起動方法 |
| US8949614B1 (en) * | 2008-04-18 | 2015-02-03 | Netapp, Inc. | Highly efficient guarantee of data consistency |
| US8015343B2 (en) * | 2008-08-08 | 2011-09-06 | Amazon Technologies, Inc. | Providing executing programs with reliable access to non-local block data storage |
| US9727473B2 (en) * | 2008-09-30 | 2017-08-08 | Intel Corporation | Methods to communicate a timestamp to a storage system |
| TWI414942B (zh) * | 2009-02-05 | 2013-11-11 | Htc Corp | 資料儲存裝置及其操作方法 |
| US9454325B2 (en) * | 2009-11-04 | 2016-09-27 | Broadcom Corporation | Method and system for offline data access on computer systems |
| US8903906B2 (en) * | 2010-03-16 | 2014-12-02 | Brother Kogyo Kabushiki Kaisha | Information communications system, node device, method of communicating contents, computer readable recording medium storing a program |
| US11449394B2 (en) | 2010-06-04 | 2022-09-20 | Commvault Systems, Inc. | Failover systems and methods for performing backup operations, including heterogeneous indexing and load balancing of backup and indexing resources |
| US8504526B2 (en) | 2010-06-04 | 2013-08-06 | Commvault Systems, Inc. | Failover systems and methods for performing backup operations |
| FR2961924A1 (fr) * | 2010-06-29 | 2011-12-30 | France Telecom | Gestion du lieu de stockage de donnees dans un systeme de stockage distribue |
| CN103827723B (zh) | 2011-01-10 | 2016-03-02 | 斯托尔万有限公司 | 大规模存储系统 |
| US8738583B2 (en) * | 2011-02-09 | 2014-05-27 | Cisco Technology, Inc. | Efficiently delivering event messages using compiled indexing and paginated reporting |
| WO2014002094A2 (en) | 2012-06-25 | 2014-01-03 | Storone Ltd. | System and method for datacenters disaster recovery |
| EP2976711A4 (en) | 2013-03-21 | 2016-09-14 | Storone Ltd | DEPLOYING EXTENSION MODULES RELATING TO A DATA PATH |
| US9483361B2 (en) | 2013-05-08 | 2016-11-01 | Commvault Systems, Inc. | Information management cell with failover management capability |
| US10019203B1 (en) * | 2013-05-30 | 2018-07-10 | Cavium, Inc. | Method and system for processing write requests |
| US9563518B2 (en) * | 2014-04-02 | 2017-02-07 | Commvault Systems, Inc. | Information management by a media agent in the absence of communications with a storage manager |
| US10365848B2 (en) * | 2015-12-02 | 2019-07-30 | Netapp, Inc. | Space reservation for distributed storage systems |
| US10417102B2 (en) | 2016-09-30 | 2019-09-17 | Commvault Systems, Inc. | Heartbeat monitoring of virtual machines for initiating failover operations in a data storage management system, including virtual machine distribution logic |
| JP6930506B2 (ja) * | 2018-08-08 | 2021-09-01 | 株式会社Ｊｖｃケンウッド | データ記録送信装置、データ記録送信方法、及びデータ記録送信プログラム |
| US11200124B2 (en) | 2018-12-06 | 2021-12-14 | Commvault Systems, Inc. | Assigning backup resources based on failover of partnered data storage servers in a data storage management system |
| US11099956B1 (en) | 2020-03-26 | 2021-08-24 | Commvault Systems, Inc. | Snapshot-based disaster recovery orchestration of virtual machine failover and failback operations |
| US11645175B2 (en) | 2021-02-12 | 2023-05-09 | Commvault Systems, Inc. | Automatic failover of a storage manager |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5680640A (en) * | 1995-09-01 | 1997-10-21 | Emc Corporation | System for migrating data by selecting a first or second transfer means based on the status of a data element map initialized to a predetermined state |
| US6101497A (en) * | 1996-05-31 | 2000-08-08 | Emc Corporation | Method and apparatus for independent and simultaneous access to a common data set |
| US6886035B2 (en) * | 1996-08-02 | 2005-04-26 | Hewlett-Packard Development Company, L.P. | Dynamic load balancing of a network of client and server computer |
| US5966730A (en) * | 1996-10-30 | 1999-10-12 | Dantz Development Corporation | Backup system for computer network incorporating opportunistic backup by prioritizing least recently backed up computer or computer storage medium |
| US6108300A (en) * | 1997-05-02 | 2000-08-22 | Cisco Technology, Inc | Method and apparatus for transparently providing a failover network device |
| JPH1124846A (ja) | 1997-07-03 | 1999-01-29 | Hitachi Ltd | ネットワークを利用したバックアップシステム |
| US7165152B2 (en) * | 1998-06-30 | 2007-01-16 | Emc Corporation | Method and apparatus for managing access to storage devices in a storage system with access control |
| US6845395B1 (en) * | 1999-06-30 | 2005-01-18 | Emc Corporation | Method and apparatus for identifying network devices on a storage network |
| US6810396B1 (en) * | 2000-03-09 | 2004-10-26 | Emc Corporation | Managed access of a backup storage system coupled to a network |
| US7031986B2 (en) * | 2000-06-27 | 2006-04-18 | Fujitsu Limited | Database system with backup and recovery mechanisms |
| US6785678B2 (en) * | 2000-12-21 | 2004-08-31 | Emc Corporation | Method of improving the availability of a computer clustering system through the use of a network medium link state function |
| US6871296B2 (en) * | 2000-12-29 | 2005-03-22 | International Business Machines Corporation | Highly available TCP systems with fail over connections |
| US20020176430A1 (en) * | 2001-01-25 | 2002-11-28 | Sangha Onkar S. | Buffer management for communication systems |
| US6957279B2 (en) * | 2001-04-30 | 2005-10-18 | Lsi Logic Corporation | Selectable logical identifier mapping |
| IL159582A0 (en) * | 2001-07-06 | 2004-06-01 | Computer Ass Think Inc | Systems and methods of information backup |
| JP4113352B2 (ja) * | 2001-10-31 | 2008-07-09 | 株式会社日立製作所 | ストレージ・ネットワークにおけるストレージ・リソース運用管理方法 |
| US7085819B2 (en) * | 2001-12-20 | 2006-08-01 | Sigma Storage | System and method for distributed network data storage |
| US7197571B2 (en) * | 2001-12-29 | 2007-03-27 | International Business Machines Corporation | System and method for improving backup performance of media and dynamic ready to transfer control mechanism |
-
2002
- 2002-01-10 JP JP2002002937A patent/JP4434543B2/ja not_active Expired - Fee Related
- 2002-07-15 US US10/194,316 patent/US7424519B2/en not_active Expired - Fee Related
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007511844A (ja) * | 2003-11-20 | 2007-05-10 | インターナショナル・ビジネス・マシーンズ・コーポレーション | Ｐｐｒｃ書き込みオペレーションの応答時間削減 |
| JP2007535763A (ja) * | 2004-04-30 | 2007-12-06 | イーエムシー コーポレイション | ストレージ・エリア・ネットワークにおけるオンライン初期ミラー同期化およびミラー同期化検証 |
| JP2017157152A (ja) * | 2016-03-04 | 2017-09-07 | 日本電気株式会社 | ストレージ制御装置、ストレージシステム、ストレージ制御方法、および、プログラム |
| US10620869B2 (en) | 2016-03-04 | 2020-04-14 | Nec Corporation | Storage control device, storage control method, and recording medium |
Also Published As
| Publication number | Publication date |
|---|---|
| US7424519B2 (en) | 2008-09-09 |
| US20030131068A1 (en) | 2003-07-10 |
| JP4434543B2 (ja) | 2010-03-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4434543B2 (ja) | 分散ストレージシステム、ストレージ装置、およびデータのコピー方法 | |
| US6345368B1 (en) | Fault-tolerant access to storage arrays using active and quiescent storage controllers | |
| CN100403300C (zh) | 镜像网络数据以建立虚拟存储区域网络 | |
| EP1796004B1 (en) | Storage system and data processing system | |
| US9058305B2 (en) | Remote copy method and remote copy system | |
| US7444541B2 (en) | Failover and failback of write cache data in dual active controllers | |
| US6763436B2 (en) | Redundant data storage and data recovery system | |
| US7673173B2 (en) | System and program for transmitting input/output requests from a first controller to a second controller | |
| KR101055918B1 (ko) | 패일오버에 따른 캐시 데이터의 보존 | |
| CN101755257B (zh) | 管理在不同的网络上将写入从首要存储器拷贝到次要存储器 | |
| US7607034B2 (en) | Data storage system and control method thereof | |
| US20050193238A1 (en) | System and method for providing automatic data restoration after a storage device failure | |
| US20090144345A1 (en) | System and article of manufacture for consistent copying of storage volumes | |
| US7987154B2 (en) | System, a method and a device for updating a data set through a communication network | |
| JP2006227964A (ja) | ストレージシステム、処理方法及びプログラム | |
| US6029231A (en) | Retrieval of data stored on redundant disks across a network using remote procedure calls | |
| JPH08212095A (ja) | クライアントサーバ制御システム | |
| WO2005010766A1 (ja) | データ格納システム | |
| JP4080970B2 (ja) | パス切替えを提供するスイッチ | |
| US20030204539A1 (en) | Facility protection utilizing fault tolerant storage controllers | |
| JP2011253400A (ja) | 分散ミラードディスクシステム、コンピュータ装置、ミラーリング方法およびそのプログラム | |
| JP2004272884A (ja) | 複数リモートストレージでのリモートコピー停止後のデータ同期化方式 | |
| JP2004272884A5 (ja) |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041215 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041215 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20060419 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071017 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071030 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071226 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20071226 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080118 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080903 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081104 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20090209 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090929 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091125 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091217 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091222 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130108 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |