JP2006260292A - リモートコピー方法及びストレージシステム - Google Patents

リモートコピー方法及びストレージシステム Download PDF

Info

Publication number
JP2006260292A
JP2006260292A JP2005078014A JP2005078014A JP2006260292A JP 2006260292 A JP2006260292 A JP 2006260292A JP 2005078014 A JP2005078014 A JP 2005078014A JP 2005078014 A JP2005078014 A JP 2005078014A JP 2006260292 A JP2006260292 A JP 2006260292A
Authority
JP
Japan
Prior art keywords
buffer
data
recording
copy
storage device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005078014A
Other languages
English (en)
Other versions
JP4355674B2 (ja
Inventor
Hiroshi Furukawa
博司 古川
Hiroshi Okamoto
博 岡本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2005078014A priority Critical patent/JP4355674B2/ja
Priority to US11/184,870 priority patent/US7971011B2/en
Priority to CNB2005100919182A priority patent/CN100437497C/zh
Priority to KR1020050074515A priority patent/KR100705377B1/ko
Publication of JP2006260292A publication Critical patent/JP2006260292A/ja
Application granted granted Critical
Publication of JP4355674B2 publication Critical patent/JP4355674B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2064Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring while ensuring consistency
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2069Management of state, configuration or failover
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2071Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring using a plurality of controllers
    • G06F11/2074Asynchronous techniques

Abstract

【課題】 本発明は、リモートコピー方法及びストレージシステムに関し、順序性保証に対する要望、コピー元のシーケンシャルライト性能の問題及び転送効率の問題のうち少なくとも1つを解決することを目的とする。
【解決手段】 第1の記憶装置内のデータをネットワークを介して第2の記憶装置内へコピーするリモートコピー方法において、第1の記憶装置内において第1の記録媒体のデータを第1の記録専用バッファに格納し、第1の記憶装置内において第1の記録専用バッファがフルになるか、或いは、データの格納から一定時間が経過すると第1の記録専用バッファ内のデータをまとめて第2の記憶装置へ送信し、第2の記憶装置内において受信したデータを第2の記録専用バッファに格納し、第2の記憶装置内においてデータの受信を完了すると第2の記録専用バッファ内のデータをまとめてコピー先の第2の記録媒体へ展開するように構成する。
【選択図】 図2

Description

本発明は、リモートコピー方法及びストレージシステムに係り、特に順序性保証のある非同期コピーを行うリモートコピー方法及びそのようなリモートコピー方法を採用するストレージシステムに関する。
ストレージシステムには通常キャッシュメモリが搭載されているが、このキャッシュメモリの実現方法としては、大きく分けて二つの方法がある。一つはキャッシュメモリを全てのコントローラモジュールで共有する方式であり、もう一つはコントローラモジュール毎にキャッシュメモリを分散して保持する方式である。本発明は、後者のアーキテクチャを採用したストレージシステムにおけるものである。
分散キャッシュメモリ型のストレージシステムは、論理ボリュームのデータのリード・ライト処理をコントローラモジュール毎に分散して実行できるため、ハードウエアの負荷が分散できスケーラビリティに優れるという特徴がある。ただし、コントローラモジュール間で連携が必要な処理では、コントローラモジュールの通信しなければならないため、制御が複雑になるというデメリットがある。
1.1 リモートコピー順序性保証
データベースシステム等のストレージシステムは、ディスクドライブ等の記録媒体への書き込み順序を自ら制御することによって、例えばサーバのオペレーティングシステム(OS)がクラッシュする等してディスクへの書き込みが突然停止してしまうような状況が発生しても、データベース内のファイルを復元することができるリカバリ機能を備えている。リモートコピーを利用したデータベースのミラーリングでは、何らかの理由により突然コピー動作が停止しても、コピー先のディスクの状態はデータベースが突然書き込みを停止したのと同じ状態にあるため、ストレージシステムのリカバリ機能を使用してコピー先でデータベースのファイルを復元することができる。
一般的なストレージシステムでは、データベースのファイルはストレージシステムの性能や信頼性を向上するために、複数のディスクにデータを記録することが多く、これはデータベースのミラーリングを行う場合も同様である。従って、ストレージシステムのストレージのコピー機能には、全てのデータベースのファイルのコピーにおいて書き込み順序と同じ順序でコピー行うことが要求される。
同期コピーモードであれば、書き込みと同期してコピーが行われるため、上記要求は満たされる。しかし、遠隔地間でミラーリングを行う場合は、伝送路の遅延の影響を受ける同期コピーモードを使用することには問題があるので、遅延の影響を受けにくい非同期コピーモードを使用する必要がある。
しかし、従来のストレージシステムにおける非同期コピーモードは、1つのコピーセッションでしか順序性保証がされていなかった。このため、データベースのミラーリングを行うためには、転送が必要なデータベースのファイルの全てを無理やり1つのディスクに格納する必要があるという問題があった。そこで、複数のディスク間(コピーセッション間)で順序性保証を行ってコピーできるようにするという要望があった。
1.2 コピー元のシーケンシャルライト性能
他方、従来のストレージシステムでは、ホスト装置からのライトの単位でコピー先へデータ転送を行う。ここで問題となるのは、ホスト装置からのライト処理とコピー処理が排他的に行われる必要があるため、同期モードのような振る舞いをしてしまうことである。図1は、この場合のストレージシステムのライト処理及びコピー処理の概略を説明する図である。同図中、外側の太い実線はキャッシュメモリが管理する最小単位(例えば、64KB)のメモリを示し、内側の細い実線は64KBの領域を分割して64KB以下のサイズでライトアクセスされていることを示す。縦向きの矢印はライト処理を表現し、横向きの矢印はコピー処理を表現している。
シーケンシャルライト性能に問題が発生しない状態では、図1に示すようにライト処理(1),(2)、即ち、ライト(1)と応答(2)は、即時に完了可能である。コピー処理(3),(5)のコピー(3)は、ライト処理(1),(2)を完了した後に行われる。このコピー処理(3),(5)のコピー(3)の直後にライト処理(4),(6)のライト(4)が発生すると、ライト処理(4),(6)の応答(6)は、先行するライト処理(1),(2)に対するコピー処理(3),(5)が行われているため、排他待ちをする必要がある。このため、ライト処理(4),(6)の応答(6)は、コピー処理(3),(5)の応答(5)が来るまで待たされる。結果的には、ライト処理中にコピー処理の時間が加算されるため、シーケンシャルライト性能は最悪の場合には同期コピーと同じ性能になってしまう。
尚、このシーケンシャルライト性能のみを問題とするのであれば、例えばコピー処理(3),(5)のコピー(3)をライト処理(4),(6)の後に行うといったコピー処理を意図的に遅らせる対処方法等が考えられるが、例えばライト処理(1),(2)のライト(1)と同じ領域をアクセスするライト処理に対応しようとすると、基本的には書き込まれたデータを別の場所へ退避させない限り排他制御を行わないようにすることは不可能である。
1.3 転送効率
従来のストレージシステムでは、ライト処理の単位でコピー処理を行っているため、例えば8KBのライト処理であれば8KBでコピー処理が行われる。このようなコピー処理は、伝送路のレイテンシが小さい場合には問題とならないが、例えば日本とイギリス間のように片道で約300msecの遅延がある伝送路を用いる場合、8KBの転送に約1.2secかかることになる。これは、スループットにすると、約6.5KB/secに相当する。従って、ライト処理の単位でコピー処理を行うストレージシステムでは、転送スループットで例えば100MB/secを実現しようとすると、16,000個程度のコピー処理を管理しなくてはならなくなり、ストレージシステム内の資源管理上破綻を来す。このような問題は、現在のストレージシステムの使用環境ではまだ問題になっていないが、今後長距離の接続をサポートしようとした場合には難しくなると予想される。
特開2003−167684号公報
上記の如く、従来のストレージシステムでは、複数のディスク間(コピーセッション間)で順序性保証を行ってコピーできるようにするという順序性保証に対する要望があった。
しかしながら、分散キャッシュメモリ型のストレージシステムにおいて、この要望を満たそうとすると、順序性保証を行うためにライト処理毎にコントローラモジュール間で通信を行う必要があるため、オーバヘッドが大きくなってしまうという問題があった。又、特定のコントローラモジュールで順序を管理するため、そのコントローラモジュールに負荷が集中してしまうという問題もあった。
又、従来のストレージシステムでは、ホスト装置からのライトの単位でコピー先へデータ転送を行うため、結果的には、ライト処理中にコピー処理の時間が加算され、シーケンシャルライト性能が最悪の場合には同期コピーと同じ性能になってしまうというコピー元のシーケンシャルライト性能の問題があった。
更に、ライト処理の単位でコピー処理を行うストレージシステムでは、転送スループットで例えば100MB/secを実現しようとすると、16,000個程度のコピー処理を管理しなくてはならなくなり、ストレージシステム内の資源管理上破綻を来し、今後長距離の接続をサポートしようとした場合に難しくなるという転送効率の問題があった。
そこで、本発明は、上記の問題を解決するリモートコピー方法及びストレージシステムを提供することを概括的目的とする。
本発明のより具体的な目的は、上記順序性保証に対する要望(分散キャッシュメモリ型のストレージシステムのスケーラビリティの優位性を維持しつつ、順序性保証のあるリモートコピーを行う)、コピー元のシーケンシャルライト性能の問題及び転送効率の問題のうち少なくとも1つを解決可能なリモートコピー方法及びストレージシステムを提供することにある。
上記の課題は、第1の記憶装置内のデータをネットワークを介して第2の記憶装置内へコピーするリモートコピー方法であって、該第1の記憶装置内において、第1の記録媒体のデータを第1の記録専用バッファに格納し、該第1の記憶装置内において、該第1の記録専用バッファがフルになるか、或いは、データの格納から一定時間が経過すると、該第1の記録専用バッファ内のデータをまとめて該第2の記憶装置へ送信し、該第2の記憶装置内において、受信したデータを第2の記録専用バッファに格納し、該第2の記憶装置内において、データの受信を完了すると、該第2の記録専用バッファ内のデータをまとめてコピー先の第2の記録媒体へ展開することを特徴とするリモートコピー方法によって達成できる。
上記の課題は、第1の制御モジュールと、第1の記録媒体と第1の記録専用バッファを備えた第1の記憶装置と、該第1の記憶装置とネットワークを介して接続可能であり、第2の制御モジュールと、第2の記録媒体と第2の記録専用バッファを備えた第2の記憶装置とを備え、該第1の記憶装置内のデータを該ネットワークを介して該第2の記憶装置内へコピーするリモートコピーを行うストレージシステムであって、該第1の制御モジュールは、第1の記録媒体のデータを第1の記録専用バッファに格納し、該第1の記録専用バッファがフルになるか、或いは、データの格納から一定時間が経過すると、該第1の記録専用バッファ内のデータをまとめて該第2の記憶装置へ送信し、該第2の制御モジュールは、受信したデータを第2の記録専用バッファに格納し、データの受信を完了すると、該第2の記録専用バッファ内のデータをまとめてコピー先の第2の記録媒体へ展開することを特徴とするストレージシステムによっても達成できる。
本発明によれば、上記順序性保証に対する要望(分散キャッシュメモリ型のストレージシステムのスケーラビリティの優位性を維持しつつ、順序性保証のあるリモートコピーを行う)、コピー元のシーケンシャルライト性能の問題及び転送効率の問題のうち少なくとも1つを解決可能なリモートコピー方法及びストレージシステムを実現することができる。
本発明では、分散キャッシュメモリ型のストレージシステムのスケーラビリティの優位性を維持しつつ、順序性保証のあるリモートコピー行うために、以下のようなリモートコピーを行う。
先ず、各コントローラモジュール毎にコピーするデータを格納するバッファを用意する。ライトされたデータを直接バッファに格納せずに、どの領域にライトされたかだけを示す情報を保持しておく。ライトが完了した後に任意のタイミングでディスク等の記録媒体からデータを読み出してバッファへ格納する。いずれかのコントローラモジュールでバッファがフルになるか、最初の格納から一定時間が経過した場合に、全てのコントローラモジュールへの格納を同時に一旦停止して、コピーするデータの固まりを確定させる。データの固まりの確定後に、全てのコントローラモジュールでバッファを切り替えて夫々新しいバッファへの格納処理を継続する。確定されたデータの固まりは、コピー先へ転送される。コピー先では、コピー元で作成された前のデータの固まりを全て受信した後にデータの展開を行う。この処理は、コピー処理が継続不可能となるような致命的な異常以外では中断されることがないようにしておく。このような処理を行うことにより、全てのコントローラモジュールへの格納が同時に停止される時点で、データの順序性保証が実現されることになる。又、ライト毎にコントローラモジュール間の通信を行うことなく、順序性保証されたリモートコピーを達成することができる。
以下に、本発明になるリモートコピー方法及びストレージシステムの各実施例を、図2以降と共に説明する。
先ず、リモートコピー方法及びストレージシステムの一実施例で採用する(2.1)まとめ送り方式、(2.2)バッファセット制御、(2.3)バッファセットオーバラップ処理、(2.4)遠隔地対応シーケンス、(2.5)記録専用バッファ、(2.6)ライト・格納・切出処理及び(2.7)バッファ切替について説明する。
2.1 まとめ送り方式
図2は、まとめ送り方式を説明する図である。
本発明になるストレージシステム10は、データコンシステンシを保証するコンシステンシモードでは、コピーデータを図2に示すコピー元の第1の記憶装置1−1からコピー先の第2の記憶装置1−2へ転送する際に記録専用バッファ11を使用する。つまり、コピー元からコピー先へコピーデータを逐次転送するのではなく、一旦コピー元のディスク等の記録媒体12から記録専用バッファ11に格納しておく。
コピー元では、記録専用バッファ11がフルになるか、コピーデータの格納が一定時間経過した後に、まとめてコピー先の記録専用バッファ11に転送する。コピー先では、受信したコピーデータを即時にコピー先の記録媒体12の領域へ反映させるのではなく、記録専用バッファ11でコピーデータの受信が完了するのを待ち合わせる。このように、コピー先では、全てのコピーデータを記録専用バッファ11に格納した後にまとめてコピー先の記録媒体12へ展開する。コピー先でのコピーデータの展開が完了すると、コピー元へ展開完了が通知され、コピー先のコピーデータが開放される。尚、一連の処理を絶え間なく行えるように、記録専用バッファ11は複数存在し、パイプラインで動作する。
記録専用バッファ11に対してライトされたコピーデータを即時に記録専用バッファ11に実際に格納すると、格納処理と次のライト処理が干渉するため、ライト処理の性能が低下する。このため、本発明では、ライト処理と格納処理を完全に切り離し、干渉が発生しないようにする。
ライト処理では、格納するべきコピーデータの情報を記録専用バッファ11内のバッファインデックステーブルに格納するだけで、コピー処理は一切行わない。格納処理は、このバッファインデックステーブルを参照してコピーデータを実際に記録専用バッファ11に格納する。
2.2 バッファセット制御
図3は、バッファセット制御を説明する図である。
図3に示す記録専用バッファ11には、記憶装置1−1,1−2内に設けられているキャッシュメモリの一部を使用可能である。後述するように、本発明を適用可能な記憶装置1−1,1−2には複数の制御モジュールが設けられており、キャッシュメモリは各制御モジュール内に設けられるようなアーキテクチャになっている。もし、1つの制御モジュールのみで記録専用バッファ11を獲得すると、その制御モジュールの通常の入出力(I/O)処理のために使用できるキャッシュメモリのメモリ容量が小さくなってしまう。そこで、ハードウエアを効率的に使用するために、記録専用バッファ11を制御モジュール毎に分散して持つようにする。
このような分散した記録専用バッファ11を使用して順序性保証のあるまとめ送り方式のコピーを行うためには、制御モジュールCM1,CM2,...毎に分散した個別の記録専用バッファ11をバッファセットB1,B2,...として一括で制御する仕組みを用いる。記録専用バッファ11へのコピーデータの格納及び記録専用バッファ11からのコピーデータの展開をバッファセットB1,B2,...の単位で一括で行うことで、ストレージシステム全体の順序性が保証される。
バッファセットB1,B2,...は、次の表1のような状態を持つ。
Figure 2006260292

各バッファセットB1,B2,...は、最初にコピー元で定義され、セット格納状態となる。各バッファセットB1,B2,...は、各制御モジュールCM1,CM2,...で格納状態の記録専用バッファ11を持っている。制御モジュールCM1,CM2,...のいずれかにおいて記録専用バッファ11がフルになるか、或いは、コピーデータの格納が一定時間経過した場合は、バッファセット制御により新しいバッファセットを作成し、セット格納状態のバッファセットに切替る。このバッファセットの切替は、順序性保証と密接に関係があるため、I/O処理を停止して行う必要がある。セット切出状態のバッファセットは、バッファ切替時に未格納であったコピーデータが全て格納済みになると、セット転送状態に遷移する。セット転送状態のバッファセットは、バッファセットの各記録専用バッファ11からのコピーデータの転送を指示し、更に、コピー先に対してバッファセットの通知を行う。
コピー先では、バッファセットの通知を受けると、バッファセットがセット受信状態に遷移する。各制御モジュールCM1,CM2,...の記録専用バッファ11でコピーデータの受信が完了すると、バッファセットはセット受信完了状態に遷移する。セット受信完了状態では、各記録専用バッファ11に対してコピーデータの展開を指示する。全ての記録専用バッファ11からのコピーデータの展開が完了すると、バッファセットはセット展開完了状態に遷移する。セット展開完了状態のバッファセットは、コピー元に対してバッファセット開放通知をする。コピー元のバッファセットがセット完了状態になると、全てのバッファセットの処理が完了する。
2.3 バッファセットオーバラップ処理
図4は、バッファセットオーバラップ処理を説明する図である。同図中、格納処理はコピー元でコピーデータを記録専用バッファ11へ格納する処理を示し、切出処理はコピー元で記録専用バッファ11に格納されたコピーデータを切出す処理を示し、送受信処理はコピー元の記録専用バッファ11から切出したコピーデータを送信する処理及びコピー先の記録専用バッファ11でコピー元から送信されてくるコピーデータを受信する処理を示し、展開処理はコピー先で記録専用バッファ11で受信されたコピーデータを記録媒体12へ展開する処理を示す。
バッファセットB1,B2,...の処理は、重ね合わせ(オーバラップ)させることで効率的にコピーデータを転送することができる。特に送受信処理は、ネットワークを介して行われるため、図4中破線Iで示すように、オーバラップ処理を可能とする。格納処理及び切出処理は、図4中一点鎖線IIで示すように、バッファセットの切替時には2つのバッファセットが協調して動作する必要がある。又、展開処理は、図4中二点鎖線IIIで示すように、順序性保証のためにオーバラップさせることはできない。
送信処理は、2つまでのバッファセットに対して同時に行うようにする。これにより、より古いバッファセットのコピーデータは早く送信するという状態を守りつつ、絶え間なく送信処理を行うことでネットワークの帯域を有効用できる。
2.4 遠隔地対応シーケンス
図5は、遠隔地対応シーケンスを説明する図である。
コピー元とコピー先の間のパスでの遅延時間が大きい場合には、コピー元とコピー先のハンドシェイクが多いと往復の通信に時間がかかり、ストレージシステムの性能に悪影響を及ぼす可能性があるので、待ち合わせを極力減らすシーケンスになるようにする。
図5に示すように、最初に、パス開通時にコピー元から必要な記録専用バッファ11の個数と希望するバッファサイズを要求するバッファリクエストをコピー先に送信する(ステップST1)。コピー先では、バッファリクエストにより要求された記録専用バッファ11の個数を用意し、用意した記録専用バッファ11のバッファIDとバッファサイズを空きバッファ通知によりコピー元に通知する(ステップST2)。これにより、コピー元は、空きバッファ通知に基づいて記録専用バッファ11を割り当てられる。コピー先では、要求された記録専用バッファ11の個数を用意できない場合には、コピー元へ空きバッファ通知に代わるエラー通知をする(ステップST2)。バッファサイズについては、コピー先で用意できるだけを空きバッファ通知により通知すれば良い。コピー先は、要求された記録専用バッファ11の個数を用意できる場合には、この後、任意のタイミングでコピーデータがコピー元から転送されてくるため(ステップST3)、コピー先では記録専用バッファ11が受信可能に準備できた時点でその旨をコピー元に通知する(ステップST4−1,ST4−2,...)。記録専用バッファ11は、バッファIDにより相手装置から識別される。制御モジュールのデグレード等により記録専用バッファ11が使用できなくなったら、記録専用バッファ11を再構成してコピー元へ通知すれば良いので、コピー元は以前に通知された記録専用バッファ11の情報を保持する必要はない。
図5の場合、コピー元では、データ送信処理DTP1,DTP2,...が例えば最大8回まで(データ送信処理DTP8まで)コピー先からの応答を待たずに行われる。コピー先では、各データ送信処理DTP1,DTP2,...に対して、全コピーデータが記録専用バッファ11に格納されるまで待ち合わせ、その後に対応するデータ展開処理DDP1,DDP2,...を行って空きバッファ通知をコピー元に対して行う(ステップST4−1,ST4−2,...)。
2.5 記録専用バッファ
図6及び図7は、記録専用バッファ11を説明する図である。
記録専用バッファ11は、図6に示すように、コピーデータを格納するバッファ本体111と、各コピーデータについてコピー元とコピー先の情報を格納するバッファインデックステーブル112とから構成される。バッファ本体111は、例えば8KB固定単位でコピーデータを格納できるようになっており、バッファインデックステーブル112は、8KBのコピーデータのコピー元とコピー先のLUやLBA(Logical Unit, Logical Block Address)、サイズ、コピーセッションの番号等の論理アドレス情報及びコピー制御情報を格納している。
記録専用バッファ11からの送信時には、バッファ本体111とバッファインデックステーブル112の双方の情報を同時に送ることで、コピー先で展開可能なコピーデータとなる。
図7に示すように、バッファインデックステーブル112は、同じ領域の論理アドレス情報を別々に保持しないようにする。又、バッファインデックステーブル112に論理アドレス情報を格納する場合には、ハッシュテーブル等により論理アドレス情報が格納済みであるか否かを判断し、未格納の場合には新しい領域に格納する。論理アドレス情報が格納済みの場合には、MS1,MS2で示すように、格納されている領域に再度格納する。論理アドレス情報が格納済みの領域と重なる領域に論理アドレス情報を格納しようとする場合には、MS3で示すように、上記8KB毎に論理アドレス情報を分割して別々に格納する。これにより、コピー先でのコピーデータの展開時に順序を意識することなく、コピーデータを展開することができる。
2.6 ライト・格納・切出処理
図8及び図9は、ライト処理、格納処理及び切出処理を説明する図である。
ライト処理は、図8に実線の矢印で示すように、通常はサーバからのコピー要求に対して、バッファインデックステーブル112にコピー処理に必要な論理アドレス情報及びコピー制御情報を格納するだけでサーバに対して応答を返す。このため、データをコピーするために必要な処理によるコピー元の記憶装置1−1への負荷が小さくて済む。ただし、前のバッファセットの未格納の領域に対してライト処理を行ってしまうとコピーデータが破壊されてしまうため、切出処理が行われている時には前のバッファセットの未格納領域とライト処理の領域の重なりが無いか否かを判定し、重なっている場合には格納処理を待ち合わせる。
格納処理は、図8に一点鎖線の矢印で示すように、ライト処理とは全く非同期にバッファインデックステーブル112を参照してコピーデータの格納を行う。シーケンシャルライト処理と干渉しないように、ライト処理を行った直後に格納処理が行われないようにする。
切出処理は、未格納のコピーデータを順次格納するがライト処理を待たせていることを検出したら、格納を優先的に行うようにする。
バッファセットの切替後に、前のバッファセットの未格納領域への更新があると、図9に実線の矢印で示すように、切替後のバッファセットのバッファインデックステーブル112に格納処理に必要な論理アドレス情報及びコピー制御情報を格納してから、一点鎖線で示すように、前のバッファセットに対するライト処理を行い、その他の格納領域については切替後のバッファセットに対して処理を行う。
2.7 バッファ切替
図10は、バッファ切替処理を説明する図である。
記録専用バッファ11の切替は、ライト処理の順序を保持して行う必要があるため、一旦I/O処理を停止する必要があるが、本発明が適用可能な記憶装置では複数の制御モジュールでI/O処理を処理するため、全制御モジュールで同期してI/O処理の停止を行って、記録専用バッファ11の切替を行う。
図10に示すように、最初に、マスタ制御モジュールから全制御モジュールに対してライト処理停止要求を行う(ステップST11)。ライト処理停止要求を受けた各担当制御モジュールでは、記録専用バッファ11への格納処理で新たな格納が行えないように格納停止(又は、ロック)を行いマスタ制御モジュールに応答を返す(ステップST12)。次に、マスタ制御モジュールで全制御モジュールからのライト停止の応答を待ち合わせ、その後に全制御モジュールに対してバッファ切替要求を出す(ステップST13)。バッファ切替要求を受けた各制御モジュールでは、上記格納停止(又は、ロック)の解除と記録専用バッファ11の切替を行い、ライト処理再開が可能である旨の通知をマスタ制御モジュールに対して行う(ステップST14)。
尚、記録専用バッファ11の切替タイミングは、コピー元のいずれかの記録専用バッファ11がフルになった場合か、或いは、一定時間記録専用バッファ11が切り換わらなかった場合でも良い。
切替処理は、切替先の記録専用バッファ11が無い場合には、リトライ処理を行っても良い。この場合、リトライ処理の間はコピー元のライト処理が待たされることになるが、記録専用バッファ11が枯渇したことによるものであり、負荷調整の一貫と考えられる。コピー先から記録専用バッファ11の空き通知が来た場合には、コピー元では即時に記録専用バッファ11を切替る。これにより、待たされていたI/O処理は動作可能となる。例えば、記録専用バッファ11の切替処理が失敗してから一定時間(例えば、10秒)後に再度切替処理を試みて切替が行えない場合には、記録専用バッファ11の枯渇による自動停止(HALT)機能を動作させるようにしても良い。
2.8 ストレージシステムの構成
図11は、本発明になるストレージシステムの一実施例の要部を示すブロック図である。図11に示すストレージシステム10は、互いに接続されたサーバ21−1と記憶装置1−1と、互いに接続されたサーバ21−2と記憶装置1−2と、記憶装置1−1,1−2を接続するSAN(Storage Area Network)等のネットワーク23からなる。説明の便宜上、サーバ21−1,21−2は同じ構成を有する汎用コンピュータからなり、記憶装置1−1,1−2は同じRAID(Redundant Array of Independent Disks)アレイ構成を有するものとする。
各記憶装置1−1,1−2は、対応するサーバ21−1,21−2との通信に使用される複数の通信アダプタ(CA:Communication Adapter)13、ネットワーク23を介したリモートコピーに使用される複数のリモートアダプタ(RA:Remote Adapter)14、各記憶装置1−1,1−2の全体の動作を制御するマスタ制御モジュール(CM−M:Controller Module Master)16−1、各記憶装置1−1,1−2の全体の動作をマスタ制御モジュール16−1に対して従なる関係で制御するスレーブ制御モジュール(CM−S:Controller Module−Slave)16−2、ルータ(RT:Router)17、記憶媒体12との通信を制御する複数のデバイスアダプタ(DA:Device Adapter)18及び複数の記録媒体12を含む。本実施例では、記録媒体12は磁気ディスクドライブ(Disk)からなる。各制御モジュール16−1,16−2は、キャッシュメモリ160を備えている。尚、各記憶装置1−1,1−2内の制御モジュールの数は2つに限定されるものではない。
説明の便宜上、リモートコピーでは、サーバ21−1からコピー元の記憶装置1−1に書き込まれたデータが、ネットワーク23を介してサーバ21−2の制御下にあるコピー先の記憶装置1−2に書き込まれるものとする。
2.9 ストレージシステムの動作
図12は、リモートコピー時のデータの流れを示すブロック図である。同図中、図11と同一部分には同一符号を付し、その説明は省略する。又、図13及び図14は、リモートコピーの手順を説明するフローチャートである。
図12に示すように、各制御モジュール16−1,16−2内のキャッシュメモリ160は、バッファ本体(BUF)111とバッファインデックステーブル(BIT:Buffer Index Table)112とからなる記録専用バッファ11を含む。又、マスタ制御モジュール16−1内のキャッシュメモリ160は、バッファセット制御テーブル(BSCT:Buffer Set Control Table)161を更に含む。バッファセット制御テーブル161は、コピー元とコピー先のコピー用の記録専用バッファ11の組合せをバッファセットとして格納して管理する。図12に示す例では、コピー元(SRC:Source)のバッファID「400,600」がコピー先(DST:Destination)のバッファID「500,700」と関連付けられてバッファセットとしてバッファセット制御テーブル161に格納され管理されている。記録専用バッファ11のバッファ本体111は、コピーするデータ(コピーデータ)を格納する。記録専用バッファ11のバッファインデックステーブル112は、バッファ本体111のコピーデータのインデックス情報(LUN,LBA等の論理アドレス情報及びコピー制御情報)を格納する。
図13及び図14において、コピー元の記憶装置2−1の処理はステップSS1〜SS13で示し、コピー先の記憶装置2−2の処理はステップSD1〜SD11で示す。
図13において、コピー元及びコピー先では、記録専用バッファ11のバッファセットの初期構成を決定する処理を行う(ステップSS1,SD1)。コピー元では、記録専用バッファ11を要求するバッファリクエストを行い(ステップSS2)、コピー先では、バッファリクエストが受信されたか否かを判定する(ステップSD2)。コピー先でバッファリクエストが受信されると(ステップSD2でYES)、空きバッファ通知を行う(ステップSD3)。
コピー元では、空きバッファ通知を受信すると、バッファセットの初期作成が可能であるか否かを判定し(ステップSS3)、判定結果がYESであると、バッファセットの初期作成を行い(ステップSS4)、バッファセットに対する格納処理を行う(ステップSS5)。コピー元では、バッファセットの切替が必要であるか否かを判定し(ステップSS6)、判定結果がNOであると処理はステップSS5へ戻る。コピー元では、ステップSS6の判定結果がYESであると、バッファセットの切替処理が可能であるか否かを判定し(ステップSS7)、判定結果がYESであると、バッファセットの切替処理を行う(ステップSS8)。尚、切替ったバッファセットに対する処理の流れは、図13中破線で示す。コピー元では、更に、バッファセットに対する格納処理が全て完了したか否かを判定し(ステップSS9)、判定結果がYESであると、バッファセットに対するコピーデータの送信処理を行う(ステップSS10)。
コピー先では、送信されてくるバッファセットのコピーデータに対する受信処理を行い(ステップSD4)、バッファセットの全てのコピーデータを受信したか否かを判定する(ステップSD5)。コピー先では、ステップSD5の判定結果がYESであると、図14に示すように、バッファセットのコピーデータに対する展開処理が可能であるか否かを判定する(ステップSD6)。コピー先では、ステップSD6の判定結果がYESであると、バッファデットのコピーデータに対する展開処理を行い(ステップSD7)、バッファセットのコピーデータに対する展開処理が完了した旨を示す完了通知をコピー元へ行う(ステップSD8)。
コピー元では、コピー先からの完了通知を受信したか否かを判定し(ステップSS11)、判定結果がYESであると、バッファセットの開放処理を行い(ステップSS12)、バッファセットの再構成処理を行い(ステップSS13)、処理は図13に示すステップSS7へ戻りバッファセットの切替待ち状態となる。
他方、コピー先では、上記完了通知を行った後、バッファセットの開放処理を行い(ステップSD9)、バッファセットの再構成処理を行う(ステップSD10)。
又、コピー先では、コピー元に空きバッファ通知を行い(ステップSD11)、処理は図13に示すステップSD4へ戻りバッファセットのコピーデータ受信待ち状態となる。
これにより、図12中破線の矢印で示すようにコピー元の記憶装置1−1のマスタ制御モジュール16−1内のバッファセット制御テーブル161内のバッファID「500,700」がコピー先の記憶装置1−2のマスタ制御モジュール16−1内のバッファセット制御テーブル161にコピーされ、一点鎖線の矢印で示すようにコピー元の記憶装置1−1のマスタ制御モジュール16−1内のバッファ本体111及びバッファインデックステーブル112の内容及びスレーブ制御モジュール16−2内のバッファ本体111及びバッファインデックステーブル112の内容が、夫々コピー先の記憶装置1−2のマスタ制御モジュール16−1内のバッファ本体111及びバッファインデックステーブル112及びスレーブ制御モジュール16−2内のバッファ本体111及びバッファインデックステーブル112にコピーされる。
図15は、バッファ切替を説明する図であり、図16は、バッファ切替の手順を説明するフローチャートである。
図15に示すように、コピー元の記憶装置1−1内のマスタ制御モジュール16−1ではバッファID「400」への格納処理が行われ、スレーブ制御モジュール16−2ではバッファID「600」への格納処理が行われているとする。この場合、マスタ制御モジュール16−1に対するバッファID「400」への格納停止指示(又は、停止要求)とスレーブ制御モジュール16−2に対するバッファID「600」への格納停止指示(又は、停止要求)があると、バッファID「400」,「600」への格納処理の停止が完了するまで待ち合わせを行うことで、図15中太い破線で示すように順序保証された格納処理を保証するポイントが決定する。マスタ制御モジュール16−1ではバッファID「400」からバッファID「401」への切替指示(又は、切替要求)に応答してバッファID「401」への格納処理が行われ、スレーブ制御モジュール16−2ではバッファID「600」からバッファID「601」への切替指示(又は、切替要求)に応答してバッファID「601」への格納処理が行われる。
図16において、コピー元の記憶装置1−1内のマスタ制御モジュール16−1の処理はステップS101〜S111で示し、コピー元の記憶装置1−1内のスレーブ制御モジュール16−2の処理はステップS201〜S206で示す。
図16において、マスタ制御モジュール16−1ではバッファID「400」への格納処理が行われ(ステップS101)、スレーブ制御モジュール16−2ではバッファID「600」への格納処理が行われる(ステップS201)。マスタ制御モジュール16−1では、バッファ切替が実行されているか否かを判定し(ステップS102)、判定結果がYESであると、格納停止指示を発行し、スレーブ制御モジュール16−2へも供給する(ステップS103)。
マスタ制御モジュール16−1では、格納停止指示がきているか否かを判定し(ステップS104)、判定結果がYESであると、格納中の処理があるか否かを判定し(ステップS105)、判定結果がNOであると、格納停止処理を行う(ステップS106)。同様に、スレーブ制御モジュール16−2では、格納停止指示がきているか否かを判定し(ステップS202)、判定結果がYESであると、格納中の処理があるか否かを判定し(ステップS203)、判定結果がNOであると、格納停止処理を行う(ステップS204)。
マスタ制御モジュール16−1では、全ての格納処理が格納停止状態となったか否かを判定し(ステップS107)、判定結果がYESであると、切替指示を発行し、スレーブ制御モジュール16−2へも供給する(ステップS108)。
マスタ制御モジュール16−1では、切替指示に応答して切替処理を行い切替指示の応答を通知し(ステップS109)、バッファID「401」への格納処理が行われる(ステップS110)。他方、スレーブ制御モジュール16−2では、切替指示に応答して切替処理を行いマスタ制御モジュール16−1へ切替指示の応答を通知し(ステップS205)、バッファID「601」への格納処理が行われる(ステップS206)、スレーブ制御モジュール16−2の処理は終了する。マスタ制御モジュール16−1では、マスタ及びスレーブ制御モジュール16−1,16−2からの切替指示の応答を受け取ったか否かを判定し(ステップS111)、判定結果がYESになるとマスタ制御モジュール16−1の処理は終了する。
図17は、バッファセット制御を説明する図であり、図18は、バッファセット制御の手順を説明するフローチャートである。
図17に示すように、コピー元の記憶装置1−1のマスタ制御モジュール16−1内のバッファセット制御テーブル161内のバッファID「500,700」等がコピー先の記憶装置1−2のマスタ制御モジュール16−1内のバッファセット制御テーブル161にコピーされ、コピー元の記憶装置1−1のマスタ制御モジュール16−1内のバッファ本体111及びバッファインデックステーブル112の内容及びスレーブ制御モジュール16−2内のバッファ本体111及びバッファインデックステーブル112の内容が、夫々コピー先の記憶装置1−2のマスタ制御モジュール16−1内のバッファ本体111及びバッファインデックステーブル112及びスレーブ制御モジュール16−2内のバッファ本体111及びバッファインデックステーブル112にコピーされる。バッファセット制御テーブル161にコピーされる論理アドレスについては順序保証があるが、バッファ本体111及びバッファインデックステーブル112にコピーされる内容については順序保証はなく、バッファセットが揃った時点でコピー処理を行う。
図18において、コピー元の記憶装置1−1内の制御モジュール16−1,16−2によるバッファセット送信処理はステップSS21〜SS27で示し、コピー先の記憶装置1−2内の制御モジュール16−1,16−2によるバッファセット受信処理はステップSD21〜SD25で示す。
図18中、コピー元の記憶装置1−1内の制御モジュール16−1,16−2では、バッファ切替処理が完了すると(ステップSS21)、全ての格納処理が完了しているか否かを判定し(ステップSS22)、判定結果がYESであると、バッファインデックステーブル112及びバッファ本体111の内容に関する送信処理をコピー元及びコピー先の記憶装置1−1,1−2内の制御モジュール16−1,16−2に対して起動する(ステップSS23)。
コピー元の記憶装置1−1内の制御モジュール16−1,16−2では、前のバッファセットのコピーデータの送信処理が完了しているか否かを判定し(ステップSS24)、判定結果がYESであると、バッファセット制御テーブル161内の情報に関する送信処理をコピー先の記憶装置1−2内の制御モジュール16−1,16−2に対して行う。
コピー先の記憶装置1−2内の制御モジュール16−1,16−2では、バッファセットのコピーデータを全て受信したか否かを判定し(ステップSD21)、判定結果がYESであると、前のバッファセットのコピーデータの展開処理が完了したか否かを判定し(ステップSD22)、判定結果がYESであると、今回のバッファセットのコピーデータに対する展開処理を行う(ステップSD23)。又、バッファセット開放通知をコピー元の記憶装置1−1内の制御モジュール16−1,16−2に対して行い(ステップSD24)、バッファセットのコピーデータに対する開放処理を行うと(ステップSD25)、処理は終了する。
コピー元の記憶装置1−1内の制御モジュール16−1,16−2では、コピー先からバッファセット開放通知を受信したか否かを判定し(ステップSS26)、判定結果がYESであると、バッファセットのコピーデータに対する開放処理を行い(ステップSS27)、処理は終了する。
ところで、図4と共に説明したように、バッファセットの処理は、重ね合わせ(オーバラップ)させることで効率的にコピーデータを転送することができる。特に送受信処理は、ネットワークを介して行われるため、図4中破線Iで示すように、オーバラップ処理を可能とする。
図19は、転送多重度の最適化を説明する図である。同図に示すように、ケースC1のような1多重送信の場合、コピーデータの転送に隙間G1,G2が発生してしまう。又、ケースC3のような3多重送信の場合、早く転送しても展開できないコピーデータが早く転送して展開したいコピーデータの転送を妨げることとなり、好ましくない。従って、本実施例の場合、ケースC2のような2多重送信が転送多重度としては最適である。
本発明は、順序性保証、コピー元のシーケンシャルライト性能や転送効率が要求されるストレージシステムに適用可能である。
尚、本発明は、以下に付記する発明をも包含するものである。
(付記1) 第1の記憶装置内のデータをネットワークを介して第2の記憶装置内へコピーするリモートコピー方法であって、
該第1の記憶装置内において、第1の記録媒体のデータを第1の記録専用バッファに格納し、
該第1の記憶装置内において、該第1の記録専用バッファがフルになるか、或いは、データの格納から一定時間が経過すると、該第1の記録専用バッファ内のデータをまとめて該第2の記憶装置へ送信し、
該第2の記憶装置内において、受信したデータを第2の記録専用バッファに格納し、
該第2の記憶装置内において、データの受信を完了すると、該第2の記録専用バッファ内のデータをまとめてコピー先の第2の記録媒体へ展開することを特徴とする、リモートコピー方法。
(付記2) 該データの送信を複数の第1の記録専用バッファからなるバッファセットの単位で行うと共に、該データの受信を複数の第2の記録専用バッファからなるバッファセットの単位で行い、コピーされるデータの順序性保証を行うことを特徴とする、付記1記載のリモートコピー方法。
(付記3) 該バッファセットは、夫々送信及び受信が絶え間なく行われるように複数設けられ、パイプラインで動作することを特徴とする、付記2記載のリモートコピー方法。
(付記4) 任意の1つのバッファセットに対するデータの送信と、別の1つのバッファセットに対するデータの受信とのオーバラップ処理を行うことを特徴とする、付記3記載のリモートコピー方法。
(付記5) 該第1の記憶装置内において、必要な第2の記録専用バッファの個数と希望するバッファサイズを要求するバッファリクエストを該第2の記憶装置へ送信し、
該第2の記憶装置内において、該バッファリクエストにより要求された該第2の記録専用バッファの個数を用意し、用意した該第2の記録専用バッファのバッファIDとバッファサイズを空きバッファ通知により該第1の記憶装置へ通知し、
該データの送信は、該第2の記憶装置からの応答を待たずに所定回数行われることを特徴とする、付記2〜4のいずれか1項記載のリモートコピー方法。
(付記6) 該第1の記録媒体のデータの該第1の記録専用バッファへの格納は、該第1の記録専用バッファ内のバッファインデックステーブルに該データのコピー処理に必要なコピー元とコピー先の情報を格納し、該第1の記録媒体の該情報で指定されるデータを該第1の記録専用バッファ内のバッファ本体に格納することを特徴とする、付記2〜5のいずれか1項記載のリモートコピー方法。
(付記7) 該データの該バッファ本体への格納は、該バッファインデックステーブルを参照して、該情報の該バッファインデックステーブルへの格納とは非同期に行われることを特徴とする、付記6記載のリモートコピー方法。
(付記8) 該第1の記憶装置内において、該第1の記録専用バッファのいずれかがフルになるか、或いは、一定時間該第1の記録専用バッファが切替わらない場合に、該第1の記録専用バッファの切替を行うことを特徴とする、付記2〜7のいずれか1項記載のリモートコピー方法。
(付記9) 第1の制御モジュールと、第1の記録媒体と第1の記録専用バッファを備えた第1の記憶装置と、
該第1の記憶装置とネットワークを介して接続可能であり、第2の制御モジュールと、第2の記録媒体と第2の記録専用バッファを備えた第2の記憶装置とを備え、
該第1の記憶装置内のデータを該ネットワークを介して該第2の記憶装置内へコピーするリモートコピーを行うストレージシステムであって、
該第1の制御モジュールは、第1の記録媒体のデータを第1の記録専用バッファに格納し、該第1の記録専用バッファがフルになるか、或いは、データの格納から一定時間が経過すると、該第1の記録専用バッファ内のデータをまとめて該第2の記憶装置へ送信し、
該第2の制御モジュールは、受信したデータを第2の記録専用バッファに格納し、データの受信を完了すると、該第2の記録専用バッファ内のデータをまとめてコピー先の第2の記録媒体へ展開することを特徴とする、ストレージシステム。
(付記10) 該第1の制御モジュールは、該データの送信を複数の第1の記録専用バッファからなるバッファセットの単位で行い、該第2の制御モジュールは、該データの受信を複数の第2の記録専用バッファからなるバッファセットの単位で行い、コピーされるデータの順序性保証を行うことを特徴とする、付記9記載のストレージシステム。
(付記11) 該バッファセットは、夫々送信及び受信が絶え間なく行われるように複数設けられ、パイプラインで動作することを特徴とする、付記10記載のストレージシステム。
(付記12) 任意の1つのバッファセットに対するデータの送信と、別の1つのバッファセットに対するデータの受信とのオーバラップ処理を行うことを特徴とする、付記11記載のストレージシステム。
(付記13) 該第1の制御モジュールは、必要な第2の記録専用バッファの個数と希望するバッファサイズを要求するバッファリクエストを該第2の記憶装置へ送信し、
該第2の制御モジュールは、該バッファリクエストにより要求された該第2の記録専用バッファの個数を用意し、用意した該第2の記録専用バッファのバッファIDとバッファサイズを空きバッファ通知により該第1の記憶装置へ通知し、
該第1の制御モジュールは、該第2の記憶装置からの応答を待たずにデータの創始を所定回数行うことを特徴とする、付記10〜12のいずれか1項記載のストレージシステム。
(付記14) 該第1の制御モジュールは、該第1の記録専用バッファ内のバッファインデックステーブルに該データのコピー処理に必要なコピー元とコピー先の情報を格納し、該第1の記録媒体の該情報で指定されるデータを該第1の記録専用バッファ内のバッファ本体に格納することにより、該第1の記録媒体のデータの該第1の記録専用バッファへの格納を行うことを特徴とする、付記10〜13のいずれか1項記載のストレージシステム。
(付記15) 該第1の制御モジュールは、該データの該バッファ本体への格納を、該バッファインデックステーブルを参照して、該情報の該バッファインデックステーブルへの格納とは非同期に行うことを特徴とする、付記14記載のストレージシステム。
(付記16) 該第1の制御モジュールは、該第1の記録専用バッファのいずれかがフルになるか、或いは、一定時間該第1の記録専用バッファが切替わらない場合に、該第1の記録専用バッファの切替を行うことを特徴とする、付記10〜15のいずれか1項記載のストレージシステム。
(付記17) 該第1及び第2の制御モジュールは、夫々複数設けられており、該第1及び第2の記録専用バッファは、対応する第1及び第2の制御モジュール内に設けられていることを特徴とする、付記9〜16のいずれか1項記載のストレージシステム。
(付記18) 第1の記憶装置内のデータをネットワークを介して第2の記憶装置内へコピーするリモートコピー方法であって、
該第1の記憶装置からのデータの送信を、該第1の記憶装置内の複数の第1の記録専用バッファからなるバッファセットの単位で行い、
該データの受信を、該第2の記憶装置内の複数の第2の記録専用バッファからなるバッファセットの単位で行い、コピーされるデータの順序性保証を行うことを特徴とする、リモートコピー方法。
(付記19) 該バッファセットは、夫々送信及び受信が絶え間なく行われるように複数設けられ、パイプラインで動作することを特徴とする、付記18記載のリモートコピー方法。
(付記20) 第1の制御モジュールと、第1の記録媒体と第1の記録専用バッファを備えた第1の記憶装置と、
該第1の記憶装置とネットワークを介して接続可能であり、第2の制御モジュールと、第2の記録媒体と第2の記録専用バッファを備えた第2の記憶装置とを備え、
該第1の記憶装置内のデータを該ネットワークを介して該第2の記憶装置内へコピーするリモートコピーを行うストレージシステムであって、
該第1の制御モジュールは、第1の記録媒体のデータを第1の記録専用バッファに格納し、該第1の記録専用バッファ内のデータをまとめて複数の第1の記録専用バッファからなるバッファセットの単位で該第2の記憶装置へ送信し、
該第2の制御モジュールは、複数の第2の記録専用バッファからなるバッファセットの単位で該データを受信して第2の記録専用バッファに格納し、データの受信を完了すると、該第2の記録専用バッファ内のデータをまとめてコピー先の第2の記録媒体へ展開し、コピーされるデータの順序性保証を行うことを特徴とする、ストレージシステム。
(付記21) 該バッファセットは、夫々送信及び受信が絶え間なく行われるように複数設けられ、パイプラインで動作することを特徴とする、付記20記載のストレージシステム。
以上、本発明を実施例により説明したが、本発明は上記実施例に限定されるものではなく、本発明の範囲内で種々の変形及び改良が可能であることは言うまでもない。
ストレージシステムのライト処理及びコピー処理の概略を説明する図である。 まとめ送り方式を説明する図である。 バッファセット制御を説明する図である。 バッファセットオーバラップ処理を説明する図である。 遠隔地対応シーケンスを説明する図である。 記録専用バッファを説明する図である。 記録専用バッファを説明する図である。 ライト処理、格納処理及び切出処理を説明する図である。 ライト処理、格納処理及び切出処理を説明する図である。 バッファ切替処理を説明する図である。 本発明になるストレージシステムの一実施例の要部を示すブロック図である。 リモートコピー時のデータの流れを示すブロック図である。 リモートコピーの手順を説明するフローチャートである。 リモートコピーの手順を説明するフローチャートである。 バッファ切替を説明する図である。 バッファ切替の手順を説明するフローチャートである。 バッファセット制御を説明する図である。 バッファセット制御の手順を説明するフローチャートである。 転送多重度の最適化を説明する図である。
符号の説明
1−1,1−2 記憶装置
11 記録専用バッファ
12 記録媒体
16−1,16−1 制御モジュール
21−1,21−2 サーバ
23 ネットワーク
111 バッファ本体
112 バッファインデックステーブル

Claims (5)

  1. 第1の記憶装置内のデータをネットワークを介して第2の記憶装置内へコピーするリモートコピー方法であって、
    該第1の記憶装置内において、第1の記録媒体のデータを第1の記録専用バッファに格納し、
    該第1の記憶装置内において、該第1の記録専用バッファがフルになるか、或いは、データの格納から一定時間が経過すると、該第1の記録専用バッファ内のデータをまとめて該第2の記憶装置へ送信し、
    該第2の記憶装置内において、受信したデータを第2の記録専用バッファに格納し、
    該第2の記憶装置内において、データの受信を完了すると、該第2の記録専用バッファ内のデータをまとめてコピー先の第2の記録媒体へ展開することを特徴とする、リモートコピー方法。
  2. 第1の制御モジュールと、第1の記録媒体と第1の記録専用バッファを備えた第1の記憶装置と、
    該第1の記憶装置とネットワークを介して接続可能であり、第2の制御モジュールと、第2の記録媒体と第2の記録専用バッファを備えた第2の記憶装置とを備え、
    該第1の記憶装置内のデータを該ネットワークを介して該第2の記憶装置内へコピーするリモートコピーを行うストレージシステムであって、
    該第1の制御モジュールは、第1の記録媒体のデータを第1の記録専用バッファに格納し、該第1の記録専用バッファがフルになるか、或いは、データの格納から一定時間が経過すると、該第1の記録専用バッファ内のデータをまとめて該第2の記憶装置へ送信し、
    該第2の制御モジュールは、受信したデータを第2の記録専用バッファに格納し、データの受信を完了すると、該第2の記録専用バッファ内のデータをまとめてコピー先の第2の記録媒体へ展開することを特徴とする、ストレージシステム。
  3. 該第1の制御モジュールは、該データの送信を複数の第1の記録専用バッファからなるバッファセットの単位で行い、該第2の制御モジュールは、該データの受信を複数の第2の記録専用バッファからなるバッファセットの単位で行い、コピーされるデータの順序性保証を行うことを特徴とする、請求項2記載のストレージシステム。
  4. 該バッファセットは、夫々送信及び受信が絶え間なく行われるように複数設けられ、パイプラインで動作することを特徴とする、請求項3記載のストレージシステム。
  5. 該第1の制御モジュールは、該第1の記録専用バッファ内のバッファインデックステーブルに該データのコピー処理に必要なコピー元とコピー先の情報を格納し、該第1の記録媒体の該情報で指定されるデータを該第1の記録専用バッファ内のバッファ本体に格納することにより、該第1の記録媒体のデータの該第1の記録専用バッファへの格納を行うことを特徴とする、請求項2〜4のいずれか1項記載のストレージシステム。
JP2005078014A 2005-03-17 2005-03-17 リモートコピー方法及びストレージシステム Expired - Fee Related JP4355674B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2005078014A JP4355674B2 (ja) 2005-03-17 2005-03-17 リモートコピー方法及びストレージシステム
US11/184,870 US7971011B2 (en) 2005-03-17 2005-07-20 Remote copy method and storage system
CNB2005100919182A CN100437497C (zh) 2005-03-17 2005-08-12 远程复制方法及存储系统
KR1020050074515A KR100705377B1 (ko) 2005-03-17 2005-08-12 원격 복사 방법 및 스토리지 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005078014A JP4355674B2 (ja) 2005-03-17 2005-03-17 リモートコピー方法及びストレージシステム

Publications (2)

Publication Number Publication Date
JP2006260292A true JP2006260292A (ja) 2006-09-28
JP4355674B2 JP4355674B2 (ja) 2009-11-04

Family

ID=37002686

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005078014A Expired - Fee Related JP4355674B2 (ja) 2005-03-17 2005-03-17 リモートコピー方法及びストレージシステム

Country Status (4)

Country Link
US (1) US7971011B2 (ja)
JP (1) JP4355674B2 (ja)
KR (1) KR100705377B1 (ja)
CN (1) CN100437497C (ja)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008192058A (ja) * 2007-02-07 2008-08-21 Nec Corp ファイルのリモートコピー装置、方法およびプログラム
WO2008139545A1 (ja) * 2007-05-01 2008-11-20 Fujitsu Limited ストレージシステム、ストレージ装置、リモートコピー方法
WO2008152691A1 (ja) * 2007-06-12 2008-12-18 Fujitsu Limited リモートコピー方法及びストレージシステム
JP2010039574A (ja) * 2008-07-31 2010-02-18 Fujitsu Ltd ストレージシステム
JP2010191615A (ja) * 2009-02-17 2010-09-02 Fujitsu Ltd コピー制御装置
JP2010218320A (ja) * 2009-03-18 2010-09-30 Fujitsu Ltd ストレージ装置
JP2010244583A (ja) * 2010-08-02 2010-10-28 Fujitsu Ltd ストレージシステム
JP2011086160A (ja) * 2009-10-16 2011-04-28 Fujitsu Ltd 記憶装置、制御装置および記憶装置の制御方法
JP2011086006A (ja) * 2009-10-13 2011-04-28 Fujitsu Ltd 記憶装置、制御装置および記憶装置の制御方法
JP2011150602A (ja) * 2010-01-22 2011-08-04 Fujitsu Ltd 記憶装置、制御装置および記憶装置の制御方法
JP2011158948A (ja) * 2010-01-29 2011-08-18 Fujitsu Ltd ストレージ装置、ストレージ装置の制御方法及びストレージ装置の制御プログラム
JP2011164750A (ja) * 2010-02-05 2011-08-25 Fujitsu Ltd ストレージ装置、ストレージ装置制御プログラムおよびストレージ装置制御方法
JP2012003600A (ja) * 2010-06-18 2012-01-05 Fujitsu Ltd 記憶装置、制御装置および記憶装置の制御方法
JP2012022584A (ja) * 2010-07-16 2012-02-02 Fujitsu Ltd データコピー装置、データコピー方法およびストレージ装置
JP2013041520A (ja) * 2011-08-19 2013-02-28 Nippon Telegr & Teleph Corp <Ntt> データ保持システム、データ保持装置及びデータ保持方法
JP2013527942A (ja) * 2010-07-16 2013-07-04 株式会社日立製作所 記憶制御装置、又は複数の当該記憶制御装置を有する記憶システム
US8745150B2 (en) 2010-03-31 2014-06-03 Fujitsu Limited Storage control apparatus and storage control method
US8806163B2 (en) 2011-10-04 2014-08-12 Fujitsu Limited Storage system and storage system network
US8862843B2 (en) 2009-01-09 2014-10-14 Fujitsu Limited Storage system, backup storage apparatus, and backup control method
US8930485B2 (en) 2011-09-22 2015-01-06 Fujitsu Limted Information processing apparatus and non-transitory computer-readable recording medium having program stored thereon
US8972634B2 (en) 2012-08-02 2015-03-03 Fujitsu Limited Storage system and data transfer method
US9170739B2 (en) 2011-08-17 2015-10-27 Fujitsu Limited Relay apparatus and relay method
US9342418B2 (en) 2013-07-23 2016-05-17 Fujitsu Limited Storage system, storage control device and data transfer method
US10007467B2 (en) 2016-03-14 2018-06-26 Fujitsu Limited Storage system
JP2022510460A (ja) * 2019-05-05 2022-01-26 ▲騰▼▲訊▼科技(深▲セン▼)有限公司 データレプリケーション方法、装置、コンピュータ機器及びコンピュータプログラム

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7886068B1 (en) * 2005-10-27 2011-02-08 Network Appliance, Inc. Management of streaming media playlists
JP4790377B2 (ja) * 2005-11-07 2011-10-12 株式会社日立製作所 ストレージサブシステムのボリューム複製方法
US8213316B1 (en) * 2006-09-14 2012-07-03 Avaya Inc. Method and apparatus for improving voice recording using an extended buffer
US20080310309A1 (en) * 2007-06-13 2008-12-18 Glenn Darrell Batalden Sending content from multiple queues to clients
US7890651B2 (en) * 2007-06-13 2011-02-15 International Business Machines Corporation Sending content from multiple content servers to clients at time reference points
US7986705B2 (en) * 2007-06-13 2011-07-26 International Business Machines Corporation Determining a transmission order for frames based on bit reversals of sequence numbers
JP2009122873A (ja) * 2007-11-13 2009-06-04 Hitachi Ltd ストレージシステム間でのリモートコピーを管理する装置
US9135073B2 (en) 2007-11-15 2015-09-15 International Business Machines Corporation Server-processor hybrid system for processing data
US9332074B2 (en) * 2007-12-06 2016-05-03 International Business Machines Corporation Memory to memory communication and storage for hybrid systems
JP2010039986A (ja) * 2008-08-08 2010-02-18 Hitachi Ltd データのバックアップを管理する計算機システム及び方法
WO2012164625A1 (en) * 2011-06-01 2012-12-06 Hitachi, Ltd. Load distribution storage system and method therefor
US8490092B2 (en) 2011-07-06 2013-07-16 Microsoft Corporation Combined live migration and storage migration using file shares and mirroring
US8930309B2 (en) * 2012-02-29 2015-01-06 Symantec Corporation Interval-controlled replication
US9600206B2 (en) * 2012-08-01 2017-03-21 Microsoft Technology Licensing, Llc Request ordering support when switching virtual disk replication logs
JP6019940B2 (ja) * 2012-08-30 2016-11-02 富士通株式会社 情報処理装置、コピー制御プログラム、およびコピー制御方法
JP6136629B2 (ja) * 2013-06-25 2017-05-31 富士通株式会社 ストレージ制御装置,ストレージシステム,および制御プログラム
US9557919B2 (en) * 2015-06-26 2017-01-31 EMC IP Holding Company LLC Resolving write pressure using existing backup appliance as additional primary storage
CN112492014B (zh) * 2020-11-19 2024-01-09 广州橙行智动汽车科技有限公司 一种车载数据传输方法和装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0825342B2 (ja) * 1987-11-25 1996-03-13 松下電器産業株式会社 マゼンタ色系感熱転写シート
US5544347A (en) * 1990-09-24 1996-08-06 Emc Corporation Data storage system controlled remote data mirroring with respectively maintained data indices
US5509122A (en) * 1992-02-20 1996-04-16 International Business Machines Corporation Configurable, recoverable parallel bus
US5289470A (en) * 1992-12-14 1994-02-22 International Business Machines Corp. Flexible scheme for buffer space allocation in networking devices
CA2153445C (en) 1994-09-08 2002-05-21 Ashok Raj Saxena Video optimized media streamer user interface
JPH1185594A (ja) 1997-09-01 1999-03-30 Hitachi Ltd リモートコピー用情報処理システム
JPH11282641A (ja) 1998-03-27 1999-10-15 Canon Inc 電子機器とその制御方法及びマルチファンクションシステム
JP4282030B2 (ja) 1999-06-03 2009-06-17 株式会社日立製作所 データ二重化制御方法および二重化した記憶サブシステム
US6792557B1 (en) 1999-10-22 2004-09-14 Hitachi, Ltd. Storage area network system
DE60039033D1 (de) * 2000-05-25 2008-07-10 Hitachi Ltd Speichersystem zur Bestätigung der Datensynchronisierung während des asynchronen Fernkopierens
JP4041656B2 (ja) 2001-03-02 2008-01-30 株式会社日立製作所 ストレージシステム及びストレージシステムにおけるデータ送受信方法
JP3730907B2 (ja) 2001-12-04 2006-01-05 日本電気株式会社 ディスクアレイ装置間の遠隔データコピー方式
US7127568B2 (en) * 2003-01-23 2006-10-24 Hitachi, Ltd. Throttling in storage systems
JP2004259079A (ja) * 2003-02-27 2004-09-16 Hitachi Ltd データ処理システム
JP2004334574A (ja) 2003-05-08 2004-11-25 Hitachi Ltd ストレージの運用管理プログラム、運用管理方法及び管理計算機
US7120825B2 (en) * 2003-06-06 2006-10-10 Hewlett-Packard Development Company, L.P. Adaptive batch sizing for asynchronous data redundancy
JP4419460B2 (ja) * 2003-08-04 2010-02-24 株式会社日立製作所 リモートコピーシステム
JP4291664B2 (ja) * 2003-10-14 2009-07-08 株式会社日立製作所 通信バッファ予約機能を備えるストレージ装置およびシステム
JP4549709B2 (ja) * 2004-03-23 2010-09-22 株式会社日立製作所 ストレージ装置

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008192058A (ja) * 2007-02-07 2008-08-21 Nec Corp ファイルのリモートコピー装置、方法およびプログラム
US8468314B2 (en) 2007-05-01 2013-06-18 Fujitsu Limited Storage system, storage apparatus, and remote copy method for storage apparatus in middle of plural storage apparatuses
WO2008139545A1 (ja) * 2007-05-01 2008-11-20 Fujitsu Limited ストレージシステム、ストレージ装置、リモートコピー方法
JPWO2008139545A1 (ja) * 2007-05-01 2010-07-29 富士通株式会社 ストレージシステム、ストレージ装置、リモートコピー方法
WO2008152691A1 (ja) * 2007-06-12 2008-12-18 Fujitsu Limited リモートコピー方法及びストレージシステム
JP2010039574A (ja) * 2008-07-31 2010-02-18 Fujitsu Ltd ストレージシステム
US9128621B2 (en) 2008-07-31 2015-09-08 Fujitsu Limited Storage system control method
US9032161B2 (en) 2008-07-31 2015-05-12 Fujitsu Limited Storage system control method
US8862843B2 (en) 2009-01-09 2014-10-14 Fujitsu Limited Storage system, backup storage apparatus, and backup control method
JP2010191615A (ja) * 2009-02-17 2010-09-02 Fujitsu Ltd コピー制御装置
JP2010218320A (ja) * 2009-03-18 2010-09-30 Fujitsu Ltd ストレージ装置
JP4703738B2 (ja) * 2009-03-18 2011-06-15 富士通株式会社 ストレージ装置
JP2011086006A (ja) * 2009-10-13 2011-04-28 Fujitsu Ltd 記憶装置、制御装置および記憶装置の制御方法
US8589646B2 (en) 2009-10-13 2013-11-19 Fujitsu Limited Storage apparatus and method for storage apparatus
US8453009B2 (en) 2009-10-16 2013-05-28 Fujitsu Limited Storage apparatus and control method for storage apparatus
JP2011086160A (ja) * 2009-10-16 2011-04-28 Fujitsu Ltd 記憶装置、制御装置および記憶装置の制御方法
JP2011150602A (ja) * 2010-01-22 2011-08-04 Fujitsu Ltd 記憶装置、制御装置および記憶装置の制御方法
JP2011158948A (ja) * 2010-01-29 2011-08-18 Fujitsu Ltd ストレージ装置、ストレージ装置の制御方法及びストレージ装置の制御プログラム
JP2011164750A (ja) * 2010-02-05 2011-08-25 Fujitsu Ltd ストレージ装置、ストレージ装置制御プログラムおよびストレージ装置制御方法
US8769195B2 (en) 2010-02-05 2014-07-01 Fujitsu Limited Storage apparatus and storage apparatus control method
US8745150B2 (en) 2010-03-31 2014-06-03 Fujitsu Limited Storage control apparatus and storage control method
JP2012003600A (ja) * 2010-06-18 2012-01-05 Fujitsu Ltd 記憶装置、制御装置および記憶装置の制御方法
JP2013527942A (ja) * 2010-07-16 2013-07-04 株式会社日立製作所 記憶制御装置、又は複数の当該記憶制御装置を有する記憶システム
US8756392B2 (en) 2010-07-16 2014-06-17 Hitachi, Ltd. Storage control apparatus and storage system comprising multiple storage control apparatuses
JP2012022584A (ja) * 2010-07-16 2012-02-02 Fujitsu Ltd データコピー装置、データコピー方法およびストレージ装置
JP2010244583A (ja) * 2010-08-02 2010-10-28 Fujitsu Ltd ストレージシステム
US9170739B2 (en) 2011-08-17 2015-10-27 Fujitsu Limited Relay apparatus and relay method
JP2013041520A (ja) * 2011-08-19 2013-02-28 Nippon Telegr & Teleph Corp <Ntt> データ保持システム、データ保持装置及びデータ保持方法
US8930485B2 (en) 2011-09-22 2015-01-06 Fujitsu Limted Information processing apparatus and non-transitory computer-readable recording medium having program stored thereon
US8806163B2 (en) 2011-10-04 2014-08-12 Fujitsu Limited Storage system and storage system network
US8972634B2 (en) 2012-08-02 2015-03-03 Fujitsu Limited Storage system and data transfer method
US9342418B2 (en) 2013-07-23 2016-05-17 Fujitsu Limited Storage system, storage control device and data transfer method
US10007467B2 (en) 2016-03-14 2018-06-26 Fujitsu Limited Storage system
JP2022510460A (ja) * 2019-05-05 2022-01-26 ▲騰▼▲訊▼科技(深▲セン▼)有限公司 データレプリケーション方法、装置、コンピュータ機器及びコンピュータプログラム
JP7271670B2 (ja) 2019-05-05 2023-05-11 ▲騰▼▲訊▼科技(深▲セン▼)有限公司 データレプリケーション方法、装置、コンピュータ機器及びコンピュータプログラム
US11921746B2 (en) 2019-05-05 2024-03-05 Tencent Technology (Shenzhen) Company Limited Data replication method and apparatus, computer device, and storage medium

Also Published As

Publication number Publication date
CN100437497C (zh) 2008-11-26
JP4355674B2 (ja) 2009-11-04
KR20060101170A (ko) 2006-09-22
US20060212668A1 (en) 2006-09-21
KR100705377B1 (ko) 2007-04-12
US7971011B2 (en) 2011-06-28
CN1834933A (zh) 2006-09-20

Similar Documents

Publication Publication Date Title
JP4355674B2 (ja) リモートコピー方法及びストレージシステム
US6950915B2 (en) Data storage subsystem
JP4037257B2 (ja) 情報処理システムの制御方法、情報処理システム、及びプログラム
JP2894676B2 (ja) 非同期式遠隔コピー・システム及び非同期式遠隔コピー方法
US6345368B1 (en) Fault-tolerant access to storage arrays using active and quiescent storage controllers
US7953947B2 (en) Creating a snapshot based on a marker transferred from a first storage system to a second storage system
JP3694273B2 (ja) 多重パスi/o要求機構を有するデータ処理システム
JP4412989B2 (ja) 複数の記憶システムを有するデータ処理システム
JP3730907B2 (ja) ディスクアレイ装置間の遠隔データコピー方式
JP2003263352A (ja) Ipネットワーク上の遠隔データファシリティ
JP4074072B2 (ja) データの完全性を備えるリモートコピーシステム
CN101755257B (zh) 管理在不同的网络上将写入从首要存储器拷贝到次要存储器
JP2005258918A (ja) ストレージシステムおよびストレージシステムのキャッシュメモリ制御方法
JP2006227964A (ja) ストレージシステム、処理方法及びプログラム
US9342418B2 (en) Storage system, storage control device and data transfer method
JP2009026091A (ja) 接続管理プログラム、接続管理方法および情報処理装置
WO2009074031A1 (fr) Procédé de sauvegarde de données et système de traitement d&#39;application
JP2007080012A (ja) 再起動方法、システム及びプログラム
CN105005515A (zh) 一种LAN-free备份系统
JP4997784B2 (ja) データ記憶システム、データ記憶方法、データ記憶プログラム
JP4721057B2 (ja) データ管理システム,データ管理方法及びデータ管理用プログラム
JP4452494B2 (ja) 複数リモートストレージでのリモートコピー停止後のデータ同期化方式
JP2004272884A5 (ja)
JP2008047029A (ja) ストレージシステム及びキャッシュの冗長化方法とコンピュータプログラム
JPWO2004027625A1 (ja) ストレージ制御装置、ストレージ制御プログラムおよびストレージ制御方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090319

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090728

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090803

R150 Certificate of patent or registration of utility model

Ref document number: 4355674

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120807

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120807

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130807

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees