JP2002351622A - Data transfer control method and external storage system using the same - Google Patents

Data transfer control method and external storage system using the same

Info

Publication number
JP2002351622A
JP2002351622A JP2001154781A JP2001154781A JP2002351622A JP 2002351622 A JP2002351622 A JP 2002351622A JP 2001154781 A JP2001154781 A JP 2001154781A JP 2001154781 A JP2001154781 A JP 2001154781A JP 2002351622 A JP2002351622 A JP 2002351622A
Authority
JP
Japan
Prior art keywords
external storage
volume
data
storage device
control device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001154781A
Other languages
Japanese (ja)
Other versions
JP2002351622A5 (en
JP4231633B2 (en
Inventor
Masamitsu Takahashi
正充 高橋
Shigeru Kijiro
茂 木城
Masaji Ozawa
匡二 小澤
Nobuaki Nakamura
展章 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Software Engineering Co Ltd
Hitachi Ltd
Original Assignee
Hitachi Software Engineering Co Ltd
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Software Engineering Co Ltd, Hitachi Ltd filed Critical Hitachi Software Engineering Co Ltd
Priority to JP2001154781A priority Critical patent/JP4231633B2/en
Publication of JP2002351622A publication Critical patent/JP2002351622A/en
Publication of JP2002351622A5 publication Critical patent/JP2002351622A5/en
Application granted granted Critical
Publication of JP4231633B2 publication Critical patent/JP4231633B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To provide efficiently perform a data duplex operation by realizing a multiplexed processing of data transfer to the same volume in the case of transferring data from an external storage controller on the original side to an external storage controller on the duplicated side when writing requests from the host device are concentrated on one specific volume in the external storage devices to duplex written data from the host device. SOLUTION: Multiplexed transfer of the data is performed to the same volume viewed from the host device by using a preliminarily defined volume without influencing write from the host device and different from the one specified by the host device as dummy and transferring information via a vacant interface when a further transfer request is given to the volume transferring the data in the case of transferring the data from the external storage controller on the original side to the external storage controller on the duplicated side. This method has effects that transferability of an interface is utilized to the utmost and multiplexed storage of the data is efficiently realized since a bottleneck problem due to congestion of a part of an interface with physically high transferability is dissolved and a vacant path is utilized in such an interface.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、上位装置に接続さ
れた外部記憶装置が更に別の外部記憶装置に接続された
外部記憶システムにおいて、データの多重格納を行うに
際し、正側外部記憶装置から副側外部記憶装置へデータ
を転送するインターフェースの混雑を緩和する技術に関
する。
BACKGROUND OF THE INVENTION The present invention relates to an external storage device connected to a higher-level device, which stores multiple data in an external storage system connected to another external storage device. The present invention relates to a technique for reducing congestion of an interface for transferring data to a secondary external storage device.

【0002】[0002]

【従来の技術】上位装置で使用するデータを複数の外部
記憶装置に保持する方法として、同一データを保持する
ことが行われている。例えば、異なる正副の外部記憶制
御装置の配下にそれぞれ正副の記憶装置ユニット(ボリ
ューム)を設け、その外部記憶制御装置間を上位装置を
介さずに接続し、正側の外部記憶制御装置で受領した書
き込み要求を正側外部記憶制御装置が、副側外部記憶制
御装置に発行することで、正副の記憶装置ユニットのデ
ータの一致を図っている。
2. Description of the Related Art As a method of holding data used by a host device in a plurality of external storage devices, the same data is held. For example, primary and secondary storage units (volumes) are provided under different primary and secondary external storage controllers, and the external storage controllers are connected without passing through a higher-level device, and received by the primary external storage controller. The primary external storage controller issues a write request to the secondary external storage controller so that the data in the primary and secondary storage units match.

【0003】また、データの一致を図る手段として、上
位装置からの書き込みデータに対して、上位装置からの
書き込み命令で指定された正側記憶装置ユニットのボリ
ュームとペアになっている副側記憶装置ユニットのボリ
ュームを指定して、正側外部記憶制御装置が副側外部記
憶制御装置に書き込み要求を発行することによって、ボ
リューム単位で正側外部記憶制御装置から副側外部記憶
制御装置にデータを順次転送する方法が一般的にとられ
ている。
As means for matching data, a secondary storage device paired with a volume of a primary storage device unit designated by a write command from a higher-level device for write data from a higher-level device. The primary external storage controller issues a write request to the secondary external storage controller by specifying the volume of the unit, and data is sequentially transferred from the primary external storage controller to the secondary external storage controller in volume units. The method of transferring is generally adopted.

【0004】一方、近年のデータ処理量の増大に伴い、
上位装置からの書き込み要求に対する正側記憶装置ユニ
ットへのデータ書き込み性能と同様に、正側外部記憶制
御装置からの書き込み要求に対する副側記憶装置ユニッ
トへのデータ書き込み性能の向上が求められている。
On the other hand, with the recent increase in the amount of data processing,
Similar to the performance of writing data to the primary storage device unit in response to a write request from a higher-level device, there is a demand for improvement in the performance of writing data to the secondary storage device unit in response to a write request from the primary external storage control device.

【0005】[0005]

【発明が解決しようとする課題】データの入出力をボリ
ューム単位に処理することは、上位装置のオペレーティ
ングシステム(OS)との入出力インターフェースで、
古くから使われてきた手法である。このため、正副外部
記憶制御装置間についても、データの入出力をボリュー
ム単位に処理することは、互換性を保持すると言う面で
は有効な技術とも思われる。
The processing of data input / output on a volume basis is performed by an input / output interface with an operating system (OS) of a host device.
This method has been used since ancient times. For this reason, processing of data input / output on a volume basis also between the primary and secondary external storage controllers seems to be an effective technique in terms of maintaining compatibility.

【0006】尚、ここでボリュームとは、古くは記憶装
置ユニットと物理的に一致する概念であったが、最近で
は記憶装置ユニットの記憶容量の拡大に伴い必ずしも記
憶装置ユニットと物理的に一致しない概念となった。1
つの記憶装置ユニットに複数のボリュームが含まれるこ
ともある一方で、1つのボリュームを複数の記憶装置ユ
ニットで構成することもある。
Here, the term “volume” used to be a concept that physically matches a storage device unit in the past, but recently does not always match a storage device unit as the storage capacity of the storage device unit increases. Became a concept. 1
One storage device unit may include a plurality of volumes, while one volume may include a plurality of storage device units.

【0007】何ら措置することなく上記のボリューム単
位の処理技術を実施すると、上位装置からの書き込み要
求が特定の1つのボリュームに集中した場合に、正副の
外部記憶制御装置間におけるデータ転送を、ボリューム
単位で行わざるを得ず、1つのデータの転送が終了する
まで次のデータが転送できないこととなる。なぜなら副
側の記憶装置ユニットの対応するボリュームへの転送
が、順次、処理されることになるからである。このため
インターフェースの一部を使用するのみとなり、結果と
して正副外部記憶制御装置間の物理的転送能力を活かし
きれず性能が向上しない。本発明の目的は、上位装置か
ら受領した書き込みデータを正側外部記憶制御装置から
副側外部記憶制御装置に転送する過程に於いて、上位装
置からの書き込み要求が特定の1つのボリュームに集中
した場合であっても、正側ボリュームから対応する副側
ボリュームへのデータ転送を多重処理することによっ
て、インターフェースの物理的転送能力を活用でき、デ
ータの多重格納の向上を実現可能にするデータ転送制御
方法及びこれを用いた外部記憶装置を提供することにあ
る。
If the above-described volume-based processing technology is implemented without any measures, when write requests from a host device are concentrated on a specific one volume, data transfer between the primary and secondary external storage control devices is reduced to a volume. The transfer must be performed in units, and the next data cannot be transferred until the transfer of one data is completed. This is because the transfer to the corresponding volume of the secondary storage unit is processed sequentially. Therefore, only a part of the interface is used. As a result, the physical transfer capability between the primary and secondary external storage controllers cannot be fully utilized, and the performance is not improved. An object of the present invention is to transfer write data received from a host device from a primary external storage control device to a secondary external storage control device, in which write requests from the host device concentrate on one specific volume. Even in such a case, the data transfer control that allows the physical transfer capability of the interface to be utilized by multiplexing the data transfer from the primary volume to the corresponding secondary volume, thereby realizing improved multiplex storage of data. An object of the present invention is to provide a method and an external storage device using the same.

【0008】ここで多重処理とは、巨視的に見て、複数
のインターフェースが、同時に並行して動作すること
で、そのインターフェースの転送能力を十分に発揮する
ことをいう。複数のインターフェースの各々は、別個の
マイクロプロセッサを有している。
Here, the term "multiplex processing" means that a plurality of interfaces operate at the same time in a macroscopic manner so that the transfer capability of the interfaces is sufficiently exhibited. Each of the plurality of interfaces has a separate microprocessor.

【0009】[0009]

【課題を解決するための手段】上位装置からの書き込み
命令を受領した外部記憶制御装置(以下、正側外部記憶
制御装置と呼ぶ)が、自己の配下の記憶装置ユニットが
格納するデータと同一のデータを保持すべく、別の外部
記憶制御装置(以下、副側外部記憶制御装置と呼ぶ)配
下の記憶装置ユニット(以下、副側記憶装置ユニットと
呼ぶ)に対して、書き込みを行うことでデータ多重化を
実現する外部記憶システムにおいて、正側外部記憶制御
装置から副側外部記憶制御装置へデータを転送するに際
し、上位装置から受領した書き込みデータを正側のボリ
ュームへ格納する書き込み命令とは非同期に、副側のボ
リュームにもデータ転送を多重で行い、格納することを
可能とする制御方法を使用し、その手段を設けることで
解決する。
An external storage control device (hereinafter referred to as a primary external storage control device) that has received a write command from a higher-level device has the same data as the data stored in its own storage device unit. In order to retain data, data is written to a storage device unit (hereinafter, referred to as a secondary storage device unit) under another external storage control device (hereinafter, referred to as a secondary external storage control device). In an external storage system that implements multiplexing, when data is transferred from the primary external storage controller to the secondary external storage controller, it is asynchronous with the write command that stores the write data received from the higher-level device in the primary volume. The problem is solved by using a control method that enables multiplexed data transfer to the secondary volume and storing the data, and providing the means.

【0010】ここで非同期とは、正側外部記憶制御装置
から副側外部記憶制御装置へのデータ転送と、正側外部
記憶制御装置におけるデータ処理とが同期していないこ
とをいう。換言すれば、副側外部記憶制御装置からデー
タを受領した旨の応答を待たずに正側外部記憶制御装置
がデータを処理することをいう。
Here, "asynchronous" means that data transfer from the primary external storage controller to the secondary external storage controller is not synchronized with data processing in the primary external storage controller. In other words, this means that the primary external storage controller processes the data without waiting for a response to the effect that the data has been received from the secondary external storage controller.

【0011】また、正側外部記憶制御装置から副側外部
記憶制御装置に転送する際に、例えば、上位装置からの
書き込み要求が特定の1つのボリュームに集中した場合
に、予め設けられた上位装置からの書き込みに影響しな
い、又は、上位装置からの書き込みを禁止している正側
のボリュームを用いて、これらとペアとなっている副側
のボリュームへ情報を転送する際に、制御情報を別の制
御情報に変換し、空いているインターフェースを用いて
転送し、副側外部記憶制御装置において、これを副側の
外部記憶置に適したものに変換する手段を設けることで
解決する。
In transferring data from the primary external storage control device to the secondary external storage control device, for example, when a write request from a higher-level device is concentrated on one specific volume, a higher-level device provided in advance is used. When information is transferred to a secondary volume that is paired with a primary volume that does not affect writing from the primary device or that prohibits writing from the higher-level device, control information is separated. The problem is solved by providing means for converting the control information into an information suitable for the secondary external storage device in the secondary external storage control device.

【0012】[0012]

【発明の実施の形態】以下、本発明の実施の形態を図面
を用いて詳細に説明する。図1は、外部記憶システムの
構成例(概念図)である。上位装置であるホスト1に接
続される外部記憶システムは、正側ディスク制御装置2
及び副側ディスク制御装置4を有する。
Embodiments of the present invention will be described below in detail with reference to the drawings. FIG. 1 is a configuration example (conceptual diagram) of an external storage system. An external storage system connected to the host 1, which is a higher-level device, includes a primary disk controller 2
And a secondary disk control device 4.

【0013】正側ディスク制御装置2は、ホスト1とイ
ンターフェースケーブル13にて結合されるチャネルポ
ート10、これに接続されるマイクロプロセッサ6、キ
ャッシュメモリ8、及び、複数のディスクボリューム2
5を有する正側ディスク装置3を有し、更に、正側チャ
ネルポート11を介して、副側ディスク制御装置4に接
続される。
The primary disk controller 2 includes a channel port 10 connected to the host 1 by an interface cable 13, a microprocessor 6 connected thereto, a cache memory 8, and a plurality of disk volumes 2.
5 is connected to the secondary disk controller 4 via the primary channel port 11.

【0014】尚、チャネルポート10及び11、マイク
ロプロセッサ6は、それぞれ、1個であるかのごとく図
1で示されているが、チャネルポート10、マイクロプ
ロセッサ6、チャネルポート11の情報伝達経路が、複
数、設けられても良い。この場合には、副側ディスク制
御装置4においても、チャネルポート12、マイクロプ
ロセッサ7の情報伝達経路も複数設けられ、転送すべき
情報の円滑な多重処理が可能となる。
Although each of the channel ports 10 and 11 and the microprocessor 6 is shown in FIG. 1 as if it were one, the information transmission path of the channel port 10, the microprocessor 6 and the channel port 11 is , May be provided. In this case, the secondary disk control device 4 is also provided with a plurality of information transmission paths for the channel port 12 and the microprocessor 7, so that the information to be transferred can be smoothly multiplexed.

【0015】副側ディスク制御装置4は、インターフェ
ースケーブル14に結合される副側チャネルポート12
を介して、正側ディスク制御装置2に接続される。正側
チャネルポート11、インターフェースケーブル14、
及び副側チャネルポート12は、ディスク制御装置間チ
ャネルを形成している。インターフェースケーブル14
は任意の情報通信網であってもよい。副側ディスク制御
装置4は、チャネルポート12に接続されるマイクロプ
ロセッサ7、キャッシュメモリ9、複数のディスクボリ
ューム26を有する副側ディスク装置5を有する。
The secondary disk controller 4 includes a secondary channel port 12 connected to an interface cable 14.
Is connected to the primary-side disk control device 2. Positive channel port 11, interface cable 14,
The secondary channel port 12 forms a channel between disk controllers. Interface cable 14
May be any information communication network. The secondary disk control device 4 includes a microprocessor 7 connected to the channel port 12, a cache memory 9, and a secondary disk device 5 having a plurality of disk volumes 26.

【0016】正側ディスク制御装置2のマイクロプロセ
ッサ6は、コマンド処理部15、スケジュール処理部1
6、データ転送処理部17、デステージ処理部18を有
し、キャッシュメモリ8はキュー19を含んでいる。コ
マンド処理部15、スケジュール処理部16、データ転
送処理部17、デステージ処理部18の各信号処理手段
は、正側ディスク制御装置2が内蔵するマイクロプロセ
ッサ6が実行するマイクロプログラムによって実現され
る機能ブロックである。それぞれの動作や処理について
は後述する。副側ディスク制御装置4のマイクロプロセ
ッサ7は、コマンド処理部23、デステージ処理部24
を有し、これら各信号処理手段は、副側ディスク制御装
置4が内蔵するマイクロプロセッサ7が実行するマイク
ロプログラムによって実現される機能ブロックである。
それぞれの動作処理については後述する。
The microprocessor 6 of the primary disk control device 2 includes a command processing unit 15, a schedule processing unit 1
6, a data transfer processing unit 17 and a destage processing unit 18, and the cache memory 8 includes a queue 19. The signal processing units of the command processing unit 15, the schedule processing unit 16, the data transfer processing unit 17, and the destage processing unit 18 are functions implemented by a microprogram executed by the microprocessor 6 built in the primary disk control device 2. It is a block. Each operation and processing will be described later. The microprocessor 7 of the secondary disk control device 4 includes a command processing unit 23, a destage processing unit 24
Each of these signal processing means is a functional block realized by a microprogram executed by the microprocessor 7 incorporated in the secondary disk control device 4.
Each operation process will be described later.

【0017】図2は、図1の外部記憶システムに於い
て、正副の一致を図ろうとするボリュームのペアの一例
を示す概念図である。また、パス14a、パス14b、
パス14c、パス14dはインターフェースケーブル1
4上の論理的なパスを表している。本実施例では4本の
パスを定義しているが、実際のシステムでは何本でも構
わない。
FIG. 2 is a conceptual diagram showing an example of a volume pair for which primary and secondary coincidence is to be achieved in the external storage system of FIG. Also, the path 14a, the path 14b,
Path 14c and path 14d are interface cables 1
4 represents a logical path. Although four paths are defined in this embodiment, any number of paths may be used in an actual system.

【0018】正側ディスク装置3におけるボリューム2
5aは、副側ディスク装置5におけるボリューム26a
と正副一致を図るペアaを形成し、以下同様に、25b
と26b、25cと26c、25dと26dは、それぞ
れ、ペアb、ペアc、ペアdを形成する。但し、正側デ
ィスク装置3におけるボリューム25bとボリューム2
5cはホスト1が使用することのない、または読み書き
を禁止しているボリュームであるため、ペアbとペアc
は、実際に正副一致を図る必要はなく、ダミーのペアと
して定義している。これらダミーのペアb、cのボリュ
ームは、ホスト1からは認識されていないため、ボリュ
ーム容量を有効に使うためにもホストが認識する容量で
ある必要はなく、ボリュームとして定義できる最少の容
量でかまわない。例えば、1シリンダ分の容量だけの定
義でもかまわない。また、これらダミーのペアbとcは
ペアaに対するダミーとして定義する。これらダミーペ
アの定義は普通のペアの定義と同様、正側ディスク装置
3のコンソール画面からの操作で行われる。
Volume 2 in Primary Disk Unit 3
5a is a volume 26a in the secondary disk device 5.
To form a pair a that matches the positive and the negative.
And 26b, 25c and 26c, and 25d and 26d form a pair b, a pair c, and a pair d, respectively. However, the volume 25b and the volume 2 in the primary disk device 3
5c is a volume which is not used by the host 1 or whose volume is prohibited from being read / written.
Is defined as a dummy pair without having to actually try to match the two. Since the volumes of these dummy pairs b and c are not recognized by the host 1, the volumes need not be recognized by the host in order to effectively use the volume capacity, and may be the minimum capacity that can be defined as a volume. Absent. For example, a definition of only the capacity for one cylinder may be used. Further, these dummy pairs b and c are defined as a dummy for the pair a. The definition of these dummy pairs is performed by an operation from the console screen of the primary disk device 3, as in the definition of ordinary pairs.

【0019】次に、図1を用いて動作の処理を詳細に説
明する。ホスト1から発行された書き込み要求は、正側
ディスク制御装置2のチャネルポート10で受信され、
マイクロプロセッサ6へ送られて、コマンド処理部15
で実行される。コマンド処理部15では、ホスト1から
送付されたライトデータをキャッシュメモリ8に書き込
んでライトデータ22とするとともに、当該ライトデー
タ22と一対一に対応し、かつ、ホストが指定した書き
込み先ボリューム番号等の制御情報21を作成する。制
御情報21がキュー19に設定されると、ホスト1に対
して書き込み完了報告が為され、こうしてホストからの
書き込み要求を順次、受け付ける。
Next, the processing of the operation will be described in detail with reference to FIG. The write request issued from the host 1 is received by the channel port 10 of the primary disk control device 2,
The command is sent to the microprocessor 6 and sent to the command processing unit 15.
Executed in The command processing unit 15 writes the write data sent from the host 1 to the cache memory 8 to generate the write data 22, and has a one-to-one correspondence with the write data 22, and specifies a write destination volume number or the like designated by the host. Is created. When the control information 21 is set in the queue 19, a write completion report is made to the host 1, and thus write requests from the host are sequentially accepted.

【0020】図3は、正側ディスク制御装置2のキャッ
シュメモリ8上に、ホスト1からの5セット分のライト
データ22aからライトデータ22eが、待機している
例である。この例では、ライトデータ22a、22c、
22d、22eは、図2の正側ディスク装置3のボリュ
ーム25a、ボリューム#1aへの書き込みデータであ
り、ライトデータ22bだけが同正側ディスク装置3の
ボリューム25d、ボリューム#1dへの書き込みデー
タである。
FIG. 3 shows an example in which five sets of write data 22a to 22e from the host 1 are waiting on the cache memory 8 of the primary disk controller 2. In this example, the write data 22a, 22c,
22d and 22e are write data to the volume 25a and volume # 1a of the primary disk device 3 in FIG. 2, and only the write data 22b is write data to the volume 25d and volume # 1d of the primary disk device 3. is there.

【0021】これらの各ライトデータ22a〜22eに
は、それぞれ一対一に対応した制御情報21a〜21e
が作られ、キュー19に設定されている。尚、各制御情
報21には書き込み先ボリューム番号等の制御情報が含
まれている。
Each of the write data 22a to 22e has one-to-one control information 21a to 21e.
Is set in the queue 19. Each control information 21 includes control information such as a write destination volume number.

【0022】次に、マイクロプロセッサ6のスケジュー
ル処理部16では、キュー19内の制御情報21を順次
取り出し、正側ディスク装置3に書き込むボリューム番
号を、これとペアになっている副側ディスク装置5のボ
リューム番号に変換し、転送処理部17に制御を引き渡
す(図1)。転送処理部17では、制御情報21とライ
トデータ22を副側ディスク制御装置4に、チャネルポ
ート11、インターフェース14、チャネルポート12
を介して転送する。
Next, the schedule processing section 16 of the microprocessor 6 sequentially retrieves the control information 21 in the queue 19 and writes the volume number to be written to the primary disk device 3 to the paired secondary disk device 5. And transfers the control to the transfer processing unit 17 (FIG. 1). In the transfer processing unit 17, the control information 21 and the write data 22 are transmitted to the secondary disk control device 4 by the channel port 11, the interface 14, and the channel port 12.
To transfer through.

【0023】図4は、図3で示した制御情報21とライ
トデータ22を転送する方法を示す例である。まずキュ
ー19から取り出された制御情報21aは、正側ディス
ク装置3のボリューム25a、ボリューム#1aとペア
になっている副側ディスク装置5のボリューム26a、
ボリューム#2aへ、ライトデータ22aとともに論理
パス14aを通じて副側ディスク制御装置4に転送され
る。
FIG. 4 shows an example of a method for transferring the control information 21 and the write data 22 shown in FIG. First, the control information 21a extracted from the queue 19 includes the volume 25a of the primary disk device 3, the volume 26a of the secondary disk device 5 paired with the volume # 1a,
The data is transferred to the secondary disk controller 4 via the logical path 14a together with the write data 22a to the volume # 2a.

【0024】次にキュー19から取り出された制御情報
21bは、正側ディスク装置3のボリューム25d、ボ
リューム#1dとペアになっている副側ディスク装置5
のボリューム26d、ボリューム#2dへ、ライトデー
タ22bと共に、上記ペアaが使用している論理パス1
4a以外の論理パス14dを通じて副側ディスク制御装
置4に転送される。
Next, the control information 21b extracted from the queue 19 is stored in the secondary disk device 5 paired with the volume 25d and volume # 1d of the primary disk device 3.
Logical volume 1 used by the pair a together with the write data 22b to the volume 26d and volume # 2d.
The data is transferred to the secondary disk control device 4 through the logical path 14d other than the logical path 4a.

【0025】次に、キュー19から取り出された制御情
報21cは、正側ディスク装置3のボリューム25a、
ボリューム#1aとペアになっている副側ディスク装置
5のボリューム26a、ボリューム#2aへ、ライトデ
ータ22cとともに副側ディスク制御装置4に転送され
ることになる。しかし、副側ディスク装置5のボリュー
ム26a、ボリューム#2aへの書き込みに関しては、
制御情報21a'とそのライトデータ22aが転送中で
あり、論理パス14aも使われている。このため使用可
能なダミーのペアであるペアb(図2)を使用する。図
2の例では、ボリューム#1b、ボリューム#1cは、
ホスト1は使用しない設定になっている。マイクロプロ
セッサ6(図1)は、書き込み先ボリュームを副側ディ
スク装置5のボリューム26b(ボリューム#2b)と
変換し、ライトデータ22cと共に論理パス14bを使
用して副側ディスク制御装置4に転送する。
Next, the control information 21c extracted from the queue 19 is stored in the volume 25a of the primary disk device 3,
The write data 22c and the write data 22c are transferred to the secondary disk control device 4 to the volume 26a and the volume # 2a of the secondary disk device 5 paired with the volume # 1a. However, regarding writing to the volume 26a and volume # 2a of the secondary disk device 5,
The control information 21a 'and its write data 22a are being transferred, and the logical path 14a is also used. Therefore, the pair b (FIG. 2), which is a usable dummy pair, is used. In the example of FIG. 2, volume # 1b and volume # 1c are
The host 1 is set not to be used. The microprocessor 6 (FIG. 1) converts the write destination volume to the volume 26b (volume # 2b) of the secondary disk device 5, and transfers it to the secondary disk control device 4 using the logical path 14b together with the write data 22c. .

【0026】同様に、次にキュー19から取り出された
制御情報21dは、使われていないダミーのペアである
ペアcを使用し(図2)、書き込み先ボリュームを副側
ディスク装置5のボリューム26c、ボリューム#2c
に変換し、ライトデータ22dと共に論理パス14cを
使用して副側ディスク制御装置4に転送する。
Similarly, the control information 21d extracted from the queue 19 next uses the pair c which is an unused dummy pair (FIG. 2), and sets the write destination volume to the volume 26c of the secondary disk device 5. , Volume # 2c
And the data is transferred to the secondary disk control device 4 using the logical path 14c together with the write data 22d.

【0027】以上は、ボリューム25の個数とインター
フェース14を構成する論理パス14a〜14dの本数
が4の場合であるが、論理パスの本数を増加させればダ
ミーのペア数も増加可能であり、転送がより円滑に行わ
れる。
The above is the case where the number of volumes 25 and the number of logical paths 14a to 14d constituting the interface 14 are 4, but if the number of logical paths is increased, the number of dummy pairs can be increased. The transfer is performed more smoothly.

【0028】デステージ処理部18は、上記の各処理と
は非同期に実行される。デステージ処理部18では、キ
ャッシュメモリ8に格納された、それぞれのライトデー
タ22を正側ディスク装置3の目的のボリューム25に
格納する。
The destage processing section 18 is executed asynchronously with each of the above-mentioned processes. The destage processing unit 18 stores each write data 22 stored in the cache memory 8 in a target volume 25 of the primary disk device 3.

【0029】正側ディスク制御装置2から発行された書
き込み要求は、チャネルポート11、インターフェース
14、チャネルポート12を経由して、副側ディスク制
御装置4のマイクロプロセッサ7に受け付けられ、コマ
ンド処理23で実行される。コマンド処理23では、マ
イクロプロセッサ7が、正側ディスク制御装置2から転
送された制御情報21'、例えば、図4に示すように制
御情報21a'、21b'、21c'、21d'の書き込み
先ボリュームを、元の書き込み先ボリュームに変換し、
ライトデータ22(22a、22b、22c、22d)
と共にキャッシュメモリ9に書き込み、正側ディスク制
御装置2に対して書き込み完了報告を行い、順次書き込
み要求を受け付ける状態で待機する。
The write request issued from the primary disk controller 2 is received by the microprocessor 7 of the secondary disk controller 4 via the channel port 11, the interface 14, and the channel port 12, and the command processing 23 Be executed. In the command processing 23, the microprocessor 7 writes the control information 21 'transferred from the primary disk control device 2, for example, the write destination volume of the control information 21a', 21b ', 21c', 21d 'as shown in FIG. To the original destination volume,
Write data 22 (22a, 22b, 22c, 22d)
At the same time, the data is written to the cache memory 9, a write completion report is sent to the primary disk control device 2, and the system waits in a state of sequentially receiving write requests.

【0030】図5は、副側ディスク制御装置4のキャッ
シュメモリ9上に正側ディスク制御装置2からのライト
データ22、例えば、ライトデータ22a、ライトデー
タ22b、ライトデータ22c、ライトデータ22d、
ライトデータ22eが書き込まれている概念を示す図で
ある。
FIG. 5 shows that the write data 22 from the primary disk control device 2, for example, the write data 22a, the write data 22b, the write data 22c, the write data 22d, and the like from the primary disk control device 2 are stored in the cache memory 9 of the secondary disk control device 4.
It is a figure showing the concept in which write data 22e was written.

【0031】ライトデータ22aは、図3の制御情報2
1a及びライトデータ22aのセットに対応するよう
に、書き込み先ボリュームがボリューム26a、ボリュ
ーム#2aの制御情報21a”とセットになるよう、キ
ャッシュメモリ9に格納される。正側ディスク制御装置
のキャッシュメモリ8における制御情報21a、ボリュ
ーム#1aは、副側ディスク制御装置のキャッシュメモ
リ9において、制御情報21a”、ボリューム#2aへ
と変換される。ライトデータ22bは、書き込み先ボリ
ュームをボリューム26d、ボリューム#2dとする制
御情報21b”とセットとなるよう、格納される。同様
に、ライトデータ22c、22d、及び22eは、それ
ぞれ、書き込み先ボリュームをボリューム26a、ボリ
ューム#2aの制御情報21c”、ボリューム26a、
ボリューム#2aの制御情報21d”、及びボリューム
26a、ボリューム#2aの制御情報21e”とセット
となるよう、キャッシュメモリ9に格納される。最後に
デステージ処理部24は、上記各処理とは非同期に実行
され、キャッシュメモリ9のそれぞれのライトデータ2
2(22a、22b、22c、22d、22e)が、副
側ディスク装置5の目的のボリューム26に格納され
る。
The write data 22a corresponds to the control information 2 shown in FIG.
1a and the write data 22a are stored in the cache memory 9 so that the write destination volume is set with the control information 21a ″ of the volume 26a and volume # 2a. The cache memory of the primary disk control device 8 is converted into control information 21a ″ and volume # 2a in the cache memory 9 of the secondary disk control device. The write data 22b is stored so as to be set with the control information 21b ″ that sets the write destination volume to the volume 26d and the volume # 2d. Similarly, the write data 22c, 22d, and 22e respectively Volume 26a, control information 21c ″ of volume # 2a, volume 26a,
The control information 21d "of the volume # 2a and the control information 21e" of the volume 26a and the volume # 2a are stored in the cache memory 9 as a set. Finally, the destage processing unit 24 is executed asynchronously with each of the above-described processes, and stores the respective write data 2 in the cache memory 9.
2 (22a, 22b, 22c, 22d, 22e) are stored in the target volume 26 of the secondary disk device 5.

【0032】[0032]

【発明の効果】本発明によれば、上位装置から受領した
書き込みデータを副側外部記憶制御装置に受け渡す過程
に於いて、上位装置から指定されたボリュームとは異な
る、上位装置が書き込みに対して影響しないボリューム
を使用し、同一ボリュームに対する多重転送を可能とす
ることで、書き込み性能を向上させることができる、と
いう効果が得られる。
According to the present invention, in the process of transferring the write data received from the higher-level device to the secondary external storage control device, the higher-level device which is different from the volume designated by the higher-level device, By using a volume that does not affect the same volume and enabling multiple transfers to the same volume, the effect of improving the write performance can be obtained.

【0033】制御情報の変換を行い、使用していないイ
ンターフェースを介してデータと共に多重転送し、転送
先で本来の制御情報に戻す処理を行うことで、システム
のハードウエア資源を有効活用でき、書込み性能の向上
が達成できる効果がある。
By converting control information, performing multiplex transfer with data through an unused interface, and returning to the original control information at the transfer destination, the hardware resources of the system can be effectively used, and This has the effect of improving performance.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の一実施の形態である外部記憶システム
の構成例を示す概念図である。
FIG. 1 is a conceptual diagram showing a configuration example of an external storage system according to an embodiment of the present invention.

【図2】図1の外部記憶システムにおいて、正副一致を
図るボリュームのペア状態の具体例を示す図である。
FIG. 2 is a diagram showing a specific example of a pair state of volumes for which primary and secondary matches are to be made in the external storage system of FIG. 1;

【図3】図1の外部記憶システムにおける正側ディスク
制御装置2のデータ処理の概念図である。
FIG. 3 is a conceptual diagram of data processing of a primary disk control device 2 in the external storage system of FIG. 1;

【図4】図1の外部記憶システムにおける正副ディスク
制御装置間のデータ転送処理の概念図である。
FIG. 4 is a conceptual diagram of data transfer processing between primary and secondary disk controllers in the external storage system of FIG. 1;

【図5】図1の外部記憶システムにおける副側ディスク
制御装置4のデータ処理の概念図である。
FIG. 5 is a conceptual diagram of data processing of a secondary disk control device 4 in the external storage system of FIG. 1;

【符号の説明】[Explanation of symbols]

1 ・・・ホスト、2 ・・・正側ディスク制御装置(第1の外
部記憶制御装置)、3 ・・・正側ディスク装置、4 ・・・副
側ディスク制御装置(第2の外部記憶制御装置)、5 ・
・・副側ディスク装置、6、7 ・・・マイクロプロセッサ、
8、9 ・・・キャッシュメモリ、10 ・・・チャネルポー
ト、 11 ・・・正側チャネルポート、12 ・・・副
側チャネルポート、13、14 ・・・インターフェースケ
ーブル、15 ・・・コマンド処理部、 16 ・・・ス
ケジュール処理部、17 ・・・データ転送処理部、
18 ・・・デステージ処理部、19 ・・・キュー、
21 ・・・制御情報、22 ・・・ライトデータ、
23 ・・・コマンド処理部 24 ・・・デステージ処理部、 25 ・・・正側ディス
ク装置ボリューム、26 ・・・副側ディスク装置ボリュー
ム、14a ・・・論理パスa、 14b ・・・論理パ
スb、14c ・・・論理パスc、 14d ・・・論理
パスd、25a〜25d ・・・正側ディスク装置ボリュー
ム、26a〜26d ・・・副側ディスク装置ボリューム、
21a〜21e ・・・制御情報、 22a〜22e ・・・
ライトデータ、21a'〜21e' ・・・制御情報、 21
a”〜21e” ・・・制御情報。
DESCRIPTION OF SYMBOLS 1 ... Host, 2 ... Primary disk controller (1st external storage controller), 3 ... Primary disk controller, 4 ... Secondary disk controller (2nd external storage controller) Device)
..Secondary disk devices, 6, 7...
8, 9: Cache memory, 10: Channel port, 11: Primary channel port, 12: Secondary channel port, 13, 14: Interface cable, 15: Command processing unit , 16 ... schedule processing unit, 17 ... data transfer processing unit,
18: destage processing unit, 19: queue,
21 ... control information, 22 ... write data,
23 command processing unit 24 destage processing unit 25 primary disk device volume 26 secondary disk device volume 14a logical paths a and 14b logical paths b, 14c: Logical path c, 14d: Logical path d, 25a to 25d: Primary disk device volume, 26a to 26d: Secondary disk device volume
21a to 21e ... control information, 22a to 22e ...
Write data, 21a 'to 21e' ... control information, 21
a "to 21e" ... control information.

───────────────────────────────────────────────────── フロントページの続き (72)発明者 木城 茂 神奈川県小田原市中里322番地2号 株式 会社日立製作所RAIDシステム事業部内 (72)発明者 小澤 匡二 神奈川県小田原市中里322番地2号 株式 会社日立製作所RAIDシステム事業部内 (72)発明者 中村 展章 神奈川県横浜市中区尾上町6丁目81番地 日立ソフトウェアエンジニアリング株式会 社内 Fターム(参考) 5B018 GA10 HA03 MA12 5B065 BA01 CA07 CC02 CC08 CH20 ZA01  ──────────────────────────────────────────────────続 き Continuing from the front page (72) Inventor Shigeru Kishiro 322-2 Nakazato, Odawara City, Kanagawa Prefecture Inside the RAID Systems Division of Hitachi, Ltd. Hitachi Systems, Ltd. RAID Systems Division (72) Inventor Nobuaki Nakamura 6-81 Onoecho, Naka-ku, Yokohama-shi, Kanagawa Prefecture Hitachi Software Engineering Co., Ltd. In-house F-term (reference) 5B018 GA10 HA03 MA12 5B065 BA01 CA07 CC02 CC08 CH20 ZA01

Claims (8)

【特許請求の範囲】[Claims] 【請求項1】上位装置に接続される第1の外部記憶装置
であって、上位装置に接続される第1の外部記憶制御装
置とこれに接続される記憶装置ユニットを有するもの
と、 第1の外部記憶制御装置に接続される第2の外部記憶制
御装置とこれに接続される記憶装置ユニットを有する第
2の外部記憶装置とを備え、 前記第1の外部記憶装置内のボリュームのデータを、前
記第2の外部記憶装置内のボリュームにコピーする外部
記憶システムに於いて、 前記上位装置から前記第1の外部記憶装置へ書き込む際
に指定されるボリュームの制御情報を、別の制御情報に
変換して、前記第1の外部記憶制御装置から前記第2の
外部記憶制御装置へ転送することによって、当該制御情
報に伴うデータを、前記第2の外部記憶装置内のボリュ
ームに格納することを特徴とする外部記憶システム。
A first external storage device connected to a higher-level device, comprising a first external storage control device connected to the higher-level device and a storage device unit connected to the first external storage control device; A second external storage control device connected to the external storage control device and a second external storage device having a storage device unit connected to the second external storage control device, wherein data of a volume in the first external storage device is stored. In an external storage system for copying to a volume in the second external storage device, control information of a volume designated when writing from the higher-level device to the first external storage device is converted into another control information. By converting and transferring the data from the first external storage control device to the second external storage control device, data accompanying the control information is stored in a volume in the second external storage device. External storage system, wherein the door.
【請求項2】請求項1に記載の外部記憶システムに於い
て、第1の外部記憶制御装置は、 上位装置から受領した書き込みデータをキャッシュに書
き込むコマンド処理部と、 上位装置が書き込み命令で指定した前記第1の外部記憶
装置の書き込み先ボリュームと異なるボリューム番号に
変換するスケジュール処理部と、 前記キャッシュに書かれた書き込みデータを、上位装置
からの書き込み命令とは非同期に、ボリューム番号単位
で前記第2の外部記憶制御装置に転送する転送処理部
と、 キャッシュ上に書かれたデータを上位装置からの書き込
み命令とは非同期にボリュームに書き込むデステージ処
理部とを有する、請求項1に記載の外部記憶システム。
2. The external storage system according to claim 1, wherein the first external storage control device includes a command processing unit that writes the write data received from the higher-level device to a cache, and the higher-level device specifies a write command. A schedule processing unit that converts the write data into a volume number different from the write destination volume of the first external storage device; and writes the write data written in the cache in units of volume numbers asynchronously with a write command from a higher-level device. The transfer processing unit according to claim 1, further comprising: a transfer processing unit that transfers the data written in the cache to the second external storage control device; and a destage processing unit that writes the data written in the cache to the volume asynchronously with a write command from the host device. External storage system.
【請求項3】請求項1記載の外部記憶システムに於い
て、第2の外部記憶制御装置は、 第1の外部記憶制御装置から転送された書き込み先ボリ
ューム番号を、上位装置から第1の外部記憶装置へ書き
込む際に指定されるボリュームとペアになっている前記
第2の外部記憶装置のボリュームのボリューム番号に戻
して、前記書き込み先ボリューム番号に伴うデータを、
キャッシュに書き込むコマンド処理部と、 キャッシュに書かれたデータを前記コマンド処理部とは
非同期にボリュームに書き込むデステージ処理部とを有
する、請求項1に記載の外部記憶システム。
3. The external storage system according to claim 1, wherein the second external storage control device sends the write destination volume number transferred from the first external storage control device to the first external storage device. Returning to the volume number of the volume of the second external storage device that is paired with the volume specified when writing to the storage device, the data accompanying the write destination volume number,
The external storage system according to claim 1, further comprising: a command processing unit that writes data to a cache; and a destage processing unit that writes data written to the cache to a volume asynchronously with the command processing unit.
【請求項4】請求項2に記載の外部記憶システムの第1
の外部記憶制御装置に於いて、 前記第1の外部記憶装置と前記第2の外部記憶装置との
間の特定のボリュームのペアに対して、これらに従属す
るダミーのペアを定義する手段を有することを特徴とす
る外部記憶システム。
4. The first external storage system according to claim 2,
Means for defining a dummy pair subordinate to a specific volume pair between the first external storage device and the second external storage device. An external storage system, characterized in that:
【請求項5】請求項4に記載の外部記憶システムの第1
の外部記憶制御装置に於いて、 上位装置が書き込み命令で指定した前記第1の外部記憶
装置の書き込み先ボリュームと異なるボリューム番号
が、前記ダミーのペアのボリュームである外部記憶シス
テム。
5. The first external storage system according to claim 4, wherein
The external storage system according to claim 1, wherein a volume number different from a write destination volume of said first external storage device specified by a higher-level device by a write command is a volume of said dummy pair.
【請求項6】請求項5に記載の外部記憶システムの第1
の外部記憶制御装置に於いて、 前記第1の外部記憶装置と前記第2の外部記憶装置との
間の特定のボリュームのペアと、これに従属する複数の
前記ダミーのペアに於ける、同一ボリュームに対するそ
れぞれのデータ転送処理を複数有する別々のマイクロプ
ロセッサ上で実行することによって、前記第1の外部記
憶装置から前記第2の外部記憶装置へのデータ転送制御
が多重処理されることを特徴とする外部記憶システム。
6. The first external storage system according to claim 5,
In the external storage control device of the above, a specific volume pair between the first external storage device and the second external storage device and a plurality of dummy pairs subordinate thereto The data transfer control from the first external storage device to the second external storage device is multiplexed by executing the data transfer process for each volume on a separate microprocessor having a plurality of microprocessors. External storage system.
【請求項7】請求項4に記載の外部記憶システムの第1
の外部記憶制御装置に於いて、 前記ダミーのペアとして定義されるボリュームの容量
は、上位装置が認識できる容量とは関係なく任意に設定
できる外部記憶システム。
7. The first external storage system according to claim 4,
In the external storage control device, the capacity of the volume defined as the dummy pair can be arbitrarily set irrespective of the capacity that can be recognized by a higher-level device.
【請求項8】上位装置に接続される第1の外部記憶装置
であって、上位装置に接続される第1の外部記憶制御装
置とこれに接続される記憶装置ユニットを有するもの
と、 第1の外部記憶制御装置に接続される第2の外部記憶制
御装置とこれに接続される記憶装置ユニットを有する第
2の外部記憶装置とを備えた外部記憶システムのデータ
転送制御方法であって、 前記第1の外部記憶装置内のボリュームのデータを、前
記第2の外部記憶装置内のボリュームにコピーすること
を開始する第1のステップと、 前記上位装置から前記第1の外部記憶装置へ書き込む際
に指定されるボリュームの制御情報を、別の制御情報に
変換する第2のステップと、 前記別の制御情報を、前記第1の外部記憶制御装置から
前記第2の外部記憶制御装置へ転送する第3のステップ
と、 前記別の制御情報に伴うデータを、前記第2の外部記憶
装置内のボリュームに格納する第4のステップとを有す
る外部記憶システム。
8. A first external storage device connected to a higher-level device, comprising: a first external storage control device connected to a higher-level device, and a storage device unit connected to the first external storage control device. A data transfer control method for an external storage system, comprising: a second external storage control device connected to the external storage control device, and a second external storage device having a storage device unit connected thereto. A first step of starting to copy data of a volume in the first external storage device to a volume in the second external storage device, and writing from the higher-level device to the first external storage device. A second step of converting the control information of the volume designated in the second step into another control information; and transferring the other control information from the first external storage controller to the second external storage controller. An external storage system comprising: a third step; and a fourth step of storing data accompanying the other control information in a volume in the second external storage device.
JP2001154781A 2001-05-24 2001-05-24 External storage system Expired - Fee Related JP4231633B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001154781A JP4231633B2 (en) 2001-05-24 2001-05-24 External storage system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001154781A JP4231633B2 (en) 2001-05-24 2001-05-24 External storage system

Publications (3)

Publication Number Publication Date
JP2002351622A true JP2002351622A (en) 2002-12-06
JP2002351622A5 JP2002351622A5 (en) 2005-06-09
JP4231633B2 JP4231633B2 (en) 2009-03-04

Family

ID=18999068

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001154781A Expired - Fee Related JP4231633B2 (en) 2001-05-24 2001-05-24 External storage system

Country Status (1)

Country Link
JP (1) JP4231633B2 (en)

Also Published As

Publication number Publication date
JP4231633B2 (en) 2009-03-04

Similar Documents

Publication Publication Date Title
CN100382069C (en) Apparatus and method for sharing a network I/O adapter between logical partitions
JP5175483B2 (en) Storage apparatus and control method thereof
US20070006020A1 (en) Inter-host data transfer method, program, and system
JPH08288941A (en) Computer system and message transfer method
CN110636139B (en) Optimization method and system for cloud load balancing
US5802333A (en) Network inter-product stacking mechanism in which stacked products appear to the network as a single device
CN100565486C (en) Data link and data communication system
US20070156980A1 (en) Method and apparatus for memory write performance optimization in architectures with out-of-order read/request-for-ownership response
JP2009282917A (en) Interserver communication mechanism and computer system
US10599600B2 (en) Peripheral Component Interconnect Express (PCIe) switching for multi-host computing system deployments
JP2009151752A (en) Bus switch, electronic equipment and data transfer method
JP2723022B2 (en) Disk device interface and control method thereof
JP2007004710A (en) Storage access system, data transfer device, storage accessing method and program
JP2002351622A (en) Data transfer control method and external storage system using the same
US11163708B2 (en) Automated transformation from command mode to transport mode
JP2002157092A (en) Storage system, and method of transferring data between storage systems
KR100367084B1 (en) DMA controller for the high speed image processor at real time
JPH0844652A (en) Computer system and method for issuing input/output instruction
JP4472402B2 (en) Bus equipment
JP2002175265A (en) Signal group exchange device and method between a plurality of components in digital signal processor having direct memory access controller
JP4567373B2 (en) Data transfer device and communication data processing system
White et al. IBM System z connectivity handbook
JPH08241262A (en) External storage extension system
EP1282287A2 (en) A connection device
JPH04260953A (en) Peripheral device control system

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040831

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040831

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20040831

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20061023

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070227

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070424

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071023

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080304

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080501

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081111

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081208

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111212

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111212

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121212

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131212

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees