JP2001043026A - 系間情報通信システム - Google Patents
系間情報通信システムInfo
- Publication number
- JP2001043026A JP2001043026A JP11215348A JP21534899A JP2001043026A JP 2001043026 A JP2001043026 A JP 2001043026A JP 11215348 A JP11215348 A JP 11215348A JP 21534899 A JP21534899 A JP 21534899A JP 2001043026 A JP2001043026 A JP 2001043026A
- Authority
- JP
- Japan
- Prior art keywords
- communication
- path
- controller
- information communication
- inter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
- G06F11/2089—Redundant storage control functionality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/2002—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where interconnections or communication control functionality are redundant
- G06F11/2005—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where interconnections or communication control functionality are redundant using redundant communication controllers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/2002—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where interconnections or communication control functionality are redundant
- G06F11/2007—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where interconnections or communication control functionality are redundant using redundant communication media
- G06F11/201—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where interconnections or communication control functionality are redundant using redundant communication media between storage system components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/2002—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where interconnections or communication control functionality are redundant
- G06F11/2012—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where interconnections or communication control functionality are redundant and using different communication protocols
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/2097—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements maintaining the standby controller/processing unit updated
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/061—Improving I/O performance
- G06F3/0613—Improving I/O performance in relation to throughput
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0629—Configuration or reconfiguration of storage systems
- G06F3/0635—Configuration or reconfiguration of storage systems by changing the path, e.g. traffic rerouting, path reconfiguration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0683—Plurality of storage devices
- G06F3/0689—Disk arrays, e.g. RAID, JBOD
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- Memory System Of A Hierarchy Structure (AREA)
- Techniques For Improving Reliability Of Storages (AREA)
- Hardware Redundancy (AREA)
- Memory System (AREA)
Abstract
(57)【要約】
【課題】２重化コントローラ間の情報通信に代表される
２つの系の間の情報通信における転送サイズの違いによ
り、当該系間の情報通信に使用する通信パスを使い分け
ることで、当該系間の情報通信の高速化を図る。 【解決手段】キャッシュメモリ３１２ａ，３２２ａを内
蔵する２重化されたコントローラ３１０，３２０間の通
信と、キャッシュメモリ３１２ａ，３１２ａ間のデータ
コピーでの転送サイズの違い（を反映する情報通信の種
類の違い）により、前者の場合には、ＭＰＵ３１１、内
部バス３１７、コント間Ｉ／Ｆ３１５、バス３３０、コ
ント間Ｉ／Ｆ３２５、内部バス３２７、ＭＰＵ３２１の
パスを、後者の場合には、キャッシュメモリ３１２ａ、
コント間Ｉ／Ｆ３１６、バス３４０、コント間Ｉ／Ｆ３
２６、キャッシュメモリ３２２ａのパスを、それぞれ切
り替えて使用する。
２つの系の間の情報通信における転送サイズの違いによ
り、当該系間の情報通信に使用する通信パスを使い分け
ることで、当該系間の情報通信の高速化を図る。 【解決手段】キャッシュメモリ３１２ａ，３２２ａを内
蔵する２重化されたコントローラ３１０，３２０間の通
信と、キャッシュメモリ３１２ａ，３１２ａ間のデータ
コピーでの転送サイズの違い（を反映する情報通信の種
類の違い）により、前者の場合には、ＭＰＵ３１１、内
部バス３１７、コント間Ｉ／Ｆ３１５、バス３３０、コ
ント間Ｉ／Ｆ３２５、内部バス３２７、ＭＰＵ３２１の
パスを、後者の場合には、キャッシュメモリ３１２ａ、
コント間Ｉ／Ｆ３１６、バス３４０、コント間Ｉ／Ｆ３
２６、キャッシュメモリ３２２ａのパスを、それぞれ切
り替えて使用する。
Description
【０００１】
【発明の属する技術分野】本発明は、第１の系と第２の
系との間で情報通信が行われる、２重化されたコントロ
ーラを備えた２重化コントローラ内蔵装置に代表される
系間情報通信システムに関する。
系との間で情報通信が行われる、２重化されたコントロ
ーラを備えた２重化コントローラ内蔵装置に代表される
系間情報通信システムに関する。
【０００２】
【従来の技術】近年のディスクアレイ装置には、それぞ
れ異なるホスト装置と接続可能な２重化されたコントロ
ーラを備えた２重化コントローラ内蔵装置を構成してい
るものがある。この種のディスクアレイ装置では、各コ
ントローラ（各系）と対応するホスト装置との間でデー
タ転送が可能なようになっている。各コントローラに
は、ホスト装置との間の転送データを一時記憶するため
のキャッシュメモリがそれぞれ設けられている。
れ異なるホスト装置と接続可能な２重化されたコントロ
ーラを備えた２重化コントローラ内蔵装置を構成してい
るものがある。この種のディスクアレイ装置では、各コ
ントローラ（各系）と対応するホスト装置との間でデー
タ転送が可能なようになっている。各コントローラに
は、ホスト装置との間の転送データを一時記憶するため
のキャッシュメモリがそれぞれ設けられている。
【０００３】従来、上記した２重化コントローラを内蔵
するディスクアレイ装置（系間情報通信システム）で
は、各コントローラ（各系）内のキャッシュメモリ上の
データの保全性を高めるために、いわゆるミラードキャ
ッシュ方式を採用している。この方式は、ホスト装置か
ら自系（のコントローラ）で受け取ったライトデータを
他系のコントローラのキャッシュメモリにコピー（ミラ
ー）する方式である。
するディスクアレイ装置（系間情報通信システム）で
は、各コントローラ（各系）内のキャッシュメモリ上の
データの保全性を高めるために、いわゆるミラードキャ
ッシュ方式を採用している。この方式は、ホスト装置か
ら自系（のコントローラ）で受け取ったライトデータを
他系のコントローラのキャッシュメモリにコピー（ミラ
ー）する方式である。
【０００４】このミラードキャッシュ方式を適用するデ
ィスクアレイ装置においては、他系でのキャッシュメモ
リへのコピー（ライト）が完了するのを待って、つまり
自系と他系のキャッシュメモリの内容の一致化が図られ
るのを待って、ホスト装置へのライトの完了を通知する
のが一般的である。
ィスクアレイ装置においては、他系でのキャッシュメモ
リへのコピー（ライト）が完了するのを待って、つまり
自系と他系のキャッシュメモリの内容の一致化が図られ
るのを待って、ホスト装置へのライトの完了を通知する
のが一般的である。
【０００５】また、この種のディスクアレイ装置では、
コントローラ間の重要な通信での信頼性向上のために、
冗長なパスを特別に備えるのが一般的である。
コントローラ間の重要な通信での信頼性向上のために、
冗長なパスを特別に備えるのが一般的である。
【０００６】
【発明が解決しようとする課題】上記したように、２重
化コントローラを内蔵し、ミラードキャッシュ方式を適
用する従来のディスクアレイ装置（２重化コントローラ
内蔵装置、系間情報通信システム）では、他系のライト
が完了するまで自系のコントローラはホスト側に完了を
返せないため、この２重化コントローラ間のライトデー
タの通信のパスがライト時の性能のボトルネックになる
という問題があった。
化コントローラを内蔵し、ミラードキャッシュ方式を適
用する従来のディスクアレイ装置（２重化コントローラ
内蔵装置、系間情報通信システム）では、他系のライト
が完了するまで自系のコントローラはホスト側に完了を
返せないため、この２重化コントローラ間のライトデー
タの通信のパスがライト時の性能のボトルネックになる
という問題があった。
【０００７】また、従来のディスクアレイ装置（２重化
コントローラ内蔵装置、系間情報通信システム）では、
コントローラ間の重要な通信での信頼性向上のために、
冗長なパスを特別に備える必要があるという問題もあっ
た。
コントローラ内蔵装置、系間情報通信システム）では、
コントローラ間の重要な通信での信頼性向上のために、
冗長なパスを特別に備える必要があるという問題もあっ
た。
【０００８】本発明は上記事情を考慮してなされたもの
でその目的は、２重化コントローラ間の情報通信に代表
される２つの系の間の情報通信における転送サイズの違
いにより、当該系間の情報通信に使用する通信パスを使
い分けることで、当該系間の情報通信の高速化を図るこ
とができる系間情報通信システムを提供することにあ
る。
でその目的は、２重化コントローラ間の情報通信に代表
される２つの系の間の情報通信における転送サイズの違
いにより、当該系間の情報通信に使用する通信パスを使
い分けることで、当該系間の情報通信の高速化を図るこ
とができる系間情報通信システムを提供することにあ
る。
【０００９】本発明の他の目的は、冗長パスを特別に設
けなくても、パスの冗長化を図ることができる系間情報
通信システムを提供することにある。
けなくても、パスの冗長化を図ることができる系間情報
通信システムを提供することにある。
【００１０】
【課題を解決するための手段】本発明は、第１の系と第
２の系との間で情報通信が行われる系間情報通信システ
ムにおいて、上記第１の系と第２の系との間の転送サイ
ズが小さい場合の情報通信に供される、転送サイズが小
さい場合に高速レスポンスが可能な第１の通信路と、上
記第１の系と第２の系との間の転送サイズが大きい場合
の情報通信に供される、上記第１の通信路に比べて転送
サイズが大きい場合の転送能力が大きい第２の通信路と
を備えると共に、上記第１及び第２の系には、他系と情
報通信を行う場合、対象となる情報のサイズに応じて上
記第１または第２の通信路のいずれか一方が切り替え使
用されるように制御する主制御手段をそれぞれ設けたこ
とを特徴とする。
２の系との間で情報通信が行われる系間情報通信システ
ムにおいて、上記第１の系と第２の系との間の転送サイ
ズが小さい場合の情報通信に供される、転送サイズが小
さい場合に高速レスポンスが可能な第１の通信路と、上
記第１の系と第２の系との間の転送サイズが大きい場合
の情報通信に供される、上記第１の通信路に比べて転送
サイズが大きい場合の転送能力が大きい第２の通信路と
を備えると共に、上記第１及び第２の系には、他系と情
報通信を行う場合、対象となる情報のサイズに応じて上
記第１または第２の通信路のいずれか一方が切り替え使
用されるように制御する主制御手段をそれぞれ設けたこ
とを特徴とする。
【００１１】このような構成においては、２つの系の間
で情報通信を行う場合、その情報通信の対象となる情報
のサイズ（転送サイズ）に応じて使用する通信路を使い
分けることにより、つまり転送サイズが小さいときに
は、転送サイズが小さいときのレスポンスが高速な第１
の通信路を用い、転送サイズが大きいときには、転送能
力が大きい第２の通信路を用いることにより、２つの系
の間の高速情報通信が実現可能となる。ここで、転送サ
イズの大小は情報通信の種類によって決まることが多い
ため、その種類（例えば、データ転送に必要なデータ転
送前後の一連の手順での系間通信、つまり制御データの
通信であるか、データ転送それ自体であるか）に応じて
通信路を使い分けするとよい。
で情報通信を行う場合、その情報通信の対象となる情報
のサイズ（転送サイズ）に応じて使用する通信路を使い
分けることにより、つまり転送サイズが小さいときに
は、転送サイズが小さいときのレスポンスが高速な第１
の通信路を用い、転送サイズが大きいときには、転送能
力が大きい第２の通信路を用いることにより、２つの系
の間の高速情報通信が実現可能となる。ここで、転送サ
イズの大小は情報通信の種類によって決まることが多い
ため、その種類（例えば、データ転送に必要なデータ転
送前後の一連の手順での系間通信、つまり制御データの
通信であるか、データ転送それ自体であるか）に応じて
通信路を使い分けするとよい。
【００１２】また、上記第１及び第２の系に、上記主制
御手段（例えばマイクロプロセッサユニット）が接続さ
れた内部バスを備えた構成では、当該第１及び第２の系
に、自系内の主制御手段による内部バスを介しての制御
のもとで上記第１の通信路を介して他系との間で逐次情
報通信を行う第１のインタフェース制御手段と、自系内
の主制御手段からの指示に応じて主制御手段から独立に
上記第２の通信路を介して他系との間で指示された情報
通信を行う第２のインタフェース制御手段とを設けるこ
とで、転送サイズに応じて使用する通信路を使い分けて
の情報通信（情報転送）を効率的に行うことができる。
御手段（例えばマイクロプロセッサユニット）が接続さ
れた内部バスを備えた構成では、当該第１及び第２の系
に、自系内の主制御手段による内部バスを介しての制御
のもとで上記第１の通信路を介して他系との間で逐次情
報通信を行う第１のインタフェース制御手段と、自系内
の主制御手段からの指示に応じて主制御手段から独立に
上記第２の通信路を介して他系との間で指示された情報
通信を行う第２のインタフェース制御手段とを設けるこ
とで、転送サイズに応じて使用する通信路を使い分けて
の情報通信（情報転送）を効率的に行うことができる。
【００１３】ここで、上記第１及び第２の系が、ミラー
ドキャッシュ方式を適用するキャッシュメモリを内蔵す
る２重化コントローラである構成では、上記第２のイン
タフェース制御手段に、自系内の主制御手段からの指示
に応じて自系内のキャッシュメモリに格納されたデータ
を上記第２の通信路を介して他系内の第２のインタフェ
ース制御手段により当該他系内のキャッシュメモリにコ
ピーさせる機能を持たせるならば、内部バスでのトラヒ
ックが上がるのを防止しながら、大量のデータコピーが
実現可能となる。
ドキャッシュ方式を適用するキャッシュメモリを内蔵す
る２重化コントローラである構成では、上記第２のイン
タフェース制御手段に、自系内の主制御手段からの指示
に応じて自系内のキャッシュメモリに格納されたデータ
を上記第２の通信路を介して他系内の第２のインタフェ
ース制御手段により当該他系内のキャッシュメモリにコ
ピーさせる機能を持たせるならば、内部バスでのトラヒ
ックが上がるのを防止しながら、大量のデータコピーが
実現可能となる。
【００１４】また、上記第１及び第２の系から共通にア
クセス可能な少なくとも１つのディスク装置と、上記第
１及び第２の系とディスク装置とを接続するための第３
の通信路とを備えたシステムでは、上記第１のパスまた
は第２のパス上に障害が発生した場合に、上記主制御手
段の制御により、上記ディスク装置アクセス用の第３の
通信路が第１または第２のパスの代替パスとして使用さ
れる構成とすることにより、冗長パスを特別に用意しな
くても、通信パスの冗長化が実現可能となる。
クセス可能な少なくとも１つのディスク装置と、上記第
１及び第２の系とディスク装置とを接続するための第３
の通信路とを備えたシステムでは、上記第１のパスまた
は第２のパス上に障害が発生した場合に、上記主制御手
段の制御により、上記ディスク装置アクセス用の第３の
通信路が第１または第２のパスの代替パスとして使用さ
れる構成とすることにより、冗長パスを特別に用意しな
くても、通信パスの冗長化が実現可能となる。
【００１５】
【発明の実施の形態】以下、本発明の実施の形態につ
き、系間情報通信システムが２重化コントローラ内蔵の
ディスクアレイ装置である場合を例に、図面を参照して
説明する。
き、系間情報通信システムが２重化コントローラ内蔵の
ディスクアレイ装置である場合を例に、図面を参照して
説明する。
【００１６】図１は本発明の一実施形態に係る２重化コ
ントローラ内蔵のディスクアレイ装置のブロック構成
図、図２は当該ディスクアレイ装置を備えたシステムの
ブロック構成図である。
ントローラ内蔵のディスクアレイ装置のブロック構成
図、図２は当該ディスクアレイ装置を備えたシステムの
ブロック構成図である。
【００１７】図２において、１００，２００は、本発明
に直接関係するディスクアレイ装置を接続するホスト装
置（ホストコンピュータ）であり、例えばサーバ（サー
バコンピュータ）をなす。ホスト装置１００，２００と
ディスクアレイ装置３００（内の後述するコントローラ
３１０，３２０に設けられたホストＩ／Ｆ３１３，３２
３）とは、ＳＣＳＩ（Small Computer System Interfac
e）バス、あるいはファイバチャネル等のバス１１０，
２１０により接続されている。ホスト装置１００，２０
０には、例えば複数のクライアント（クライアントコン
ピュータ）４００がイーサネット（登録商標）（Ethern
et）（登録商標）バス、リングバス等により構成される
ネットワーク５００を介して接続されている。
に直接関係するディスクアレイ装置を接続するホスト装
置（ホストコンピュータ）であり、例えばサーバ（サー
バコンピュータ）をなす。ホスト装置１００，２００と
ディスクアレイ装置３００（内の後述するコントローラ
３１０，３２０に設けられたホストＩ／Ｆ３１３，３２
３）とは、ＳＣＳＩ（Small Computer System Interfac
e）バス、あるいはファイバチャネル等のバス１１０，
２１０により接続されている。ホスト装置１００，２０
０には、例えば複数のクライアント（クライアントコン
ピュータ）４００がイーサネット（登録商標）（Ethern
et）（登録商標）バス、リングバス等により構成される
ネットワーク５００を介して接続されている。
【００１８】ディスクアレイ装置３００は、図１に示す
ように、当該装置３００全体を制御する２重化されたコ
ントローラ３１０，３２０と、ディスクアレイを構成す
る複数のディスク装置、例えば２つのハードディスク装
置（以下、ＨＤＤと称する）３６０，３６１とを備えて
いる。コントローラ３１０，３２０（内の後述するＨＤ
Ｄ−Ｉ／Ｆ３１４，３２４）とＨＤＤ３６０，３６１と
は、ＳＣＳＩバス等のバス３５０により接続されてい
る。
ように、当該装置３００全体を制御する２重化されたコ
ントローラ３１０，３２０と、ディスクアレイを構成す
る複数のディスク装置、例えば２つのハードディスク装
置（以下、ＨＤＤと称する）３６０，３６１とを備えて
いる。コントローラ３１０，３２０（内の後述するＨＤ
Ｄ−Ｉ／Ｆ３１４，３２４）とＨＤＤ３６０，３６１と
は、ＳＣＳＩバス等のバス３５０により接続されてい
る。
【００１９】コントローラ３１０，３２０は、当該コン
トローラ３１０，３２０の制御中枢をなす中央制御部と
してのＭＰＵ（Micro Processing Unit）３１１，３２
１と、キャッシュメモリ部３１２，３２２とを備えてい
る。
トローラ３１０，３２０の制御中枢をなす中央制御部と
してのＭＰＵ（Micro Processing Unit）３１１，３２
１と、キャッシュメモリ部３１２，３２２とを備えてい
る。
【００２０】キャッシュメモリ部３１２，３２２は、ホ
スト装置１００，２００から転送されたデータ（ライト
データ）、及びＨＤＤ３６０，３６１から読み出された
データ（リードデータ）を一時記憶するキャッシュメモ
リ３１２ａ，３２２を内蔵する。このキャッシュメモリ
３１２ａ，３２２ａは、ミラードキャッシュを実現する
ために、当該キャッシュメモリ３１２ａ，３２２ａ（を
内蔵したキャッシュメモリ部３１２，３２２）を持つコ
ントローラ３１０，３２０と対をなすもう一方のコント
ローラ３２０，３１０からのデータ、つまり他方（他
系）のコントローラ３２０，３１０からのデータがコピ
ー可能な領域を有する。またキャッシュメモリ部３１
２，３２２は、Ｉ／Ｆ（インタフェース）として、後述
する内部バス３１７，３２７との接続用と、コントロー
ラ間データ転送用（コントローラ間データ転送に用いる
バス３４０との接続用）との２ポートを有する。
スト装置１００，２００から転送されたデータ（ライト
データ）、及びＨＤＤ３６０，３６１から読み出された
データ（リードデータ）を一時記憶するキャッシュメモ
リ３１２ａ，３２２を内蔵する。このキャッシュメモリ
３１２ａ，３２２ａは、ミラードキャッシュを実現する
ために、当該キャッシュメモリ３１２ａ，３２２ａ（を
内蔵したキャッシュメモリ部３１２，３２２）を持つコ
ントローラ３１０，３２０と対をなすもう一方のコント
ローラ３２０，３１０からのデータ、つまり他方（他
系）のコントローラ３２０，３１０からのデータがコピ
ー可能な領域を有する。またキャッシュメモリ部３１
２，３２２は、Ｉ／Ｆ（インタフェース）として、後述
する内部バス３１７，３２７との接続用と、コントロー
ラ間データ転送用（コントローラ間データ転送に用いる
バス３４０との接続用）との２ポートを有する。
【００２１】コントローラ３１０，３２０はまた、ホス
ト装置１００，２００と接続するバス１１０，１２０の
制御部をなすインタフェース制御部、つまりホスト装置
１００，２００とのインタフェース制御部（以下、ホス
トＩ／Ｆと称する）３１３，３２３と、ＨＤＤ３６０，
３６１とのインタフェース制御部（以下、ＨＤＤ−Ｉ／
Ｆと称する）３１４，３２４とを備えている。
ト装置１００，２００と接続するバス１１０，１２０の
制御部をなすインタフェース制御部、つまりホスト装置
１００，２００とのインタフェース制御部（以下、ホス
トＩ／Ｆと称する）３１３，３２３と、ＨＤＤ３６０，
３６１とのインタフェース制御部（以下、ＨＤＤ−Ｉ／
Ｆと称する）３１４，３２４とを備えている。
【００２２】コントローラ３１０，３２０はまた、当該
コントローラ３１０，３２０間のデータ転送制御を司
り、データ転送サイズが小さい場合に高速レスポンスが
可能なコントローラ間データ転送制御部（以下、コント
間Ｉ／Ｆと称する）３１５，３２５と、当該コントロー
ラ３１０，３２０間のデータ転送制御を司り、データ転
送サイズに影響されずに一定のレスポンスが可能なコン
トローラ間データ転送制御部（以下、コント間Ｉ／Ｆと
称する）３１６，３２６とを備えている。コント間Ｉ／
Ｆ３１５，３２５は内部バス３１７，３２７を介してＭ
ＰＵ３１１，３２１と接続され、コント間Ｉ／Ｆ３１
６，３２６はキャッシュメモリ部３１２，３２２のコン
トローラ間データ転送用ポートと接続されている。
コントローラ３１０，３２０間のデータ転送制御を司
り、データ転送サイズが小さい場合に高速レスポンスが
可能なコントローラ間データ転送制御部（以下、コント
間Ｉ／Ｆと称する）３１５，３２５と、当該コントロー
ラ３１０，３２０間のデータ転送制御を司り、データ転
送サイズに影響されずに一定のレスポンスが可能なコン
トローラ間データ転送制御部（以下、コント間Ｉ／Ｆと
称する）３１６，３２６とを備えている。コント間Ｉ／
Ｆ３１５，３２５は内部バス３１７，３２７を介してＭ
ＰＵ３１１，３２１と接続され、コント間Ｉ／Ｆ３１
６，３２６はキャッシュメモリ部３１２，３２２のコン
トローラ間データ転送用ポートと接続されている。
【００２３】コントローラ３１０，３２０は更に、ＰＣ
Ｉバス（Peripheral Component Interconnect Bus）に
代表される内部バス３１７，３２７を備えている。この
内部バス３１７，３２７には、コントローラ３１０，３
２０内の各モジュール（ここでは、ＭＰＵ３１１，３２
１と、キャッシュメモリ部３１２，３２２と、ホストＩ
／Ｆ３１３，３２３と、ＨＤＤ−Ｉ／Ｆ３１４，３２４
と、コント間Ｉ／Ｆ３１５，３２５の各モジュール）が
接続されている。
Ｉバス（Peripheral Component Interconnect Bus）に
代表される内部バス３１７，３２７を備えている。この
内部バス３１７，３２７には、コントローラ３１０，３
２０内の各モジュール（ここでは、ＭＰＵ３１１，３２
１と、キャッシュメモリ部３１２，３２２と、ホストＩ
／Ｆ３１３，３２３と、ＨＤＤ−Ｉ／Ｆ３１４，３２４
と、コント間Ｉ／Ｆ３１５，３２５の各モジュール）が
接続されている。
【００２４】コントローラ３１０，３２０内のコント間
Ｉ／Ｆ３１５，２２５は、データ転送サイズが小さいデ
ータの転送に適したシリアルバスに代表されるバス３３
０により相互接続され、コント間Ｉ／Ｆ３１６，３２６
は、データ転送サイズが大きいデータの転送に適した非
同期転送型のバス３４０により相互接続されている。従
来のディスクアレイ装置には、コント間Ｉ／Ｆ３１６，
３２６と、当該コント間Ｉ／Ｆ３１６，３２６を接続す
るバス３４０とが存在しないことに注意されたい。この
ため従来は、コントローラ３１０，３２０間のデータ転
送は、ＭＰＵ３１１，３１２の制御により全て内部バス
３１７，３２７を介して行う必要がある。
Ｉ／Ｆ３１５，２２５は、データ転送サイズが小さいデ
ータの転送に適したシリアルバスに代表されるバス３３
０により相互接続され、コント間Ｉ／Ｆ３１６，３２６
は、データ転送サイズが大きいデータの転送に適した非
同期転送型のバス３４０により相互接続されている。従
来のディスクアレイ装置には、コント間Ｉ／Ｆ３１６，
３２６と、当該コント間Ｉ／Ｆ３１６，３２６を接続す
るバス３４０とが存在しないことに注意されたい。この
ため従来は、コントローラ３１０，３２０間のデータ転
送は、ＭＰＵ３１１，３１２の制御により全て内部バス
３１７，３２７を介して行う必要がある。
【００２５】次に、図２のシステムに適用される図１の
構成のディスクアレイ装置３００の動作について、ホス
ト装置１００からコントローラ３１０に対して要求され
たデータのライト時に、そのコピーデータをもう一方の
コントローラ３２０内のキャッシュメモリ３２２に格納
する場合を例に、図３及び図４を参照して説明する。
構成のディスクアレイ装置３００の動作について、ホス
ト装置１００からコントローラ３１０に対して要求され
たデータのライト時に、そのコピーデータをもう一方の
コントローラ３２０内のキャッシュメモリ３２２に格納
する場合を例に、図３及び図４を参照して説明する。
【００２６】今、ホスト装置１００からディスクアレイ
装置３００内のコントローラ３１０に対し、バス１１０
を介してデータのライト要求が送られたものとする。コ
ントローラ３１０が、このホスト装置１００からのライ
ト要求をホストＩ／Ｆ３１３を介して受け付けると、ホ
スト装置１００からコントローラ３１０へのライトデー
タの転送が開始される。
装置３００内のコントローラ３１０に対し、バス１１０
を介してデータのライト要求が送られたものとする。コ
ントローラ３１０が、このホスト装置１００からのライ
ト要求をホストＩ／Ｆ３１３を介して受け付けると、ホ
スト装置１００からコントローラ３１０へのライトデー
タの転送が開始される。
【００２７】すると、ホスト装置１００からバス１１０
を介して転送されるデータは、コントローラ３１０内の
ホストＩ／Ｆ３１３で受け取られて、ホストＩ／Ｆ３１
３→内部バス３１７→キャッシュメモリ部３１２のパス
を通って、そのコントローラ３１０のキャッシュメモリ
部３１２に内蔵されたキャッシュメモリ３１２に格納さ
れる。本実施形態では、ホスト装置１００からのライト
要求で指定されたディスクアレイ（内のＨＤＤ）のデー
タがキャッシュメモリ３１２ａにも存在する（ライト時
の）キャッシュヒットの場合には、当該キャッシュメモ
リ３１２ａ内の該当するデータが、ホスト装置１００か
らのライトデータに更新される。このキャッシュメモリ
３１２ａに格納されたライトデータは、ホスト装置１０
０からのライト要求で指定されたディスクアレイ（内の
ＨＤＤ）に対する遅延書き込みの対象となる。
を介して転送されるデータは、コントローラ３１０内の
ホストＩ／Ｆ３１３で受け取られて、ホストＩ／Ｆ３１
３→内部バス３１７→キャッシュメモリ部３１２のパス
を通って、そのコントローラ３１０のキャッシュメモリ
部３１２に内蔵されたキャッシュメモリ３１２に格納さ
れる。本実施形態では、ホスト装置１００からのライト
要求で指定されたディスクアレイ（内のＨＤＤ）のデー
タがキャッシュメモリ３１２ａにも存在する（ライト時
の）キャッシュヒットの場合には、当該キャッシュメモ
リ３１２ａ内の該当するデータが、ホスト装置１００か
らのライトデータに更新される。このキャッシュメモリ
３１２ａに格納されたライトデータは、ホスト装置１０
０からのライト要求で指定されたディスクアレイ（内の
ＨＤＤ）に対する遅延書き込みの対象となる。
【００２８】コントローラ３１０内のＭＰＵ３１１は、
当該コントローラ３１０（自系）のキャッシュメモリ３
１２に格納されたのと同一のライトデータをコントロー
ラ３２０（他系）のキャッシュメモリ３２２にコピー
（ミラー）するために、コントローラ３２０が停止して
いないか否かを、内部バス３１７を介してのコント間Ｉ
／Ｆ３１５を用いたコントローラ間通信（制御データの
授受）で確認する。即ちＭＰＵ３１１は、コントローラ
３２０内のＭＰＵ３２１への問い合わせを、図３に示す
ように、ＭＰＵ３１１→内部バス３１７→コント間Ｉ／
Ｆ３１５→バス３３０→コント間Ｉ／Ｆ３２５→内部バ
ス３２７→ＭＰＵ３２１のパス３１を用いて通知する。
当該コントローラ３１０（自系）のキャッシュメモリ３
１２に格納されたのと同一のライトデータをコントロー
ラ３２０（他系）のキャッシュメモリ３２２にコピー
（ミラー）するために、コントローラ３２０が停止して
いないか否かを、内部バス３１７を介してのコント間Ｉ
／Ｆ３１５を用いたコントローラ間通信（制御データの
授受）で確認する。即ちＭＰＵ３１１は、コントローラ
３２０内のＭＰＵ３２１への問い合わせを、図３に示す
ように、ＭＰＵ３１１→内部バス３１７→コント間Ｉ／
Ｆ３１５→バス３３０→コント間Ｉ／Ｆ３２５→内部バ
ス３２７→ＭＰＵ３２１のパス３１を用いて通知する。
【００２９】コントローラ３２０内のＭＰＵ３２１は、
コントローラ３１０内のＭＰＵ３１１からの問い合わせ
を（コント間Ｉ／Ｆ３２５から内部バス３２７を介し
て）受け取ると、その問い合わせとは逆のパスで、つま
り図３に示すように、ＭＰＵ３２１→内部バス３２７→
コント間Ｉ／Ｆ３２５→バス３３０→コント間Ｉ／Ｆ３
１５→内部バス３１７→ＭＰＵ３１１のパス３２で、コ
ントローラ３１０内のＭＰＵ３１１へ正常である旨の応
答を返す。
コントローラ３１０内のＭＰＵ３１１からの問い合わせ
を（コント間Ｉ／Ｆ３２５から内部バス３２７を介し
て）受け取ると、その問い合わせとは逆のパスで、つま
り図３に示すように、ＭＰＵ３２１→内部バス３２７→
コント間Ｉ／Ｆ３２５→バス３３０→コント間Ｉ／Ｆ３
１５→内部バス３１７→ＭＰＵ３１１のパス３２で、コ
ントローラ３１０内のＭＰＵ３１１へ正常である旨の応
答を返す。
【００３０】ＭＰＵ３１１は、コントローラ３２０内の
ＭＰＵ３２１からの正常応答を受け取ると、先に格納し
たデータのキャッシュメモリ３２２へのコピーを、図４
に示すように、ＭＰＵ３１１→内部バス３１７→キャッ
シュメモリ部３１２のパス４１を用いてキャッシュメモ
リ部３１２に指示する。
ＭＰＵ３２１からの正常応答を受け取ると、先に格納し
たデータのキャッシュメモリ３２２へのコピーを、図４
に示すように、ＭＰＵ３１１→内部バス３１７→キャッ
シュメモリ部３１２のパス４１を用いてキャッシュメモ
リ部３１２に指示する。
【００３１】するとキャッシュメモリ部３１２は、指示
されたデータを、コント間Ｉ／Ｆ３１６を用いたデータ
転送により、図４に示すように、キャッシュメモリ３１
２ａ→コント間Ｉ／Ｆ３１６→バス３４０→コント間Ｉ
／Ｆ３２６→キャッシュメモリ３２２ａのパス４２を用
いて、コントローラ３２０内のキャッシュメモリ３２２
ａ（に確保されているコピー領域）にコピーさせる。こ
のデータ転送の最後では、データ転送結果を示す転送ス
テータスが（コントローラ３２０内の）キャッシュメモ
リ部３２２のコントローラ間データ転送用Ｉ／Ｆ（ポー
ト）から上記パス４２と逆のパスで、（コントローラ３
１０内の）キャッシュメモリ部３１２のコントローラ間
データ転送用Ｉ／Ｆ（ポート）に返される。
されたデータを、コント間Ｉ／Ｆ３１６を用いたデータ
転送により、図４に示すように、キャッシュメモリ３１
２ａ→コント間Ｉ／Ｆ３１６→バス３４０→コント間Ｉ
／Ｆ３２６→キャッシュメモリ３２２ａのパス４２を用
いて、コントローラ３２０内のキャッシュメモリ３２２
ａ（に確保されているコピー領域）にコピーさせる。こ
のデータ転送の最後では、データ転送結果を示す転送ス
テータスが（コントローラ３２０内の）キャッシュメモ
リ部３２２のコントローラ間データ転送用Ｉ／Ｆ（ポー
ト）から上記パス４２と逆のパスで、（コントローラ３
１０内の）キャッシュメモリ部３１２のコントローラ間
データ転送用Ｉ／Ｆ（ポート）に返される。
【００３２】キャッシュメモリ部３１２は、上記転送ス
テータスからデータ転送の完了を判定すると、内部バス
３１７との接続用Ｉ／Ｆ（ポート）により、キャッシュ
メモリ３２２ａへの転送（コピー）が完了したことを、
図４に示すように、キャッシュメモリ部３１２→内部バ
ス３１７→ＭＰＵ３１１のパス４３を用いてＭＰＵ３１
１に通知する。
テータスからデータ転送の完了を判定すると、内部バス
３１７との接続用Ｉ／Ｆ（ポート）により、キャッシュ
メモリ３２２ａへの転送（コピー）が完了したことを、
図４に示すように、キャッシュメモリ部３１２→内部バ
ス３１７→ＭＰＵ３１１のパス４３を用いてＭＰＵ３１
１に通知する。
【００３３】ＭＰＵ３１１は、このキャッシュメモリ３
２２ａへの転送（コピー）完了通知を受け取って、キャ
ッシュメモリ３１２ａからキャッシュメモリ３２２ａへ
のコピー（ミラー）の完了を確認すると、ホスト装置１
００から要求されたデータライトの完了を判定し、ＭＰ
Ｕ３１１→内部バス３１７→ホストＩ／Ｆ３１３→バス
１１０→ホスト装置１００のパスによりホスト装置１０
０にライト完了通知を返す。なお、キャッシュメモリ３
１２ａからキャッシュメモリ３２２ａへのコピー（ミラ
ー）が完了した旨の通知は、転送サイズが小さいため、
前記パス３２を用いてコントローラ３１０内のＭＰＵ３
１１送るようにしても構わない。
２２ａへの転送（コピー）完了通知を受け取って、キャ
ッシュメモリ３１２ａからキャッシュメモリ３２２ａへ
のコピー（ミラー）の完了を確認すると、ホスト装置１
００から要求されたデータライトの完了を判定し、ＭＰ
Ｕ３１１→内部バス３１７→ホストＩ／Ｆ３１３→バス
１１０→ホスト装置１００のパスによりホスト装置１０
０にライト完了通知を返す。なお、キャッシュメモリ３
１２ａからキャッシュメモリ３２２ａへのコピー（ミラ
ー）が完了した旨の通知は、転送サイズが小さいため、
前記パス３２を用いてコントローラ３１０内のＭＰＵ３
１１送るようにしても構わない。
【００３４】このように本実施形態では、コントローラ
３１０，３２０（内のＭＰＵ３１１，３２１）間の上記
問い合わせ及び当該問い合わせに対する応答、つまりコ
ントローラ間通信（制御データの授受）には、コント間
Ｉ／Ｆ３１５，３２５及びバス３３０を含むパス３１
（３２）を用い、キャッシュメモリ３１２ａ，３２２ａ
間のデータ転送（データコピー）には、コント間Ｉ／Ｆ
３１６，３２６及びバス３４０を含むパス４２を用いる
ようにしている。
３１０，３２０（内のＭＰＵ３１１，３２１）間の上記
問い合わせ及び当該問い合わせに対する応答、つまりコ
ントローラ間通信（制御データの授受）には、コント間
Ｉ／Ｆ３１５，３２５及びバス３３０を含むパス３１
（３２）を用い、キャッシュメモリ３１２ａ，３２２ａ
間のデータ転送（データコピー）には、コント間Ｉ／Ｆ
３１６，３２６及びバス３４０を含むパス４２を用いる
ようにしている。
【００３５】ここで、コントローラ間通信は、大容量の
データの転送が行われるキャッシュメモリ３１２ａ，３
２２ａ間のデータ転送（データコピー）に比べて、その
転送データ量が著しく少ない。
データの転送が行われるキャッシュメモリ３１２ａ，３
２２ａ間のデータ転送（データコピー）に比べて、その
転送データ量が著しく少ない。
【００３６】次に、パス３１の中心をなすバス３３０
は、本実施形態のようにシリアルバスで構成されている
場合、データ転送開始までの手順と、データ転送終了後
の手順に（伴う制御データの授受に）要する時間は、非
同期転送型のバス３４０と異なって少ない。つまり転送
のための手順のオーバヘッドが小さい。一方、データ転
送時間は、データ量が多いほど長く、少ないほど短くな
る。したがってバス３３０は、上記のコントローラ間通
信のように、データ量が少ないデータ転送の場合に高速
レスポンスが期待できる。
は、本実施形態のようにシリアルバスで構成されている
場合、データ転送開始までの手順と、データ転送終了後
の手順に（伴う制御データの授受に）要する時間は、非
同期転送型のバス３４０と異なって少ない。つまり転送
のための手順のオーバヘッドが小さい。一方、データ転
送時間は、データ量が多いほど長く、少ないほど短くな
る。したがってバス３３０は、上記のコントローラ間通
信のように、データ量が少ないデータ転送の場合に高速
レスポンスが期待できる。
【００３７】ところが従来は（コント間Ｉ／Ｆ３１６，
３２７及びバス３４０が存在しないため）、データ転送
量が少ないコントローラ間通信は勿論、データ転送量が
多いキャッシュメモリ間データ転送（データコピー）の
場合にも、（コント間Ｉ／Ｆ３１５，３２５及びバス３
３０を含む）上記パス３１（３２）を用いていた。しか
も、このパス３１（３２）には各コントローラ３１０，
３２０の内部バス３１７，３２７が含まれている。した
がって、データコピーのために内部バス３１７，３２７
を使用することでバストラヒックが上がり、加えてＭＰ
Ｕ３１１，３２１の処理が必要となることから、コピー
性能、更にはホスト装置１００，２００からの要求処理
性能が低下する虞があった。
３２７及びバス３４０が存在しないため）、データ転送
量が少ないコントローラ間通信は勿論、データ転送量が
多いキャッシュメモリ間データ転送（データコピー）の
場合にも、（コント間Ｉ／Ｆ３１５，３２５及びバス３
３０を含む）上記パス３１（３２）を用いていた。しか
も、このパス３１（３２）には各コントローラ３１０，
３２０の内部バス３１７，３２７が含まれている。した
がって、データコピーのために内部バス３１７，３２７
を使用することでバストラヒックが上がり、加えてＭＰ
Ｕ３１１，３２１の処理が必要となることから、コピー
性能、更にはホスト装置１００，２００からの要求処理
性能が低下する虞があった。
【００３８】これに対して本実施形態では、キャッシュ
メモリ部３１２，３２２に接続されたコント間Ｉ／Ｆ３
１６，３２６を設け、当該コント間Ｉ／Ｆ３１６，３２
６により、（内部バス３１７，３２７から独立した）バ
ス３４０を中心とするパス４１を介して、キャッシュメ
モリ部３１２，３２２内のキャッシュメモリ３１２ａ，
３１２ｂ間の（データコピーのための）データ転送をＭ
ＰＵ３２１，３２２から独立に行うようにしている。こ
こでは、データコピーのために、コントローラ３１０，
３２０内の各種モジュールが接続されている内部バス３
１７，３２７を使用せず、ＭＰＵ３２１，３２２の処理
も不要なことから、上述の性能低下を低減できる。
メモリ部３１２，３２２に接続されたコント間Ｉ／Ｆ３
１６，３２６を設け、当該コント間Ｉ／Ｆ３１６，３２
６により、（内部バス３１７，３２７から独立した）バ
ス３４０を中心とするパス４１を介して、キャッシュメ
モリ部３１２，３２２内のキャッシュメモリ３１２ａ，
３１２ｂ間の（データコピーのための）データ転送をＭ
ＰＵ３２１，３２２から独立に行うようにしている。こ
こでは、データコピーのために、コントローラ３１０，
３２０内の各種モジュールが接続されている内部バス３
１７，３２７を使用せず、ＭＰＵ３２１，３２２の処理
も不要なことから、上述の性能低下を低減できる。
【００３９】ここで、バス３４０が本実施形態のように
同期転送型の場合、データ転送開始までとデータ転送終
了後の手順が複雑であり、バス３３０と異なって転送の
ための手順のオーバヘッドが大きい。一方、バス３３０
経由でのデータコピー等、一定の転送サイズの範囲での
データ転送に要する時間は、上記手順に要する時間に比
べて短い。したがって、コント間Ｉ／Ｆ３１６，３２６
によりバス３４０を経由してのデータ転送では、一定の
転送サイズの範囲では、転送サイズに関係なく、データ
転送のための手順に要する時間でほぼ決まる一定のレス
ポンスを持つ。
同期転送型の場合、データ転送開始までとデータ転送終
了後の手順が複雑であり、バス３３０と異なって転送の
ための手順のオーバヘッドが大きい。一方、バス３３０
経由でのデータコピー等、一定の転送サイズの範囲での
データ転送に要する時間は、上記手順に要する時間に比
べて短い。したがって、コント間Ｉ／Ｆ３１６，３２６
によりバス３４０を経由してのデータ転送では、一定の
転送サイズの範囲では、転送サイズに関係なく、データ
転送のための手順に要する時間でほぼ決まる一定のレス
ポンスを持つ。
【００４０】また、上記のように、データコピーに内部
バス３１７，３２７、コント間Ｉ／Ｆ３１５，３２５及
びバス３３０を含むパス３１（３２）を使用しない構成
では、つまりパス３１（３２）を、コントローラ間通信
のようにデータ量が少ないデータ転送のみに使用する構
成では、価格的な制約のもとで、バス３３０の信号ビッ
ト幅を少なくし（ハードウェア量を減らし）、代わりに
高速信号線を用いることが可能となり、コントローラ間
通信等を高速に処理することができる。
バス３１７，３２７、コント間Ｉ／Ｆ３１５，３２５及
びバス３３０を含むパス３１（３２）を使用しない構成
では、つまりパス３１（３２）を、コントローラ間通信
のようにデータ量が少ないデータ転送のみに使用する構
成では、価格的な制約のもとで、バス３３０の信号ビッ
ト幅を少なくし（ハードウェア量を減らし）、代わりに
高速信号線を用いることが可能となり、コントローラ間
通信等を高速に処理することができる。
【００４１】ところで、図２の構成のディスクアレイ装
置３００において、上記パス３１（３２）の中心をなす
コント間Ｉ／Ｆ３１５、バス３３０、コント間Ｉ／Ｆ３
２５、或いは上記パス（４２）の中心をなすコント間Ｉ
／Ｆ３１６、バス３４０、コント間Ｉ／Ｆ３２６のいず
れかに障害が発生することがあり得る。
置３００において、上記パス３１（３２）の中心をなす
コント間Ｉ／Ｆ３１５、バス３３０、コント間Ｉ／Ｆ３
２５、或いは上記パス（４２）の中心をなすコント間Ｉ
／Ｆ３１６、バス３４０、コント間Ｉ／Ｆ３２６のいず
れかに障害が発生することがあり得る。
【００４２】そこで本実施形態では、これらのパス上の
いずれかの要素に障害が発生した場合の代替パスとし
て、ＨＤＤ−Ｉ／Ｆ３１４、バス３５０及びＨＤＤ−Ｉ
／Ｆ３２４のパスが使用可能なようになっている。この
ＨＤＤ−Ｉ／Ｆ３１４、バス３５０及びＨＤＤ−Ｉ／Ｆ
３２４のパス（代替パス）を実現するには、例えばコン
トローラ３１０であれば、内部バス３１７上の通信に使
用するデバイスの指定を、コント間Ｉ／Ｆ３１５或いは
キャッシュメモリ部３１２のコントローラ間データ転送
用Ｉ／Ｆ（ポート）からＨＤＤ−Ｉ／Ｆ３１４へ、コン
トローラ３２０であれば、内部バス３２７上の通信に使
用するデバイスの指定をコント間Ｉ／Ｆ３２５或いはキ
ャッシュメモリ部３２２のコントローラ間データ転送用
Ｉ／Ｆ（ポート）からＨＤＤ−Ｉ／Ｆ３２４へ変更すれ
ばよい。
いずれかの要素に障害が発生した場合の代替パスとし
て、ＨＤＤ−Ｉ／Ｆ３１４、バス３５０及びＨＤＤ−Ｉ
／Ｆ３２４のパスが使用可能なようになっている。この
ＨＤＤ−Ｉ／Ｆ３１４、バス３５０及びＨＤＤ−Ｉ／Ｆ
３２４のパス（代替パス）を実現するには、例えばコン
トローラ３１０であれば、内部バス３１７上の通信に使
用するデバイスの指定を、コント間Ｉ／Ｆ３１５或いは
キャッシュメモリ部３１２のコントローラ間データ転送
用Ｉ／Ｆ（ポート）からＨＤＤ−Ｉ／Ｆ３１４へ、コン
トローラ３２０であれば、内部バス３２７上の通信に使
用するデバイスの指定をコント間Ｉ／Ｆ３２５或いはキ
ャッシュメモリ部３２２のコントローラ間データ転送用
Ｉ／Ｆ（ポート）からＨＤＤ−Ｉ／Ｆ３２４へ変更すれ
ばよい。
【００４３】なお、コントローラ３１０，３２０のホス
トＩ／Ｆ３１３，３２３に、ホスト装置との接続ポート
を２つ持たせ、ホスト装置１００，２００を、図５に示
すように、バス１１０，２１０に相当するバス１２０，
２２０を介してコントローラ３２０，３１０のホストＩ
／Ｆ３２３，３１３に接続するとよい。
トＩ／Ｆ３１３，３２３に、ホスト装置との接続ポート
を２つ持たせ、ホスト装置１００，２００を、図５に示
すように、バス１１０，２１０に相当するバス１２０，
２２０を介してコントローラ３２０，３１０のホストＩ
／Ｆ３２３，３１３に接続するとよい。
【００４４】このような構成では、例えばコントローラ
３１０自身の障害またはホスト装置１００と当該コント
ローラ３１０との間の通信パスの障害が発生した場合、
ホスト装置１００はバス１２０を用いることで、他系の
コントローラ３２０を切り替え使用することができる。
同様にコントローラ３２０自身の障害またはホスト装置
２００と当該コントローラ３２０との間の通信パスの障
害が発生した場合には、ホスト装置２００はバス２２０
を用いることで、他系のコントローラ３１０を切り替え
使用することができる。
３１０自身の障害またはホスト装置１００と当該コント
ローラ３１０との間の通信パスの障害が発生した場合、
ホスト装置１００はバス１２０を用いることで、他系の
コントローラ３２０を切り替え使用することができる。
同様にコントローラ３２０自身の障害またはホスト装置
２００と当該コントローラ３２０との間の通信パスの障
害が発生した場合には、ホスト装置２００はバス２２０
を用いることで、他系のコントローラ３１０を切り替え
使用することができる。
【００４５】また図５の構成において、ホスト装置１０
０，２００は、相手に障害が発生した場合に相手の代替
処理を行うようになっている。そのためホスト装置１０
０，２００は互いに障害発生を監視している。この監視
は、ネットワーク５００を介して行うことも可能である
が、トラフィックと信頼性を考慮するならば、図５に示
すようにホスト装置１００，２００間を接続するイーサ
ネットバス等のバス６００を設け、当該バス６００を介
して監視するとよい。なお、ホスト装置１００，２００
は、互いに処理を行う構成でも、一方が待機系となる構
成のいずれでも構わない。
０，２００は、相手に障害が発生した場合に相手の代替
処理を行うようになっている。そのためホスト装置１０
０，２００は互いに障害発生を監視している。この監視
は、ネットワーク５００を介して行うことも可能である
が、トラフィックと信頼性を考慮するならば、図５に示
すようにホスト装置１００，２００間を接続するイーサ
ネットバス等のバス６００を設け、当該バス６００を介
して監視するとよい。なお、ホスト装置１００，２００
は、互いに処理を行う構成でも、一方が待機系となる構
成のいずれでも構わない。
【００４６】以上は、本発明を、２重化されたコントロ
ーラ間の情報通信の高速化のために、その情報通信の対
象となる情報のサイズ（の違いを反映する情報通信の種
類、つまりデータ転送前後の一連の手順でのコントロー
ラ間通信であるか、データ転送それ自体であるか）に応
じて２種の通信パスを切り替え使用する２重化コントロ
ーラ内蔵のディスクアレイ装置に実施した場合について
説明したが、これに限るものではない。本発明は、相互
に情報通信を行う２つの系の装置を備えた系間情報通信
システムにおける、系間の情報通信の高速化にも適用可
能である。
ーラ間の情報通信の高速化のために、その情報通信の対
象となる情報のサイズ（の違いを反映する情報通信の種
類、つまりデータ転送前後の一連の手順でのコントロー
ラ間通信であるか、データ転送それ自体であるか）に応
じて２種の通信パスを切り替え使用する２重化コントロ
ーラ内蔵のディスクアレイ装置に実施した場合について
説明したが、これに限るものではない。本発明は、相互
に情報通信を行う２つの系の装置を備えた系間情報通信
システムにおける、系間の情報通信の高速化にも適用可
能である。
【００４７】
【発明の効果】以上詳述したように本発明によれば、２
重化されたコントローラ間の情報通信に代表される２つ
の系の間の情報通信における転送サイズの違い（を反映
する情報通信の種類の違い）により、当該系間の情報通
信に使用する通信パスを使い分けるようにしたので、当
該系間の情報通信の高速化を図ることができる。特に、
ミラードキャッシュ方式を適用するキャッシュメモリを
内蔵する２重化コントローラ間の情報通信を行うシステ
ムでは、コントローラ間の高速データコピーが実現でき
る。
重化されたコントローラ間の情報通信に代表される２つ
の系の間の情報通信における転送サイズの違い（を反映
する情報通信の種類の違い）により、当該系間の情報通
信に使用する通信パスを使い分けるようにしたので、当
該系間の情報通信の高速化を図ることができる。特に、
ミラードキャッシュ方式を適用するキャッシュメモリを
内蔵する２重化コントローラ間の情報通信を行うシステ
ムでは、コントローラ間の高速データコピーが実現でき
る。
【００４８】また本発明によれば、第１及び第２の系か
ら共通にアクセス可能な少なくとも１つのディスク装置
と、これらを相互接続するための通信路とを備えたシス
テムでは、系間の情報通信に切り替え使用する通信パス
の障害時には、この通信路を代替パスとして使用するこ
とにより、冗長パスを特別に設けなくても、パスの冗長
化を図ることができる。
ら共通にアクセス可能な少なくとも１つのディスク装置
と、これらを相互接続するための通信路とを備えたシス
テムでは、系間の情報通信に切り替え使用する通信パス
の障害時には、この通信路を代替パスとして使用するこ
とにより、冗長パスを特別に設けなくても、パスの冗長
化を図ることができる。
【図１】本発明の一実施形態に係る２重化コントローラ
内蔵のディスクアレイ装置のブロック構成図。
内蔵のディスクアレイ装置のブロック構成図。
【図２】図１の構成のディスクアレイ装置を備えたシス
テムのブロック構成図。
テムのブロック構成図。
【図３】同実施形態におけるコントローラ間通信で使用
される通信パスを説明するための図。
される通信パスを説明するための図。
【図４】同実施形態におけるデータコピーで使用される
通信パスを説明するための図。
通信パスを説明するための図。
【図５】図２のシステムの変形例を示すブロック図。
３１，３２…パス（第１のパス） ４２…パス（第２のパス） １００，２００…ホスト装置 ３００…ディスクアレイ装置（系間情報通信システム、
２重化コントローラ内蔵装置） ３１０…コントローラ（第１の系） ３１１，３２１…ＭＰＵ（主制御手段） ３１２，３２２…キャッシュメモリ部 ３１２ａ，３２２ａ…キャッシュメモリ ３１３，３２３…ホストＩ／Ｆ ３１４，３２４…ＨＤＤ−Ｉ／Ｆ ３１５，３２５…コント間Ｉ／Ｆ（第１のインタフェー
ス制御手段） ３１６，３２６…コント間Ｉ／Ｆ（第２のインタフェー
ス制御手段） ３１７，３２７…内部バス ３２０…コントローラ（第２の系） ３３０…バス（第１の通信路） ３４０…バス（第２の通信路） ３５０…バス（第３の通信路） ３６０，３６１…ＨＤＤ（ディスク装置）
２重化コントローラ内蔵装置） ３１０…コントローラ（第１の系） ３１１，３２１…ＭＰＵ（主制御手段） ３１２，３２２…キャッシュメモリ部 ３１２ａ，３２２ａ…キャッシュメモリ ３１３，３２３…ホストＩ／Ｆ ３１４，３２４…ＨＤＤ−Ｉ／Ｆ ３１５，３２５…コント間Ｉ／Ｆ（第１のインタフェー
ス制御手段） ３１６，３２６…コント間Ｉ／Ｆ（第２のインタフェー
ス制御手段） ３１７，３２７…内部バス ３２０…コントローラ（第２の系） ３３０…バス（第１の通信路） ３４０…バス（第２の通信路） ３５０…バス（第３の通信路） ３６０，３６１…ＨＤＤ（ディスク装置）
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｆ 12/08 Ｇ０６Ｆ 12/08 Ｊ ５Ｂ０８３ Ｇ ３２０ ３２０ 12/16 ３１０ 12/16 ３１０Ｊ ３１０Ｍ 13/00 ３０１ 13/00 ３０１Ｐ 13/16 ５１０ 13/16 ５１０Ｄ (72)発明者 高桑 正幸 東京都府中市東芝町１番地 株式会社東芝 府中工場内 Ｆターム(参考） 5B005 JJ01 JJ11 MM12 NN72 WW15 5B018 GA04 HA05 MA03 MA14 QA15 5B034 CC01 CC05 5B060 MB03 MB04 5B065 BA01 CA30 CE01 CE05 5B083 AA01 BB11 CC04 DD09 EE11
Claims (4)
- 【請求項１】 第１の系と第２の系との間で情報通信が
行われる系間情報通信システムにおいて、 前記第１の系と前記第２の系との間の転送サイズが小さ
い場合の情報通信に供される、転送サイズが小さい場合
に高速レスポンスが可能な第１の通信路と、 前記第１の系と前記第２の系との間の転送サイズが大き
い場合の情報通信に供される、前記第１の通信路に比べ
て転送サイズが大きい場合の転送能力が大きい第２の通
信路とを具備し、 前記第１及び第２の系は、他系と情報通信を行う場合、
対象となる情報のサイズに応じて前記第１または第２の
通信路のいずれか一方が切り替え使用されるように制御
する主制御手段をそれぞれ備えていることを特徴とする
系間情報通信システム。 - 【請求項２】 前記第１及び第２の系は、 前記主制御手段が接続された内部バスと、 自系内の前記主制御手段による前記内部バスを介しての
制御のもとで前記第１の通信路を介して他系との間で逐
次情報通信を行う第１のインタフェース制御手段と、 自系内の前記主制御手段からの指示に応じて当該主制御
手段から独立に前記第２の通信路を介して他系との間で
指示された情報通信を行う第２のインタフェース制御手
段とを備えていることを特徴とする請求項１記載の系間
情報通信システム。 - 【請求項３】 前記第１及び第２の系から共通にアクセ
ス可能な少なくとも１つのディスク装置と、 前記第１及び第２の系と前記ディスク装置とを接続する
ための第３の通信路とを更に具備し、 前記主制御手段は、前記第１の通信路及び前記第１のイ
ンタフェース制御手段を含む第１のパス上に、或いは前
記第２の通信路及び前記第２のインタフェース制御手段
を含む第２のパス上に障害が発生した場合に、前記第３
の通信路を前記第１または第２のパスの代替パスとして
使用されるように制御することを特徴とする請求項２記
載の系間情報通信システム。 - 【請求項４】 前記第１及び第２の系は、ミラードキャ
ッシュ方式を適用するキャッシュメモリを内蔵する２重
化コントローラであり、 前記第２のインタフェース制御手段は、自系内の前記主
制御手段からの指示に応じて自系内の前記キャッシュメ
モリに格納されたデータを前記第２の通信路を介して他
系内の前記第２のインタフェース制御手段により当該他
系内の前記キャッシュメモリにコピーさせることを特徴
とする請求項２記載の系間情報通信システム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21534899A JP3987241B2 (ja) | 1999-07-29 | 1999-07-29 | 系間情報通信システム |
| US09/628,306 US6944684B1 (en) | 1999-07-29 | 2000-07-28 | System for selectively using different communication paths to transfer data between controllers in a disk array in accordance with data transfer size |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21534899A JP3987241B2 (ja) | 1999-07-29 | 1999-07-29 | 系間情報通信システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001043026A true JP2001043026A (ja) | 2001-02-16 |
| JP3987241B2 JP3987241B2 (ja) | 2007-10-03 |
Family
ID=16670819
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP21534899A Expired - Fee Related JP3987241B2 (ja) | 1999-07-29 | 1999-07-29 | 系間情報通信システム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6944684B1 (ja) |
| JP (1) | JP3987241B2 (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005513596A (ja) * | 2001-12-12 | 2005-05-12 | エミュレックス・デザイン・アンド・マニュファクチュアリング・コーポレーション | スーパーチャージメッセージ交換装置 |
| JP2007142307A (ja) * | 2005-11-22 | 2007-06-07 | Hitachi Ltd | 高速差動信号用多層基板、通信装置およびデータ記憶装置 |
| JP2009053946A (ja) * | 2007-08-27 | 2009-03-12 | Toshiba Corp | 二重化コントーラ構成ブロックデバイス制御装置 |
| JP2011164780A (ja) * | 2010-02-05 | 2011-08-25 | Fujitsu Ltd | ディスクアレイ装置の制御方法及びディスクアレイ装置 |
| US8321622B2 (en) | 2009-11-10 | 2012-11-27 | Hitachi, Ltd. | Storage system with multiple controllers and multiple processing paths |
| US9507677B2 (en) | 2013-10-25 | 2016-11-29 | Fujitsu Limited | Storage control device, storage apparatus, and computer-readable recording medium having storage control program stored therein |
| JP2017134500A (ja) * | 2016-01-26 | 2017-08-03 | 日本電気株式会社 | 制御回路および制御方法 |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7404005B1 (en) * | 2000-06-09 | 2008-07-22 | International Business Machines Corporation | Method, system, and program for selecting one of multiple paths to communicate with a device |
| JP4090400B2 (ja) * | 2003-07-24 | 2008-05-28 | 株式会社日立製作所 | ストレージシステム |
| US20060020720A1 (en) * | 2004-07-23 | 2006-01-26 | Lsi Logic Corporation | Multi-controller IO shipping |
| JP2007109141A (ja) * | 2005-10-17 | 2007-04-26 | Hitachi Ltd | ストレージシステム |
| JP2008046685A (ja) * | 2006-08-10 | 2008-02-28 | Fujitsu Ltd | 二重化システム及び系切り換え方法 |
| JP4550929B2 (ja) * | 2009-01-16 | 2010-09-22 | 株式会社東芝 | 電子機器および通信状態報知方法 |
| TWI582600B (zh) * | 2013-01-04 | 2017-05-11 | 宏碁股份有限公司 | 電子裝置及其資料處理方法 |
| CN103970691A (zh) * | 2013-01-24 | 2014-08-06 | 宏碁股份有限公司 | 电子装置及其数据处理方法 |
| WO2015033418A1 (ja) * | 2013-09-05 | 2015-03-12 | 株式会社日立製作所 | ストレージシステム及び記憶制御方法 |
| CN107870832B (zh) * | 2016-09-23 | 2021-06-18 | 伊姆西Ip控股有限责任公司 | 基于多维度健康诊断方法的多路径存储设备 |
| JP6939240B2 (ja) * | 2017-08-17 | 2021-09-22 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置 |
| JP2019075032A (ja) * | 2017-10-19 | 2019-05-16 | 富士通株式会社 | ストレージシステム、ストレージ制御装置およびプログラム |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6101574A (en) * | 1995-02-16 | 2000-08-08 | Fujitsu Limited | Disk control unit for holding track data in non-volatile cache memory |
| US5768623A (en) * | 1995-09-19 | 1998-06-16 | International Business Machines Corporation | System and method for sharing multiple storage arrays by dedicating adapters as primary controller and secondary controller for arrays reside in different host computers |
| US6073218A (en) * | 1996-12-23 | 2000-06-06 | Lsi Logic Corp. | Methods and apparatus for coordinating shared multiple raid controller access to common storage devices |
| US6289389B1 (en) * | 1997-06-03 | 2001-09-11 | Lextron Systems, Inc. | Enhanced integrated data delivery system |
| US6145028A (en) * | 1997-12-11 | 2000-11-07 | Ncr Corporation | Enhanced multi-pathing to an array of storage devices |
| JP3726484B2 (ja) * | 1998-04-10 | 2005-12-14 | 株式会社日立製作所 | 記憶サブシステム |
| JP3946873B2 (ja) * | 1998-06-19 | 2007-07-18 | 株式会社日立製作所 | ディスクアレイ制御装置 |
-
1999
- 1999-07-29 JP JP21534899A patent/JP3987241B2/ja not_active Expired - Fee Related
-
2000
- 2000-07-28 US US09/628,306 patent/US6944684B1/en not_active Expired - Fee Related
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005513596A (ja) * | 2001-12-12 | 2005-05-12 | エミュレックス・デザイン・アンド・マニュファクチュアリング・コーポレーション | スーパーチャージメッセージ交換装置 |
| JP2007142307A (ja) * | 2005-11-22 | 2007-06-07 | Hitachi Ltd | 高速差動信号用多層基板、通信装置およびデータ記憶装置 |
| JP2009053946A (ja) * | 2007-08-27 | 2009-03-12 | Toshiba Corp | 二重化コントーラ構成ブロックデバイス制御装置 |
| US8321622B2 (en) | 2009-11-10 | 2012-11-27 | Hitachi, Ltd. | Storage system with multiple controllers and multiple processing paths |
| JP2011164780A (ja) * | 2010-02-05 | 2011-08-25 | Fujitsu Ltd | ディスクアレイ装置の制御方法及びディスクアレイ装置 |
| US9507677B2 (en) | 2013-10-25 | 2016-11-29 | Fujitsu Limited | Storage control device, storage apparatus, and computer-readable recording medium having storage control program stored therein |
| JP2017134500A (ja) * | 2016-01-26 | 2017-08-03 | 日本電気株式会社 | 制御回路および制御方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US6944684B1 (en) | 2005-09-13 |
| JP3987241B2 (ja) | 2007-10-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7444541B2 (en) | Failover and failback of write cache data in dual active controllers | |
| US9916113B2 (en) | System and method for mirroring data | |
| US7062591B2 (en) | Controller data sharing using a modular DMA architecture | |
| JP2001043026A (ja) | 系間情報通信システム | |
| US6732243B2 (en) | Data mirroring using shared buses | |
| US6839788B2 (en) | Bus zoning in a channel independent storage controller architecture | |
| JP3694273B2 (ja) | 多重パスｉ／ｏ要求機構を有するデータ処理システム | |
| JP3732869B2 (ja) | 外部記憶装置 | |
| CN100403300C (zh) | 镜像网络数据以建立虚拟存储区域网络 | |
| US7437493B2 (en) | Modular architecture for a network storage controller | |
| US6345368B1 (en) | Fault-tolerant access to storage arrays using active and quiescent storage controllers | |
| US6009481A (en) | Mass storage system using internal system-level mirroring | |
| CN101651559B (zh) | 一种存储服务在双控制器存储系统中故障切换的方法 | |
| US6349357B1 (en) | Storage architecture providing scalable performance through independent control and data transfer paths | |
| US20090327481A1 (en) | Adaptive data throttling for storage controllers | |
| JP2002259063A (ja) | バックアップ処理可能な記憶システム | |
| WO2010008984A2 (en) | Method and system for using shared memory with optimized data flow to improve input/output throughput and latency | |
| US7634601B1 (en) | Method and apparatus for providing continuous communications between computers | |
| JP2008112399A (ja) | ストレージ仮想化スイッチおよびコンピュータシステム | |
| JPH09146842A (ja) | 記憶サブシステム | |
| US7293197B2 (en) | Non-volatile memory with network fail-over | |
| US6804794B1 (en) | Error condition handling | |
| US7752340B1 (en) | Atomic command retry in a data storage system | |
| JP2006268403A (ja) | データストレージシステム及びストレージ制御装置のログデータの等価制御方法 | |
| JP2005122763A (ja) | 記憶装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040915 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070301 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070313 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070514 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070710 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070712 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100720 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100720 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110720 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120720 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130720 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |