JP2000305856A - ディスクサブシステム及びこれらの統合システム - Google Patents

ディスクサブシステム及びこれらの統合システム

Info

Publication number
JP2000305856A
JP2000305856A JP11117670A JP11767099A JP2000305856A JP 2000305856 A JP2000305856 A JP 2000305856A JP 11117670 A JP11117670 A JP 11117670A JP 11767099 A JP11767099 A JP 11767099A JP 2000305856 A JP2000305856 A JP 2000305856A
Authority
JP
Japan
Prior art keywords
data
subsystem
external storage
storage device
disk
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP11117670A
Other languages
English (en)
Other versions
JP2000305856A5 (ja
Inventor
Hideo Tabuchi
英夫 田渕
Masashi Nozawa
正史 野沢
Akinobu Shimada
朗伸 島田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP11117670A priority Critical patent/JP2000305856A/ja
Priority to DE60044109T priority patent/DE60044109D1/de
Priority to EP00103718A priority patent/EP1049016B1/en
Priority to US09/513,932 priority patent/US7167902B1/en
Publication of JP2000305856A publication Critical patent/JP2000305856A/ja
Priority to US10/687,637 priority patent/US7373390B2/en
Publication of JP2000305856A5 publication Critical patent/JP2000305856A5/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2071Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring using a plurality of controllers
    • G06F11/2074Asynchronous techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2064Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring while ensuring consistency
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2071Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring using a plurality of controllers
    • G06F11/2076Synchronous techniques

Abstract

(57)【要約】 (修正有) 【課題】ホストコンピュータに負担を掛けることなく、
複数のディスクサブシステムにわたってデータ更新の順
序性/データの整合性を保証でき、導入が容易かつホス
トコンピュータの性能低下が無い、非同期型のリモート
コピー機能を有するディスクサブシステムを提供する。 【解決手段】各センターのディスクサブシステムのリモ
ートコピーの対象となるボリュームとゲートウェイサブ
システムの任意のボリュームの間は同期型リモートコピ
ーでデータの二重化が行なわれ、メインセンターのゲー
トウェイサブシステムは自サブシステム内のボリューム
が更新された順番に従い更新データをリモートセンター
のゲートウェイサブシステムに送付しリモートセンター
のゲートウェイサブシステムは受け取った順番に従い更
新データを自サブシステム内のボリュームに反映する非
同期型のリモートコピーでデータの二重化が行なわれる
リモートコピーシステム。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明はコンピュータシステ
ムのデータを格納する外部記憶装置及びこれらの統合シ
ステムに関し、特に、遠隔地に存在する複数の外部記憶
装置群(ディスクサブシステム)と、他の複数の外部記
憶装置群とを相互に接続し、上位装置たるホストコンピ
ュータを経由せずに、遠隔地に存在する外部記憶装置
(ディスクサブシステム)との間で、データを二重化す
るリモートコピー技術に関する。ここで、ディスクサブ
システムとは、上位装置に対し情報の授受を行う制御部
と、情報の格納を行うディスク装置を内蔵する記憶装置
をいうものとする。
【0002】
【従来の技術】メインセンターとリモートセンターにそ
れぞれ設置されているディスクサブシステムの間で、デ
ータを二重化して保有する、いわゆる、リモートコピー
機能を採用した外部記憶システムが、既にいくつか実用
化されている。
【0003】かかる従来技術では、ホストコンピュータ
が介在してリモートコピーの機能を達成するため、種々
の課題があった。
【0004】「同期型と非同期型について」リモートコ
ピー機能は、同期型と非同期型の2種類に大別される。
【0005】同期型とはメインセンター内のホストコン
ピュータ(上位装置)からディスクサブシステムに、デ
ータの更新(書込み)指示が有った場合、その指示対象が
リモートコピー機能の対象でもあるときは、そのリモー
トコピー機能の対象であるリモートセンターにおけるデ
ィスクサブシステムに対して、指示された更新(書込
み)が終了してから、メインセンターのホストコンピュ
ータに更新処理の完了を報告する処理手順をいう。メイ
ンセンターとリモートセンターとの地理的距離に応じ
て、この間に介在するデータ伝送線路の能力の影響を受
け、時間遅れ(伝送時間等)が発生する。同期型は、伝
送時間を考慮すると遠隔地といっても現実的には数十K
mが限界であった。
【0006】同期型では、メインセンターとリモートセ
ンターのディスクサブシステムのデータの内容が巨視的
にみて常に一致している。このため、メインセンターが
災害等により機能を失った場合であっても、リモートセ
ンター側のディスクサブシステムに災害直前までの状態
が完全に保存されいるので、リモートセンター側で迅速
に処理を再開できる効果がある。尚、巨視的にみて常に
一致とは、同期型の機能を実施中には、磁気ディスク装
置や電子回路の処理時間の単位(μsec、msec)で、一
致していない状態が有り得るが、データ更新処理完了の
時点ではデータは必ず同一の状態になっていることを意
味している。これは、リモートセンターへの更新データ
の反映が終了しない限り、メインセンターの更新処理を
完了できないためである。このため、特に、メインセン
ターとリモートセンターの距離が離れており、データ伝
送線路が混雑している場合には、メインセンター側のデ
ィスクサブシステムのアクセス性能が大幅に劣化する。
【0007】これに対し非同期型とは、メインセンター
内のホストコンピュータからディスクサブシステムに、
データの更新(書込み)指示が有った場合、その指示対象
がリモートコピー機能の対象であっても、メインセンタ
ー内のディスクサブシステムの更新処理が終わり次第、
ホストコンピュータに対し更新処理の完了を報告し、リ
モートセンターのディスクサブシステムにおけるデータ
の更新(反映)はメインセンターにおける処理とは非同
期に実行する処理手順をいう。このためメインセンター
内部で必要とされる処理時間でデータ更新が終了するの
で、リモートセンターへのデータの格納に起因する伝送
時間等はかからない。
【0008】非同期型は、リモートセンターのディスク
サブシステムの内容が、メインセンター側のそれに対
し、常に一致しているわけではない。このため、メイン
センターが災害等により機能を失った場合は、リモート
センター側にデータの反映が完了していないデータが消
失することとなる。しかし、メインセンター側のディス
クサブシステムのアクセス性能を、リモートコピー機能
を実施しない場合と同等レベルとすることができる。
【0009】地震等の天災の際のデータのバックアップ
を考慮すれば、メインセンターとリモートセンターは1
00km〜数100km程度、分離する必要がある。ま
た、例えば、100Mbit/secから300Mbi
t/secクラスの高速通信回線をリモートコピー機能
のために使用することも可能ではあるが、ディスクサブ
システムの顧客に高額の回線使用料を負担させることと
なり、経済的でない。
【0010】「順序性保全について」データの伝送時間
の課題の他に、複数のディスクサブシステムを有するメ
インセンターのバックアップをリモートセンターで行お
うとするとき、各々のディスクサブシステムが1対1に
対応しなければならない(順序性保全)という課題があ
る。非同期型リモートコピーでは、リモートセンターへ
の更新データの反映が、メインセンターでの実際の更新
処理の発生時点より遅れて処理されることはやむを得な
い。しかし更新の順序はメインセンターと一致していな
ければならない。
【0011】一般にデータベース等はデータベース本体
と各種ログ情報、制御情報から構成されており、それぞ
れが関連性を持っている。データ更新の際はデータベー
ス本体に加え、これらログ情報、制御情報をも更新し、
システムの整合性が保たれている。したがって更新の順
序が崩れた場合、更新順序に関連するこれらの情報の整
合性も崩れ、最悪の場合には、データベース全体の破壊
につながる可能性がある。
【0012】「ホストコンピューターが介在することに
ついて」メインセンター及びリモートセンターに複数の
ディスクサブシステムが存在する一般的な環境で非同期
型のリモートコピーを実現する場合には、ホストコンピ
ュータがディスクサブシステムへデータの更新を指示す
る場合、タイムスタンプなどの更新順序に関する情報を
データに付加し、これらの情報に基づいて副側のディス
クサブシステムの更新データ反映処理が実行されるのが
一般的である。例えば、IBM社のXRC(Exten
ded Remote Copy)機能のように、ホスト
コンピュータが介在してリモートコピー機能を実現して
いる。
【0013】XRC機能の具体的開示は特開平6−29
0125(米国特許第5446871号)に詳細になさ
れている。XRC機能においては、メインセンター側の
ホストコンピュータのオペレーティングシステムとディ
スクサブシステム、リモートセンター側のホストコンピ
ュータのデータムーバーソフトウェアとディスクサブシ
ステムの連携により、更新順序情報の発行、送付、これ
に基づく更新データ反映処理を実現している。
【0014】
【発明が解決しようとする課題】従来技術(XRC機
能)により、メインセンター、リモートセンター間の更
新順序性を保証しながら非同期型のリモートコピー機能
が実現できる。しかし従来技術では、上位ソフトウェア
とディスクサブシステムの双方にXRC機能実現の為の
仕組が必要であり、且つ、両者が連携しなければならな
い。専用の新規ソフトウェアの導入が必要なため、ユー
ザは、ソフトウェアの導入、設定、検査、CPU負荷増
加に伴うシステム設計の見直し等の作業が発生する。こ
のため従来の機能の導入のためには所定の期間を要し、
費用が発生するという導入障壁があった。
【0015】また、リモートセンターとの通信回線の容
量が十分でない場合に非同期型リモートコピー機能を行
うと、リモートセンターへ未反映の更新データが増大す
るという課題があった。
【0016】本発明の目的は、新規ソフトウェアの導入
を必要とせず、ディスクサブシステムの機能のみで、更
新の順序性やデータの整合性を保証でき、導入が容易か
つメインセンターの性能低下が少ない、非同期型のリモ
ートコピー機能を実現することである。
【0017】本発明の別の目的は、非同期型のリモート
コピー機能を大容量のデータ格納を行えるディスクサブ
システムに適用することで、ディスクサブシステムの顧
客に高額の回線使用料を負担させることなく、リモート
コピー機能を実現することにある。
【0018】
【課題を解決するための手段】相互に遠隔地に存在する
メインセンターとリモートセンターに、それぞれゲート
ウェイとなるディスクサブシステム(以下、ゲートウェ
イサブシステム)を一台ずつ配置し、ゲートウェイサブ
システムをデータ伝送線路に接続する。そして、両セン
ターのリモートコピーを実施する必要があるディスクサ
ブシステム全てを、センター内のそれぞれのゲートウェ
イサブシステムに接続する。
【0019】メインセンターのディスクサブシステムの
リモートコピーの対象となるボリュームと、メインセン
ター内のゲートウェイサブシステムの任意のボリューム
との間は、同期型リモート機能により接続し、データの
二重化を行う。これによりメインセンター内のリモート
コピー対象のディスクサブシステムのボリュームと、メ
インセンター内のゲートウェイサブシステムのボリュー
ムにおいて、システムの処理時間の遅れ等を無視できれ
ば、同一のデータが保持される。
【0020】メインセンターとリモートセンターのゲー
トウェイサブシステムの各ボリュームの間は、非同期型
のリモートコピーによりデータの二重化を行う。ただ
し、メインセンターのゲートウェイサブシステムは、自
己のサブシステム内のボリュームが更新された順番に従
い、更新データをリモートセンターのゲートウェイサブ
システムに送付し、リモートセンターのゲートウェイサ
ブシステムは受け取った順番に従い、更新データを自己
のサブシステム内のボリュームに反映する。
【0021】リモートセンター内のゲートウェイサブシ
ステムと各ディスクサブシステムの各ボリュームの間は
同期型リモートコピーによりデータの二重化を行う。こ
れにより、リモートセンター側のゲートウェイサブシス
テムのボリュームとリモートコピー対象のディスクサブ
システムのボリュームにおいて、巨視的にみて常に同一
のデータが保持される。
【0022】なお、ゲートウェイサブシステムでは、リ
モートコピー対象のボリュームのデータは自己のゲート
ウェイサブシステム内のバッファメモリに格納される。
従って、バッファメモリ以外に、データ格納用のサブシ
ステムのエリアは通常は必ずしも必要としない。但し、
利用可能なサブシステムのエリアがあれば、伝送線路を
経由したデータ送受の際に、伝送線路の容量に応じて必
要となるサブシステムのエリアを利用することはでき
る。
【0023】以上の構成により、ディスクサブシステム
の機能のみで、メインセンターの複数のディスクサブシ
ステムと、リモートセンターの複数のディスクサブシス
テムのデータの二重化を更新の順序性を保ちながら実現
できる。リモートセンターへの更新データの反映は、メ
インセンターの各ディスクサブシステムの更新処理とは
非同期に実施することができる。これにより高性能で導
入の容易な災害バックアップシステムを提供することが
できる。また、伝送線路の通信容量に応じて、適宜、サ
ブシステムのエリアを用いることができ、顧客の回線使
用料負担を軽減できる効果がある。
【0024】
【発明の実施の形態】以下、図面を参照しながら本発明
を汎用コンピュータシステムに適用した場合の一例につ
いて説明する。
【0025】図1に、汎用コンピュータシステムを装備
した複数のデータセンターにおいて、任意の2つのセン
ター間でデータの二重化を行うために、本発明を適用し
たときの構成例を示す。
【0026】メインセンター側の一台又は複数台のディ
スクサブシステムと、リモートセンター側の一台又は複
数台のディスクサブシステムは、ホストコンピュータを
介さずに、ゲートウエイサブシステムを介して接続さ
れ、両センター間でデータの二重化を行うリモートコピ
ーシステムを実現している。
【0027】図1のメインセンター12において、中央
処理装置(ホストコンピュータ)1は、インタフェース
ケーブル2を介して、ディスクサブシステム3−1、3
−2、………3−nに接続されている。ディスクサブシ
ステム3−1、3−2、………3−nは、ホストコンピ
ュータ1から参照又は更新されるデータを格納する。ゲ
ートウェイサブシステム5は、インターフェースケーブ
ル4を介して、ディスクサブシステム3−1から3−n
と接続される。
【0028】ゲートウェイサブシステム5は、ホストコ
ンピュータがディスクサブシステム3−1等にデータの
書込み要求を発行すると、これに同期して当該データを
自己のサブシステム内のバッファメモリにも書込む。更
に、自己のサブシステム内のバッファメモリにデータが
書込まれたこととは非同期に、遠隔地に存在するゲート
ウェイサブシステム7に対し、データの書込み指示を行
う。ゲートウェイサブシステム5は、ディスクサブシス
テム3−1から3−nの台数にかかわらず、必ず一台で
構成される。
【0029】ゲートウェイサブシステム7は、リモート
センター13に設置され、インタフェースケーブル6を
介して、メインセンター12のゲートウェイサブシステ
ム5と接続されている。なお、インタフェースケーブル
6は、一般の通信回線と接続することも可能である。本
例ではこの点も含めてインタフェースケーブル6として
記述する。ゲートウェイサブシステム7は、ゲートウェ
イサブシステム5から受け取ったデータを、書込み指示
のあった順に、自己のサブシステム内のバッファメモリ
に格納する。ゲートウェイサブシステム7は必ず一台で
構成される。
【0030】ディスクサブシステム9−1、9−2、…
……9−nは、インタフェースケーブル8を介して、ゲ
ートウェイサブシステム7と接続される。ディスクサブ
システム9−1等は、メインセンター12からゲートウ
ェイサブシステム7にデータの書込み要求があった場合
には、これに同期して当該データを自己のサブシステム
内にも書込む。
【0031】つまり、ホストコンピュータ1から一台ま
たは複数台のディスクサブシステム3−1から3−nに
対しデータの書込み指示があった場合には、リモートセ
ンター13内の一台または複数台のディスクサブシステ
ム9−1から9−nにも同じデータが格納される。図1
の矢印は、ホストコンピュータ1から書込み指示のあっ
たデータの流れを示している。
【0032】ホストコンピュータ11は、リモートセン
ター13においてディスクサブシステム9−1から9−
nとインタフェースケーブル10によって接続され、デ
ィスクサブシステム9−1等に対し、参照及び更新を行
う中央処理装置である。ホストコンピュータ11は、メ
インセンター12のホストコンピュータ1が災害や故障
等により本来の機能を果たせなくなった場合に、ホスト
コンピュータ1の代替となって処理を行うことが出来
る。このほか、ディスクサブシステム9−1等に格納さ
れているデータを使用して、メインセンター12のホス
トコンピュータ1とは異なる処理を、ホストコンピュー
タ1とは別個独立に実行することができるものである。
但し、ホストコンピュータ11がディスクサブシステム
9−1等に対し処理を行わない場合には、ホストコンピ
ュータ11は不要である。
【0033】本発明の実施の形態として、データの二重
化方法と運用の概略を図2、図3を用いて説明する。
【0034】二重化の対象となるデータが格納されたボ
リュームやデータセット、ディスクサブシステムは、事
前に運用者が選択する。そして、対象ボリュームや対象
データセット及びディスクサブシステムと、選択したデ
ータの複製を格納するボリュームやデータセット及びデ
ィスクサブシステムとの関係を、予め運用者がホストコ
ンピュータからディスクサブシステムに対し設定してお
く。
【0035】上記の選択、設定に際し、専用のコンソー
ルやサービスプロセッサを接続又は装備できるディスク
サブシステムの場合には、ホストコンピュータを利用せ
ず、そのコンソールやサービスプロセッサを通じて設定
できる。図2のフローはホストから選択・設定を行う場
合を示している。
【0036】設定方法としては、上記のボリュームやデ
ィスクサブシステムを意味する具体的なアドレスを指定
する方法や、ディスクサブシステム内の制御プログラム
によって、アドレスの任意の範囲から選択する方法をと
ることもできる。初期設定として、パス設定やペア設定
を行う例を示してある(図2、201)。
【0037】ホストコンピュータ1(図1)から、ディ
スクサブシステム3−1、3−2、………、3−n(2
11)に対し、データの書込み要求(以下、ライトコマ
ンド)が発行される(図2、202)と、ディスクサブ
システム3−1、3−2、………、3−nはライトコマ
ンドにもとづき自己のディスクサブシステム内へデータ
格納処理を実行しつつ、ゲートウェイサブシステム5
(212)に対し、そのデータのライトコマンドを発行
する(203)。ここで、ライトコマンドとは、データ
を書込むための指示と書込みデータそのものとを転送す
るコマンドである。
【0038】ゲートウェイサブシステム5は、ライトコ
マンドを受領するとライトコマンドに対する処理を実行
する(204)。自己のゲートウェイサブシステム内の
バッファメモリへのライトコマンドに対するデータ格納
処理が完了すると、ゲートウェイサブシステム5は処理
の完了をディスクサブシステム3−1、3−2、……
…、3−n(211)に報告する。これに伴い、処理が
完了した順にライトコマンド番号をライトコマンド毎に
付与しておき(205)、自己のサブシステムの処理能
力に基づいて決定された契機で、ライトコマンド番号が
付与されたライトコマンドを、ライトコマンド番号順に
ゲートウェイサブシステム7(213)に対し発行する
(206)。
【0039】ディスクサブシステム3−1、3−2、…
……、3−n(211)は、ホストコンピュータ1より
発行されたライトコマンドに対し、そのライトコマンド
に対する処理、即ち、自己のサブシステム内へのデータ
格納処理が完了し、かつ、ゲートウェイサブシステム5
(212)から書込み処理の完了が報告されていること
(221)を条件に、ホストコンピュータ1に対しライ
トコマンドに対する処理の完了報告(222)を行う。
【0040】ゲートウェイサブシステム7(213)
は、ゲートウェイサブシステム5(212)から発行さ
れたライトコマンドに付与されているライトコマンド番
号により、付与された番号順にライトコマンドを受領し
ていることを確認すると、ライトコマンドに対する処
理、即ち、自己のサブシステム内のバッファメモリへの
データ格納処理(301)を行う。これに伴い、ディス
クサブシステム9(311)に対し、そのデータのライ
トコマンドを発行する(302)。ディスクサブシステ
ム9(311)は、ゲートウェイサブシステム7から発
行されたライトコマンドを受領すると、ライトコマンド
に対する処理、即ち、自己のサブシステム内へのデータ
格納処理を実行する(303)。
【0041】ディスクサブシステム9−1、9−2、…
……、9−n(311)は、ライトコマンドに対する処
理、即ち、自己のサブシステム内のバッファメモリへの
データ格納処理が完了すると、ゲートウェイサブシステ
ム7に対し、処理の完了報告(321)を行う。ゲート
ウェイサブシステム7(213)は、自己のサブシステ
ム内へのデータ格納処理が完了し、かつ、ディスクサブ
システム9−1、9−2、………、9−nから書込み処
理の完了が報告されていることを条件に、ゲートウェイ
サブシステム5に対し、ライトコマンドに対する処理完
了報告(322)を行う。
【0042】本発明により、ホストコンピュータ1から
書込まれたデータは、ディスクサブシステム3−1、3
−2、………、3−nと、ゲートウェイサブシステム5
の間で二重化され、巨視的にみて常に同一の状態に保た
れる。この際にゲートウエイサブシステム5において更
新の順序を保持するための情報(通番)が付加される。
【0043】また、ゲートウェイサブシステム5とゲー
トウェイサブシステム7との間は更新の順序を保証しな
がら非同期のリモートコピーでデータの二重化が行なわ
れる。ディスクサブシステム9−1、9−2、………、
9−nはゲートウェイサブシステム7の更新に同期して
データが更新される。これらはすべてゲートウエイ機能
を有するディスクサブシステムを含めて、ディスクサブ
システムの機能のみで実現され、ホストコンピュータの
処理能力に対し負担とならない。
【0044】図4に、各ゲートウエイサブシステム内の
バッファー領域を用いて、伝送線路の通信容量が十分で
ない場合の動作を説明する。同一の符号は既に説明済み
であることを示す。このシステムでは、書込み要求のあ
ったデータを一時的に格納するバッファー領域を、各ゲ
ートウエイサブシステム内に設けておく。通常の伝送線
路におけるバッファメモリが溢れることを防止するため
である。かかるバッファー領域に格納されたサブシステ
ムのデータは、伝送線路を介してメインセンターからリ
モートセンターへ送られ、そこでリモートセンター側の
バッファー領域を介して、ゲートウエイサブシステムへ
入力される。こうすれば、二重化の時間的一致度は減少
するものの、大容量の通信回線を使用せずとも、非同期
型リモートコピー機能を実現できる。
【0045】
【発明の効果】新規ソフトウェアの導入を必要とせずデ
ィスクサブシステムの機能のみで、更新の順序性やデー
タの整合性を保証でき、導入が容易でかつメインセンタ
ーの処理性能の低下が無い非同期型のリモートコピーシ
ステムを実現できる。
【0046】また、伝送線路の通信容量に応じて、適
宜、サブシステムのエリアを用いることができ、顧客の
回線使用料負担を軽減できる効果がある。
【図面の簡単な説明】
【図1】本発明の一実施の形態におけるリモートコピー
システムの全体構成を示す図である。
【図2】リモートコピーシステムの処理の詳細なフロー
チャートを示す図である。
【図3】図2の続きである、リモートコピーシステムの
処理の詳細なフローチャートを示す図である。
【図4】ゲートウエイサブシステム内にバッファ領域を
設けた場合のリモートコピーシステムの処理のフローチ
ャートを示す図である。
【符号の説明】
1…ホストコンピュータ、 2…インタフェースケ
ーブル、3…ディスクサブシステム、 4…インタフ
ェースケーブル、5…ゲートウェイディスクサブシステ
ム、6…インタフェースケーブル、7…ゲートウェイデ
ィスクサブシステム、8…インタフェースケーブル、
9…ディスクサブシステム、10…インタフェースケー
ブル、11…ホストコンピュータ、12…メインセンタ
ー、 13…リモートセンター。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 島田 朗伸 神奈川県小田原市国府津2880番地 株式会 社日立製作所ストレージシステム事業部内 Fターム(参考) 5B018 GA04 HA05 MA12 QA01 5B034 AA01 BB17 CC02 DD06 5B065 BA01 CA50 CC08 CE22 EA23 EA35 5B082 DA02 DE03 GB02 GB06 HA03 HA10 5B083 AA02 AA09 CD11 CE01 DD13 EE08 GG05

Claims (9)

    【特許請求の範囲】
  1. 【請求項1】第1の外部記憶装置と、第2の外部記憶装
    置とに接続されるディスクサブシステムであって、 前記第1の外部記憶装置との間のデータ転送は同期型
    で、 前記第2の外部記憶装置との間のデータ転送は非同期型
    で、それぞれ行うディスクサブシステム。
  2. 【請求項2】上位装置と、 前記上位装置に接続された第1の外部記憶装置と、 前記第1の外部記憶装置及び第2の外部記憶装置に接続
    されたディスクサブシステムを有する統合システムであ
    って、 前記ディスクサブシステムは、前記第1の外部記憶装置
    との間のデータ転送は同期型で、前記第2の外部記憶装
    置との間のデータ転送は非同期型で、それぞれ行うこと
    を特徴とする統合システム。
  3. 【請求項3】前記第2の外部記憶装置は遠隔地に存在す
    ることを特徴とする請求項1記載のディスクサブシステ
    ム、又は、 前記第2の外部記憶装置は遠隔地に存在することを特徴
    とする請求項2記載の統合システム。
  4. 【請求項4】前記第2の外部記憶装置との間は、通信回
    線を介して接続されている請求項1記載のディスクサブ
    システム、又は、 前記ディスクサブシステムと前記第2の外部記憶装置と
    の間は、通信回線を介して接続されている請求項2記載
    の統合システム。
  5. 【請求項5】前記第1及び前記第2の外部記憶装置が、
    それぞれ、ディスクサブシステムである請求項1記載の
    ディスクサブシステム、又は、 前記第1及び前記第2の外部記憶装置が、それぞれ、デ
    ィスクサブシステムである請求項2記載の統合システ
    ム。
  6. 【請求項6】上位装置と、前記上位装置に接続された第
    1の外部記憶装置と、 前記第1の外部記憶装置及び第2の外部記憶装置に接続
    されたディスクサブシステムを有するメインセンター
    と、 第3の外部記憶装置及び前記ディスクサブシステムに接
    続された前記第2の外部記憶装置を有するリモートセン
    ターからなる統合システムであって、 前記上位装置からのデータの更新順序が、リモートセン
    ターにおける前記第3の外部記憶装置に対するデータの
    更新順序となることを特徴とする統合システム。
  7. 【請求項7】前記第6記載の統合システムにおいて、 前記第1の外部記憶装置と前記ディスクサブシステムと
    の間のデータ転送は同期型で、 前記第2の外部記憶装置と前記ディスクサブシステムと
    の間のデータ転送は非同期型で、それぞれ行う統合シス
    テム。
  8. 【請求項8】前記非同期型のデータ転送に際し、データ
    に順序に関する情報が付加されている請求項1記載のデ
    ィスクサブシステム、又は、 前記非同期型のデータ転送に際し、データに順序に関す
    る情報が付加されている請求項2記載の統合システム。
  9. 【請求項9】前記データに付加された順序に関する情報
    がシリアル番号である請求項8記載のディスクサブシス
    テム、又は、 前記データに付加された順序に関する情報がシリアル番
    号である請求項8記載の統合システム。
JP11117670A 1999-04-26 1999-04-26 ディスクサブシステム及びこれらの統合システム Pending JP2000305856A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP11117670A JP2000305856A (ja) 1999-04-26 1999-04-26 ディスクサブシステム及びこれらの統合システム
DE60044109T DE60044109D1 (de) 1999-04-26 2000-02-22 Disk-Subsysteme für Datenspiegelung, ihr integriertes System und entsprechendes Datenspiegelungsverfahren
EP00103718A EP1049016B1 (en) 1999-04-26 2000-02-22 Disk subsystems for mirroring, their integrated system and corresponding mirroring method
US09/513,932 US7167902B1 (en) 1999-04-26 2000-02-28 Disk subsystems and their integrated system
US10/687,637 US7373390B2 (en) 1999-04-26 2003-10-20 Disk subsystems and their integrated system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP11117670A JP2000305856A (ja) 1999-04-26 1999-04-26 ディスクサブシステム及びこれらの統合システム

Publications (2)

Publication Number Publication Date
JP2000305856A true JP2000305856A (ja) 2000-11-02
JP2000305856A5 JP2000305856A5 (ja) 2008-11-27

Family

ID=14717385

Family Applications (1)

Application Number Title Priority Date Filing Date
JP11117670A Pending JP2000305856A (ja) 1999-04-26 1999-04-26 ディスクサブシステム及びこれらの統合システム

Country Status (4)

Country Link
US (2) US7167902B1 (ja)
EP (1) EP1049016B1 (ja)
JP (1) JP2000305856A (ja)
DE (1) DE60044109D1 (ja)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004310427A (ja) * 2003-04-07 2004-11-04 Nec Software Tohoku Ltd ストレージエリアネットワーク間データ転送システム、方法及びプログラム
US6950915B2 (en) 2002-06-05 2005-09-27 Hitachi, Ltd. Data storage subsystem
JP2005276162A (ja) * 2004-01-15 2005-10-06 Hitachi Ltd 分散リモートコピーシステム
US7055011B2 (en) 2003-11-26 2006-05-30 Hitachi, Ltd. Remote copy network
US7082506B2 (en) 2001-08-08 2006-07-25 Hitachi, Ltd. Remote copy control method, storage sub-system with the method, and large area data storage system using them
US7114049B2 (en) 1997-01-08 2006-09-26 Hitachi, Ltd. Adaptive remote copy in a heterogeneous environment
US7143252B2 (en) 2001-05-10 2006-11-28 Hitachi, Ltd. Storage apparatus system and method of data backup
US7149860B2 (en) 2004-05-27 2006-12-12 Hitachi, Ltd. Remote copy with WORM guarantee
US7167962B2 (en) 1999-08-19 2007-01-23 Hitachi, Ltd. Remote copy for a storage controller with reduced data size
US7194590B2 (en) 2001-02-28 2007-03-20 Hitachi, Ltd. Three data center adaptive remote copy
US7213114B2 (en) 2001-05-10 2007-05-01 Hitachi, Ltd. Remote copy for a storage controller in a heterogeneous environment
JP2007517340A (ja) * 2003-12-31 2007-06-28 ベリタス オペレーティング コーポレーション 複製環境における協調記憶管理操作
US7343514B2 (en) 2002-08-28 2008-03-11 Nec Corporation Data copying system, relaying device, data transfer/reception system and program for copying of data in storage unit
US7383385B2 (en) 2001-01-23 2008-06-03 Emc Corporation Remote mirroring in a switched environment
JP2013506892A (ja) * 2009-09-15 2013-02-28 シカゴ マーカンタイル エクスチェンジ,インク. フォールトトレラント動作をする金融取引所用突き合わせサーバ

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000305856A (ja) * 1999-04-26 2000-11-02 Hitachi Ltd ディスクサブシステム及びこれらの統合システム
JP4044717B2 (ja) * 2000-03-31 2008-02-06 株式会社日立製作所 記憶サブシステムのデータ二重化方法及びデータ二重化システム
US7328353B2 (en) * 2002-02-14 2008-02-05 Matsushita Electric Industrial Co., Ltd. Content distribution system
US7065589B2 (en) * 2003-06-23 2006-06-20 Hitachi, Ltd. Three data center remote copy system with journaling
JP4382602B2 (ja) * 2004-04-23 2009-12-16 株式会社日立製作所 リモートコピーシステム
JP4376750B2 (ja) * 2004-10-14 2009-12-02 株式会社日立製作所 計算機システム
JP4431022B2 (ja) * 2004-10-18 2010-03-10 株式会社日立製作所 コンピュータシステム及びその制御方法
JP2007072847A (ja) * 2005-09-08 2007-03-22 Nec Corp 情報処理システムとセパレート隠蔽装置及びセパレート制御方法並びにプログラム
JP2007128335A (ja) * 2005-11-04 2007-05-24 Nec Corp レプリケーション調停装置と方法並びにプログラム
US7571268B2 (en) 2006-04-06 2009-08-04 International Business Machines Corporation Consistent updates across storage subsystems coupled to a plurality of primary and secondary units at selected times
US7533289B1 (en) * 2008-06-06 2009-05-12 International Business Machines Corporation System, method, and computer program product for performing live cloning
US8301593B2 (en) * 2008-06-12 2012-10-30 Gravic, Inc. Mixed mode synchronous and asynchronous replication system
US10152864B2 (en) 2014-02-28 2018-12-11 Tyco Fire & Security Gmbh Distributed rules engines for robust sensor networks
WO2016081942A2 (en) * 2014-11-21 2016-05-26 Security First Corp. Gateway for cloud-based secure storage

Family Cites Families (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4875159A (en) * 1987-12-22 1989-10-17 Amdahl Corporation Version management system using plural control fields for synchronizing two versions of files in a multiprocessor system
JP2834189B2 (ja) 1989-07-05 1998-12-09 株式会社日立製作所 入出力制御方法
US5133065A (en) * 1989-07-27 1992-07-21 Personal Computer Peripherals Corporation Backup computer program for networks
US5307481A (en) * 1990-02-28 1994-04-26 Hitachi, Ltd. Highly reliable online system
US5155845A (en) * 1990-06-15 1992-10-13 Storage Technology Corporation Data storage system for providing redundant copies of data on different disk drives
US5544347A (en) 1990-09-24 1996-08-06 Emc Corporation Data storage system controlled remote data mirroring with respectively maintained data indices
WO1994000816A1 (en) * 1992-06-18 1994-01-06 Andor Systems, Inc. Remote dual copy of data in computer systems
US5375232A (en) * 1992-09-23 1994-12-20 International Business Machines Corporation Method and system for asynchronous pre-staging of backup copies in a data processing storage subsystem
US5742972A (en) * 1993-11-02 1998-04-28 Gillette Canada Inc. Toothbrush
US5577222A (en) * 1992-12-17 1996-11-19 International Business Machines Corporation System for asynchronously duplexing remote data by sending DASD data grouped as a unit periodically established by checkpoint based upon the latest time value
US5555371A (en) * 1992-12-17 1996-09-10 International Business Machines Corporation Data backup copying with delayed directory updating and reduced numbers of DASD accesses at a back up site using a log structured array data storage
US5446871A (en) 1993-03-23 1995-08-29 International Business Machines Corporation Method and arrangement for multi-system remote data duplexing and recovery
US5390327A (en) * 1993-06-29 1995-02-14 Digital Equipment Corporation Method for on-line reorganization of the data on a RAID-4 or RAID-5 array in the absence of one disk and the on-line restoration of a replacement disk
US5615329A (en) 1994-02-22 1997-03-25 International Business Machines Corporation Remote data duplexing
US5493374A (en) 1994-03-07 1996-02-20 Xerox Corporation Apparatus for controlling sheet velocity
SE502546C2 (sv) 1994-03-18 1995-11-13 Johansson Ab C E Koordinatmätmaskin
JP2894676B2 (ja) * 1994-03-21 1999-05-24 インターナショナル・ビジネス・マシーンズ・コーポレイション 非同期式遠隔コピー・システム及び非同期式遠隔コピー方法
US5623599A (en) * 1994-07-29 1997-04-22 International Business Machines Corporation Method and apparatus for processing a synchronizing marker for an asynchronous remote data copy
US5537533A (en) * 1994-08-11 1996-07-16 Miralink Corporation System and method for remote mirroring of digital data from a primary network server to a remote network server
US5592618A (en) 1994-10-03 1997-01-07 International Business Machines Corporation Remote copy secondary data copy validation-audit function
US5835953A (en) * 1994-10-13 1998-11-10 Vinca Corporation Backup system that takes a snapshot of the locations in a mass storage device that has been identified for updating prior to updating
EP0724223B1 (en) * 1995-01-24 2001-07-25 Compaq Computer Corporation Remote duplicate database facility with database replication support for online line DDL operations
US5745753A (en) * 1995-01-24 1998-04-28 Tandem Computers, Inc. Remote duplicate database facility with database replication support for online DDL operations
US5799141A (en) * 1995-06-09 1998-08-25 Qualix Group, Inc. Real-time data protection system and method
US5720029A (en) * 1995-07-25 1998-02-17 International Business Machines Corporation Asynchronously shadowing record updates in a remote copy session using track arrays
JPH09171441A (ja) 1995-12-20 1997-06-30 Hitachi Ltd 二重化記憶装置の記憶一致方法および装置
US5870537A (en) 1996-03-13 1999-02-09 International Business Machines Corporation Concurrent switch to shadowed device for storage controller and device errors
US6044444A (en) 1996-05-28 2000-03-28 Emc Corporation Remote data mirroring having preselection of automatic recovery or intervention required when a disruption is detected
JPH09318871A (ja) * 1996-05-28 1997-12-12 Asahi Optical Co Ltd 補助投光装置および焦点検出装置
JPH09325917A (ja) 1996-06-07 1997-12-16 Hitachi Ltd 計算機システム
US5893140A (en) * 1996-08-14 1999-04-06 Emc Corporation File server having a file system cache and protocol for truly safe asynchronous writes
US6161165A (en) * 1996-11-14 2000-12-12 Emc Corporation High performance data path with XOR on the fly
US5949970A (en) 1997-01-07 1999-09-07 Unisys Corporation Dual XPCS for disaster recovery
US5937414A (en) * 1997-02-28 1999-08-10 Oracle Corporation Method and apparatus for providing database system replication in a mixed propagation environment
US6073209A (en) * 1997-03-31 2000-06-06 Ark Research Corporation Data storage controller providing multiple hosts with access to multiple storage subsystems
US6182166B1 (en) * 1997-08-25 2001-01-30 Emc Corporation Method/apparatus for interfacing two remotely disposed devices coupled via transmission medium with first and second commands transmitted without first checking receiving device for readiness
JP3414218B2 (ja) 1997-09-12 2003-06-09 株式会社日立製作所 記憶制御装置
US6415373B1 (en) * 1997-12-24 2002-07-02 Avid Technology, Inc. Computer system and process for transferring multiple high bandwidth streams of data between multiple storage units and multiple applications in a scalable and reliable manner
US6195761B1 (en) * 1997-12-31 2001-02-27 Emc Corporation Method and apparatus for identifying and repairing mismatched data
US6131148A (en) * 1998-01-26 2000-10-10 International Business Machines Corporation Snapshot copy of a secondary volume of a PPRC pair
US6173293B1 (en) * 1998-03-13 2001-01-09 Digital Equipment Corporation Scalable distributed file system
US6324654B1 (en) * 1998-03-30 2001-11-27 Legato Systems, Inc. Computer network remote data mirroring system
US6157991A (en) * 1998-04-01 2000-12-05 Emc Corporation Method and apparatus for asynchronously updating a mirror of a source device
US6052799A (en) * 1998-05-15 2000-04-18 International Business Machines Corporation System and method for recovering a directory for a log structured array
US6178521B1 (en) * 1998-05-22 2001-01-23 Compaq Computer Corporation Method and apparatus for disaster tolerant computer system using cascaded storage controllers
US6260124B1 (en) 1998-08-13 2001-07-10 International Business Machines Corporation System and method for dynamically resynchronizing backup data
US6185659B1 (en) * 1999-03-23 2001-02-06 Storage Technology Corporation Adapting resource use to improve performance in a caching memory system
JP2000305856A (ja) * 1999-04-26 2000-11-02 Hitachi Ltd ディスクサブシステム及びこれらの統合システム
US6539462B1 (en) 1999-07-12 2003-03-25 Hitachi Data Systems Corporation Remote data copy using a prospective suspend command
US6446175B1 (en) * 1999-07-28 2002-09-03 Storage Technology Corporation Storing and retrieving data on tape backup system located at remote storage system site
US6535967B1 (en) * 2000-01-19 2003-03-18 Storage Technology Corporation Method and apparatus for transferring data between a primary storage system and a secondary storage system using a bridge volume

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7114049B2 (en) 1997-01-08 2006-09-26 Hitachi, Ltd. Adaptive remote copy in a heterogeneous environment
US7246214B2 (en) 1998-09-09 2007-07-17 Hitachi, Ltd. Remote copy for a storage controller with reduced data size
US7167962B2 (en) 1999-08-19 2007-01-23 Hitachi, Ltd. Remote copy for a storage controller with reduced data size
US7383385B2 (en) 2001-01-23 2008-06-03 Emc Corporation Remote mirroring in a switched environment
US7194590B2 (en) 2001-02-28 2007-03-20 Hitachi, Ltd. Three data center adaptive remote copy
US7143252B2 (en) 2001-05-10 2006-11-28 Hitachi, Ltd. Storage apparatus system and method of data backup
US7213114B2 (en) 2001-05-10 2007-05-01 Hitachi, Ltd. Remote copy for a storage controller in a heterogeneous environment
US7082506B2 (en) 2001-08-08 2006-07-25 Hitachi, Ltd. Remote copy control method, storage sub-system with the method, and large area data storage system using them
US7496718B2 (en) 2002-06-05 2009-02-24 Hitachi, Ltd. Data transfer and access control between disk array systems
US6950915B2 (en) 2002-06-05 2005-09-27 Hitachi, Ltd. Data storage subsystem
US7343514B2 (en) 2002-08-28 2008-03-11 Nec Corporation Data copying system, relaying device, data transfer/reception system and program for copying of data in storage unit
JP2004310427A (ja) * 2003-04-07 2004-11-04 Nec Software Tohoku Ltd ストレージエリアネットワーク間データ転送システム、方法及びプログラム
US7305531B2 (en) 2003-11-26 2007-12-04 Hitachi, Ltd. Remote copy network
US7055011B2 (en) 2003-11-26 2006-05-30 Hitachi, Ltd. Remote copy network
US7809909B2 (en) 2003-11-26 2010-10-05 Hitachi, Ltd. Remote copy network
JP2007517340A (ja) * 2003-12-31 2007-06-28 ベリタス オペレーティング コーポレーション 複製環境における協調記憶管理操作
JP2012190471A (ja) * 2003-12-31 2012-10-04 Symantec Operating Corp 複製環境における協調記憶管理操作
JP2005276162A (ja) * 2004-01-15 2005-10-06 Hitachi Ltd 分散リモートコピーシステム
US7149860B2 (en) 2004-05-27 2006-12-12 Hitachi, Ltd. Remote copy with WORM guarantee
US7991970B2 (en) 2004-05-27 2011-08-02 Hitachi, Ltd. Remote copy with worm guarantee
JP2013506892A (ja) * 2009-09-15 2013-02-28 シカゴ マーカンタイル エクスチェンジ,インク. フォールトトレラント動作をする金融取引所用突き合わせサーバ

Also Published As

Publication number Publication date
EP1049016A3 (en) 2006-07-26
US20040103164A1 (en) 2004-05-27
DE60044109D1 (de) 2010-05-20
EP1049016A2 (en) 2000-11-02
US7167902B1 (en) 2007-01-23
US7373390B2 (en) 2008-05-13
EP1049016B1 (en) 2010-04-07

Similar Documents

Publication Publication Date Title
JP2000305856A (ja) ディスクサブシステム及びこれらの統合システム
US6345368B1 (en) Fault-tolerant access to storage arrays using active and quiescent storage controllers
US9058305B2 (en) Remote copy method and remote copy system
US7337286B1 (en) Storage control system for restoring a remote data copy
JP3049031B2 (ja) ボリュームのスナップショット・コピーを行う装置
JP3364572B2 (ja) 多重パスi/o要求機構を有するデータ処理システム及びキュー・ステータス更新方法
US7464236B2 (en) Storage system and storage management method
US7496718B2 (en) Data transfer and access control between disk array systems
JP2894676B2 (ja) 非同期式遠隔コピー・システム及び非同期式遠隔コピー方法
JP4124348B2 (ja) 記憶システム
US7613890B1 (en) Consistent replication across multiple storage devices
US7203807B2 (en) Storage system making possible data synchronization confirmation at time of asynchronous remote copy
JP4412989B2 (ja) 複数の記憶システムを有するデータ処理システム
JP3730907B2 (ja) ディスクアレイ装置間の遠隔データコピー方式
US6542974B2 (en) Method and apparatus for independent and simultaneous access to a common data set
JP4434407B2 (ja) サブシステム及びこれらの統合システム
US20060129772A1 (en) Data processing method and system
JP2001282628A (ja) 記憶サブシステムのデータ二重化方法及びデータ二重化システム
US20010049749A1 (en) Method and system for storing duplicate data
JPH076099A (ja) リモート・データの2重化のためのシステム及び方法
JP2005309793A (ja) データ処理システム
US20060195668A1 (en) Remote copy for a storage controller with reduced data size
US8200916B2 (en) Write set boundary management in support of asynchronous update of secondary storage

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20060426

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060426

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20060426

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20061023

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081008

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081219

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20090220

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090414