JP2004302713A - 記憶システム及びその制御方法 - Google Patents

記憶システム及びその制御方法 Download PDF

Info

Publication number
JP2004302713A
JP2004302713A JP2003093118A JP2003093118A JP2004302713A JP 2004302713 A JP2004302713 A JP 2004302713A JP 2003093118 A JP2003093118 A JP 2003093118A JP 2003093118 A JP2003093118 A JP 2003093118A JP 2004302713 A JP2004302713 A JP 2004302713A
Authority
JP
Japan
Prior art keywords
storage
logical
processing unit
data
command
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003093118A
Other languages
English (en)
Other versions
JP2004302713A5 (ja
Inventor
Takahiko Takeda
貴彦 武田
Ryusuke Ito
隆介 伊東
Keiichi Kaiya
佳一 海谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2003093118A priority Critical patent/JP2004302713A/ja
Priority to EP03015402A priority patent/EP1465049A3/en
Priority to US10/633,019 priority patent/US7003634B2/en
Publication of JP2004302713A publication Critical patent/JP2004302713A/ja
Priority to US11/266,059 priority patent/US7603519B2/en
Publication of JP2004302713A5 publication Critical patent/JP2004302713A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604Improving or facilitating administration, e.g. storage management
    • G06F3/0607Improving or facilitating administration, e.g. storage management by facilitating the process of upgrading existing storage systems, e.g. for improving compatibility between host and storage device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/065Replication mechanisms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2071Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring using a plurality of controllers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2082Data synchronisation

Abstract

【課題】複数の記憶制御装置を統合的に管理する記憶システムを提供する。
【解決手段】第2の記憶制御装置に対する上位装置からのI/Oを第1の記憶制御装置を介して処理する。第1の記憶制御装置は、第2の記憶制御装置の管理情報を保持することで、第1及び第2の記憶制御装置間においても論理デバイスのペア生成を可能にする。
【効果】第2の記憶制御装置を第1の記憶制御装置から制御することが可能となる。
【選択図】 図1

Description

【0001】
【発明の属する技術分野】
本発明は、2以上の記憶制御装置間での論理デバイスペア構成方法、及び論理デバイスペアへの各記憶制御装置からのI/Oの処理方式に関する。
【0002】
【従来の技術】
複数の記憶制御装置に跨って論理デバイスペアが構築されている場合、この論理デバイスペアをそれぞれ別にアクセス可能にしようとする場合、上位装置からSplit状態と呼ばれる状態に遷移するコマンドを発行し、ペアを構成されている論理デバイスのそれぞれは、アクセス履歴を管理される状態に遷移させられる。このようなリモートコピーに関する技術として例えば特許文献1がある。
【0003】
この場合、上位装置からのそれぞれの論理デバイスに対するI/O命令は、それぞれの記憶制御装置にが受領し、処理をされる。上位装置からのI/Oをそれぞれの記憶制御装置で処理するために、論理デバイスペア間ではデータの差異が生じる。この生じたデータの差異は、それぞれの記憶制御装置上に持つ差分情報蓄積手段に記録される。これら独立して制御されていた論理デバイスをもとの同期しているペアの状態にするには、Resyncというコマンドを上位装置から発行する。このリンシンクコマンドが発行されると、正論理デバイスと副論理デバイスのデータを一致させるために、正論理デバイスのデータを副論理デバイスにコピーする。ここでいう正論理デバイスとは、例えば、運用系の論理デバイスのことで、副論理デバイスはある時点での運用系の論理デバイスのデータイメージを保持しているボリュームを指す。
【0004】
但し、この場合において、Split中にデータを更新するようなI/Oを受けていないデータについては、コピー量・コピー時間の短縮の目的から、それぞれの記憶制御装置上で記録した前述の差分情報をマージし、差異部分についてのみコピー処理を行っている。例えば、Resyncによる差分データのコピー処理を、正側制御装置が主導で行う場合に、副側制御装置に記録された副側論理デバイスの差分情報を、副側制御装置に対し転送指示を与え、正側制御装置は受信した差分情報 を正側論理デバイスの差分情報とマージして、差分コピーするデータを決定する。
【0005】
【特許文献1】特開平10−333838号公報
【発明が解決しようとする課題】
前記従来技術によれば、正側記憶制御装置と副側記憶制御装置との間で、差分情報を送受信するためのインタフェースが不可欠である。現時点では、差分情報の管理方式は、ストレージメーカー独自の技術が採用されている。したがって、Resync時の差分コピー量・時間を短縮することの可能なリモートコピーの正副記憶制御装置は、同一メーカーのストレージ製品であることが要求される。。
【0006】
しかしながら、この制約は各社の記憶制御装置が存在するヘテロ環境の中では、記憶制御装置の構成の自由度を大きく妨げてしまう。
【0007】
そこで本発明の第一の目的は、リモートコピー時の正副制御装置間の差分管理方式に違いがあっても、高速なリシンクを可能とすることにある。また、副側制御装置に差分管理機能を持たない記憶制御装置上の論理デバイスとの間であっても、高速なリシンクを可能とすることにある。
【0008】
さらにまた、従来技術によれば、正側論理デバイスと副側論理デバイスの更新情報をそれぞれの制御装置側で差分管理することから、ペアスプリット(Split)状態での上位装置からのリード命令は、リード命令先の論理デバイスから読み出すしかない。その読み出そうとするデータが、更新されたものである場合には、更新されたデータを読み出す必要があるからである。
【0009】
そこで、本発明の第二の目的は、上位装置のリード命令を正副論理デバイスから読み出させるように分散処理を可能とする記憶制御装置を提供することにある。
【0010】
【課題を解決するための手段】
上記第1の目的を達成する本願発明の記憶制御装置は、副側論理デバイスを正側制御装置と接続し構成することにあり、上位装置の副側論理デバイスに対するI/O命令を正側制御装置で受領する手段と、上位装置の副側論理デバイスに対するI/O命令を正側制御装置から副側装置に対し実行する手段と、ペアSplit状態において論理デバイスペアに対するそれぞれ論理デバイスデータの更新I/O位置を差分情報化し記録する手段と、ペアResync時に記録した差分情報から差分コピーする手段と、各論理デバイスに対するI/Oの統計情報と論理デバイスペアの差分情報から上位装置のリード命令に対しデータの読み出し先論理デバイスを決定する手段とを備える、リモートコピーシステムで達成できる。
具体的には、記憶制御装置における論理デバイスペア間の正側と副側差分情報を、正側記憶制御装置に持つように構成する。この差分情報を利用することで正副論理デバイスのデータの一致部分が把握できることから、上位装置の副側論理デバイスに対するリード命令を正側論理デバイスで読み出すことが可能かどうかが判断可能になり、同様に正側論理デバイスに対するリード命令を副側論理デバイスで読み出すことが可能かどうかを判断できるようになる。
【0011】
【発明の実施の形態】
図1は、本実施例のシステム構成を示す。第1の記憶制御装置2は、この記憶制御装置2に命令を発行する情報処理装置である上位装置1(以下単に上位装置と呼ぶ。)に接続され、この上位装置からのデータ出入力要求に応答して、第1の記憶装置3に対して、データの書き込みや読み出しを制御する。
この第1の記憶制御装置2は、InitiatorI/O処理部を介して、第二の記憶制御装置4と接続される。
【0012】
この第1の記憶制御装置は、上位装置1から書き込みや読み出し命令を受けたデータを一時的に蓄積するキャッシュメモリ10を有する。
【0013】
このキャッシュメモリ10は、第2の記憶制御装置4に接続される第2記憶装置5aや、第3記憶装置5bから第1の記憶制御装置2が読み出したデータをバッファリングする場合や、第1の記憶制御装置2から、I/0処理部8を介して、第2の記憶制御装置4に接続される第2記憶装置5aや第3の記憶装置5bに書き込みするデータを一時的に保持するためにも用いられる。
【0014】
この第1の記憶制御装置2は、上位装置1からのI/O命令を処理するためのTargetコマンド処理部6と、第一記憶装置に対しI/O命令を処理するためのInitiatorI/O処理部7とを備え、同様に第二制御装置に対しI/O命令を処理するためのInitiatorI/O処理部8を備える。
【0015】
さらにこの第1の記憶制御装置2は、Targetコマンド処理部6とInitiatorI/O処理部7,8との間で、情報の共有や交換を行うための共有メモリ9から構成される。共有メモリ9は、InitiatorI/0処理部8を介して接続される第2の記憶制御装置4のアドレスを管理する制御装置情報11を有し、この情報によって、第1の記憶制御装置は、第2の記憶制御装置のアドレスを特定することが可能となる。さらに共有メモリ内には、論理デバイスと記憶装置と、記憶制御装置と、論理デバイスペアとを関連付けるためのデバイス情報12を有し、第一の記憶制御装置2は、この情報を参照して、上位装置が論理ボリュームに対して発行した命令が、第1記憶装置3のどのアドレスへのアクセス命令なのか特定を容易にする。
【0016】
一方、このデバイス情報12は、どの論理ボリューム同士がペアを構成しているかを管理する情報であり、第1の記憶制御装置2は上位装置1からのI/0要求に対して、この情報を参照して、ペアを形成している論理ボリュームが存在する場合には、当該ペアとなっている論理ボリュームにもデータの書き込みを行うような処理を実行する。即ち、これらの情報によって、書き込みを行うべき論理デバイスが自筐体に存在するか。第2の記憶制御装置4のように第1の記憶制御装置2とは別の筐体なのかを識別する。
【0017】
さらに、この共有メモリ9は、ペアを形成している論理デバイス間(以下論理デバイスペア間)でデータに差分が生じた場合に差分が生じた位置を示す差分情報13を有する。
【0018】
一方、この共有メモリ9は、Targetコマンド処理部6とInitiatorI/O処理部7、8との間で論理デバイスに対する処理の指示と処理の結果を連絡するためのI/O情報14、及び、論理デバイスに対するI/O処理数を記録するための統計情報15を備える。この統計情報15は、論理デバイスの物理ボリューム上の配置を最適化する場合に用いられる他、「I/O命令を出すときの最適化」すなわちI/Oのバランシングを目指す目的で使用する。
【0019】
第2の記憶制御装置4は、第1の記憶制御装置2のInitiatorI/O処理部8のから出力される、第2の記憶装置5a上に配置される論理デバイス17と第3の記憶装置5bにある論理デバイス19に対するI/O命令の処理手段を備える。具体的な構成は、第1の記憶制御装置2と同じである。
【0020】
図2は、記憶制御装置が、記憶装置上の論理デバイス配置を管理するための制御装置情報11を示す。この制御情報は、InitiatorI/O処理部に接続される制御装置を特定し、管理するための情報で、図2に示すようにテーブル構成を有する。
【0021】
記憶制御装置番号101は、第一の記憶制御装置2内で、InitiatorI/O処理部8に接続された記憶制御装置を識別するための識別子である。筐体位置102は、アドレスを管理する記憶制御装置が第一記憶制御装置自身を指すのか、第一の記憶制御装置のInitiatorI/O処理部8を通じて接続される他筐体であるのかを示すデータである。
【0022】
さらにこのテーブルは、制御装置がInitiatorI/O処理部を通じて接続される場合に、どのInitiatorI/O処理部を経由するかを示すイニシエータ制御部番号と、その制御装置がユニークに判別できるためのノードネーム104と、InitiatorI/O制御部がその制御装置にI/Oを発行するための制御装置アドレス105を情報として持つ。
【0023】
この情報は前述の通り、共有メモリ9内に置かれ、ターゲットとする論理デバイスを配下に有する記憶制御装置のアドレスを求めるときや、記憶制御装置間のコネクションを行うときに参照する。
【0024】
次に、デバイス情報12の構成要素を図3で説明する。上位装置がI/Oユニットとして認識する論理デバイス番号を配列として、参照する論理デバイスに関する情報の格納位置が求まる。制御装置番号202は、論理デバイスの実装される記憶制御装置の番号であり、図2の制御装置情報テーブルで管理される制御装置の番号(制御装置情報テーブルの配列の要素番号に等しい)である。、記憶装置番号203は、制御装置番号202が指す記憶制御装置内の記憶装置の番号である。
【0025】
ペア状態204は、論理デバイスがリモートコピーペアデバイスであるかを示す情報で、図でSplitとあるのは、ペアを組んでいる論理デバイスが存在し、その論理デバイスペアが、現在それぞれ独立して書き込みや読み出しの要求を受け、その差異は、差分管理によって管理されている状態を示している。またSimplexとあるのは、どの論理デバイスとペアを構成しているほかの論理デバイスがないことを示している。
【0026】
ペア番号205は、そのペアを識別するための識別子である。属性206は、ペアの正側論理デバイスなのか副側論理デバイスなのか属性を表すものである。ペア論理デバイス番号207は、ペアを組む相手先の論理デバイス番号を示す。コピーポインタ208は、ペア形成中の初期コピー進捗位置を指すポインタである。
【0027】
デバイス情報12は、論理デバイスに対するアクセス要求に対し、論理デバイスの実装先、つまりデータをリード・ライトするためのI/Oを発行する物理的な位置情報である記憶装置番号または記憶制御装置番号を求めるために使用する。また、ペア状態204から、データ更新I/Oについては、ペアとなる正副両論理デバイスに対する二重書き込みの要否を判断する。二重書き込みが必要と判断する場合には、ペアを組む相手先論理デバイス番号207を用いて、相手先論理デバイスの実装先をデバイス情報テーブル12から求める事が出来る。
【0028】
次に、I/O情報テーブルを図4を用いて説明する。Targetコマンド処理部6が上位装置から論理デバイスデータのアクセス要求を受け、キャッシュメモリ10と記憶装置3や第二の記憶制御装置4とでデータ転送の必要性が発生するときに、InitiatorI/O処理部7,8に対しリード・ライトをリクエストするために、リクエストキュー301〜307を使用する。リクエストキューポインタテーブル301は、リクエストキューに要求を格納する先を示すINポインタ302と、リクエストキューの要求を取り出すためのOUTポインタ303から成る。InitiatorI/O処理部7,8は、論理デバイスに対する要求が発生しているかを知るために、INポインタ302とOUTポインタ303の差分が有るかを判断する。リクエストキューは、リクエストキューポインタのポイント先としてリクエストキューエントリ番号304と、要求する命令を格納するコマンド305、コマンド対象ブロック番号306、コマンド処理ブロック長307から成る。レスポンスキュー308〜313は、リクエストキューで指示された要求の処理結果を格納するために使用する。
レスポンスキューポインタテーブル308は、レスポンスキューに応答を格納する先を指すINポインタ309と、応答を取り出す先を指すOUTポインタ310から成る。指示された要求に対する処理結果は、INポインタ309が指すレスポンスエントリ番号311の処理結果312に格納し、処理結果の詳細情報が有れば詳細情報313に格納する。
【0029】
換言すれば、I/O情報テーブルとは、論理デバイスに対するアクセス要求に対し、InitiatorI/O処理部を通じて、物理デバイス(=記憶装置)に対しI/Oを発行すべきと判断した場合に、Targetコマンド処理部6と、InitiatorI/O処理部7,8間で、要求を通知し(リクエストキュー)、要求に対し応答を通知する(レスポンスキュー)するためのテーブルである。したがって、記憶装置3だけでなく、第二の記憶制御装置4とのデータ転送の必要性が発生した場合に使用する。
【0030】
次に、図5の差分情報13について説明する。Targetコマンド処理部6が、上位装置1から論理デバイスのデータ更新要求を受けたときに、デバイス情報12から論理デバイス番号を配列として、この論理デバイスのペア状態204を参照する。ペア状態がSplitにあるとき、ペアデバイスのどちらか一方だけがデータを更新することになる。このため、正副論理デバイス間で更新した部分は正副不一致になる。よって、更新位置と長さから不一致になるデータに相当する差分ビット位置を求め差分ビットを「1」に設定する。差分ビットの意味は、正副論理デバイス間でデータが一致となる位置の差分ビットは「0」、不一致となる位置の差分ビットは「1」としておく。このことから、ペアResyncするときは、そのペアの差分情報13の差分ビットが「1」の部分だけを、正側の論理デバイスから副側の論理デバイスに対し差分コピーすれば良い。
【0031】
次に、図6の統計情報テーブル15について説明する。上位装置1からの所定の論理デバイスデータに対するアクセス要求に対し、Targetコマンド処理部6がI/O情報テーブル14を用いて、InitiatorI/O処理部7,8を介して、記憶装置3,5a,5bにI/Oを指示したときに、統計情報テーブル15の対象論理デバイスの全I/Oカウンタ402のカウンタを更新する。そのI/Oがリード要求であった場合リードI/Oカウンタ403を、また、そのI/Oがライト要求であった場合ライトI/Oカウンタ404を更新する。この統計情報テーブル15により、上位装置1の論理デバイスに対する要求によって記憶装置に対して何回のI/Oを指示したかの回数を把握できる。
さらに、図7、図8を用いて、これらの制御情報を使用する本発明の方式について詳細に説明する。
図7,8は、上位装置1から第1記憶制御装置2に対し発行される、第2の記憶制御装置上の論理デバイス5a,5bに対するのI/O要求を、第2記憶制御装置にI/Oコマンドを転送するまでの流れについて説明している。
【0032】
図7は、上位装置1と接続される第1の記憶制御装置2のTargetコマンド処理部6における処理フローである。Targetコマンド処理部6は、受信したI/O要求が自筐体内で処理可能か、それともInitiatorI/O処理部8を介して他の記憶制御装置に転送するべきかを判断する。
【0033】
ステップ1002は、上位装置1から与えられた論理デバイス番号から、デバイス情報12の制御装置番号202を取得している。具体的には図3のテーブルを用いて、指定された論理デバイス番号201に対応する制御装置番号201を読み出す。
【0034】
続くステップ1003〜は、制御装置番号202から図2に示す制御装置情報11を用いて、筐体位置102を参照し、論理デバイスが自身が制御する記憶装置上の論理デバイスであるかどうかに関する情取得している。
続くステップ1004では、上位装置1からのI/O要求が自筐体内でのみ処理可能かを判定する。自筐体でのみ処理可能であるならば、通常のTargetI/O動作が可能であり、ステップ1011に進む。ここで、自筐体のみでのI/O動作が可能という意味は、上位装置1から書込みや読込み等のI/Oコマンドを受領した記憶制御装置自身の制御下に、そのI/Oコマンドの対象となる論理デバイスが、存在しているという意味である。
【0035】
自筐体で処理不可もしくは他筐体でも処理すべきと判断した場合、即ち、I/0の対象となった論理デバイスが、他記憶制御装置の制御下にある場合は、続くステップ1005,1006にて、図4に示すI/O情報14にあるI/Oメッセージテーブルのリクエストキューに空きエントリがあるかチェックする。リクエストキューに空きが無い場合は、ステップ1012に進み、エラーを返却することでリトライを催促する。リクエストキューにエントリ可能であれば、ステップ1007でリクエストキューのINポインタ302が示すリクエスト番号のリクエストエントリ304に、上位装置1から受領した要求をコマンド305・ブロック番号306・ブロック長307を登録する。ステップ1008では、リクエストをリクエストキューに格納済みである事を示すために、リクエストキューのINポインタ302を加算する。ステップ1009では、リクエストキューに要求を転送したことを呼び元に通知するための返却値を設定する。
ところで、図7においては、上位装置1からのI/Oコマンドがアクセスの対象としている論理デバイスが、当該I/Oコマンドを受領した記憶制御装置自身が制御する記憶装置上のデバイスであるかどうかを判定し、I/Oコマンドを受領した記憶制御装置自身の論理デバイスを対象とするアクセスである場合には、その記憶制御装置自身が、自身の制御下の論理デバイスに対するI/O処理を行ない、そうでない場合は、他の記憶制御装置の筐体番号を特定して、当該他の筐体の記憶制御装置にその処理を委ねるように構成した場合を説明した。この点を図1を用いて詳述すると、上位装置1から受領したI/Oコマンドが、第1の記憶制御装置2の制御下にある第1記憶装置3上に形成された論理デバイス18である場合は、Targetコマンド処理部6及びInitiatorI/O処理部7が共有メモリ9内の各種情報に基づいて、論理デバイス18へのI/O処理を行う。一方、上位装置1から受領したI/0コマンドが、第2記憶装置5a、または、第3記憶装置5b上の論理デバイス17、または、19を対象としたものである場合は、Targetoコマンド制御部6は、Initiator制御部8を介して、当該I/Oを第2記憶制御装置4に中継するのである。
【0036】
I/Oコマンドの中継を受領した第2記憶制御装置4は、当該I/Oコマンドが第2記憶制御装置自身が制御する記憶装置上の論理デバイスを対象としたものかどうかを判定する。(図7の手順に同じ。)そして、このI/Oコマンドが対象とした論理デバイスが、例えば第2記憶装置5a上の論理デバイス17である場合には、当該論理デバイス17に対して第二記憶制御装置内の処理部がI/O処理を行うのである。
【0037】
ここで、第1の記憶制御装置2と、第2の記憶制御装置4とは同じ種類または性能の記憶制御装置である必要はない。なぜなら、第2の記憶制御装置は、第1の記憶制御装置2から中継されるI/Oコマンドを単に、上位装置から受領するI/Oコマンドであるのと同じように受領し、処理するからである。
【0038】
一方、第1記憶制御装置1のInitiatorI/O処理部を介して中継されるI/Oコマンドは、必ずしも上位装置1が発行したI/Oコマンドをそのまま、転送するものでなく、第1記憶制御装置2のTargetコマンド処理部6或いは、InitiatorI/0処理部8が何らかの変換を行ってから中継するように構成することもできる。
【0039】
上位装置1から発行されるコマンドが、第2の記憶制御装置4自身では処理できないようなI/Oコマンドであったとしても、第1の記憶制御装置が当該I/Oコマンドを解釈して、第2の記憶制御装置4が処理できる等価のI/Oコマンドとして発行するのである。
【0040】
このようにコマンドを変換してから中継することが可能に構成にすることは、性能の異なる記憶制御装置を利用する場合に最適である。
【0041】
例えば、第2の記憶制御装置を介して、その制御下の第2記憶装置5a、第3記憶装置5bを利用していたユーザが、新たに新しい機能を有する記憶制御装置として、第1の記憶制御装置2を導入したような場合である。
【0042】
本願発明を適用しない場合、新たに便利なI/Oコマンドを有する第1の記憶制御装置2を導入したとしても、第2の記憶制御装置4は、従来の制御装置なので、ユーザがこれまで利用していた第2記憶装置5aや第3記憶装置5b内のデータに対してはその新たなI/Oコマンドを利用することができない。そのようなコマンドを利用するためには、第2記憶装置5a及び第3記憶装置5b内のデータを新たに導入した第1記憶制御装置の制御下の第1記憶装置3に移行しなければならない。当然移行してしまうと、従来利用していた第2記憶制御装置4及び、その制御下の第2記憶装置5a及び第3記憶装置が無駄になってしまう。
【0043】
そこで、本願発明のように第1の記憶制御装置2(新装置)で上位装置からの高度なコマンドを受領し、そのコマンドの解釈して、第2の記憶制御装置が処理できるコマンドするコマンド等価変換をこの第1の記憶制御装置2で行うと供に、第1の記憶制御装置2の共有メモリ9に蓄積された制御装置情報11を用いて、第2記憶制御装置4(旧装置)の論理デバイスへのアクセスを可能にすれば、これまでのデータ資源及び、第2の記憶制御装置4、記憶装置5a、5bのようなハードウェア資源も有効に利用することができるのである。
【0044】
ところで、本願図1においては、説明を容易にするために、上位装置と接続するアダプタであって、上位装置からのコマンドを受領して処理するTargetコマンド処理部6が一つの場合を用いて説明したが、この上位装置と接続され、当該上位装置のコマンドを処理するアダプタ部は、通常1の記憶制御装置に対して、複数設けられることが一般的である。
【0045】
そして、記憶システムの全体の拡張性、スケラビリティを向上させるために、できるだけ多くこのようなアダプタ部を設けるように工夫されている。このような上位装置と接続されるアダプタ部は、ディレクター部或いは、チャネルアダプタと呼ばれることがある
本願発明においては、第2の記憶制御装置4を第1の記憶制御装置2と接続するにあたり、このようなTARGETコマンド部6を使用せずに、記憶装置を接続するアダプタであるInitiatorI/O処理部を利用する。この1実施態様においては、その第2の記憶制御装置4を第1の記憶制御装置2が、記憶装置を接続するアダプタポートを介して接続されるので、第2の記憶制御装置4への接続のために、TARGETコマンド部6のような上位装置との接続部が利用されない。つまり、上位装置との接続アダプタを、他記憶制御装置へのコマンド中継によって占有されるという不便がないのである。
【0046】
図7のステップ1004は、単にホストがターゲットとした論理デバイスが自筐体に存在するかどうかということだけでなく、その処理を「自筐体では処理不可もしくは他筐体にも処理させるべき」という判断をするステップとすれば、上位装置からのコマンドをコマンドの種別に対応して、その処理を行う記憶制御装置を峻別することが可能となる。
【0047】
図8は、図7のステップ1007の手順で蓄積された上位装置1からのI/O要求に対し、InitiatorI/O処理部8で要求を検出し、第二記憶制御装置4に対し要求を発行する手順を示す。
【0048】
図1に照らして具体的に説明すると、図7は、上位装置1から発行されたI/Oコマンドが、第1の記憶制御装置2内で処理されるべきか、InitiatorI/O処理部8を介して、第2の記憶制御装置4内で処理されるべきものが判定する手順であり、図8は、第2の記憶制御装置4で処理するべき上位装置1からのI/OコマンドをInitiatorI/O処理部が、処理する手順を示している。
【0049】
InitiatorI/O処理部は、Targetコマンド処理部からコマンドを受領すると、自身がホストコンピュータのように振る舞い、第2の記憶制御装置4に対して、受領したコマンドを発行する。
【0050】
ステップ2002〜2003は、initiatorI/O処理部8が、自身に接続される記憶制御装置が制御する記憶装置上の論理デバイスに対する要求を蓄積する領域を監視して、その論理デバイスに対するI/O要求があるかどうかを判定するステップである。
InitiatorI/O処理部は、自身に接続される記憶制御装置の制御下に生成された論理デバイスに対するリクエストがあるかどうかを、図4に示すI/O情報14のリクエストキューを参照して、判定する。
【0051】
具体的には、InitiatorI/O処理部は、図4の該当する論理デバイスのI/OメッセイジテーブルのリクエストキューINポインタ302とOUTポインタ303とが等しければ、INポインタ302が進んでいないので要求が無いと判断し、ステップ2011に進む。もしステップ2003で、INポインタ302とOUTポインタ303とが不一致であれば、リクエストが蓄積されていると判断して、続くステップ2004でリクエストキューOUTポインタ303が示すリクエスト番号のリクエストエントリ304から、コマンド305・ブロック番号306・ブロック長307を取得する。
【0052】
続くステップ2005は、リクエストを受けた論理デバイスの論理デバイス番号から、デバイス情報12を参照して、記憶制御装置及び記憶装置番号とを取得する。
【0053】
それに続くステップ2006で、制御装置情報11から記憶制御装置のアドレスを取得して、ステップ2007で、InitiatorI/O処理部から、第2の記憶制御装置に対してコマンド送信する。ステップ2008は、リクエストに対応したことを示すために、リクエストキューのOUTポインタ303を加算する。ステップ2009では、リクエストキューから他制御装置に対しコマンド送信できたことを返却するための返却値を設定する。
【0054】
コマンド送信を受領した記憶制御装置は、上位装置から受領したコマンドと同様に、当該コマンドに対応する処理を行う。
【0055】
InitiatorI/O処理部は、ステップ2007でコマンドを送信する前に、コマンドの処理内容を解釈し、送信先となる記憶制御装置の性能で処理が可能なコマンドに変換してから送信するようにしても良い。このようにすることで、性能や機能が違う記憶制御装置を第2の記憶制御装置として接続することが可能となる。
【0056】
次に、ペアResync時のコピーデータが、正と副のペアデータの差分に限定されるようにするための差分設定処理を説明する。ペアデバイスは少なくとも2つの論理デバイスからなる。本願説明においては、便宜上、ペアの片方の論理デバイスを正論理デバイス、もう片方の論理デバイスを副論理デバイスとして説明する。ペアを生成した論理デバイス間には、次のような状態がある。
第1の状態は2重化状態であって、これは正の論理デバイスと同期して副の論理デバイスが同じデータイメージになるように更新される状態である。
第2の状態は、スプリット(split)状態であって、この場合は、上述の二重化状態が解消され、各論理デバイスは別々にデータの書き込みや読み出しのアクセスを受ける状態である。この場合、書き込みを受けた領域は図5に示す差分情報で管理され、どの位置が更新されたかが判別可能に管理される。
第2の状態であるスプリット状態から、再度二重化状態に戻す場合は、この差分情報を参照して、正論理ボリュームと副論理ボリュームが、同じデータイメージトとなるようにデータを復元する。この処理をリシンク(Resync)という。図1の本発明の構成と、図7,図8で説明した通り、上位装置1から受領する第二記憶装置4・第二記憶装置5a・第三記憶装置5b上の論理デバイスへのI/Oは、第一記憶制御装置2のTargetコマンド処理部6で受け付ける。
【0057】
図9は、Targetコマンド処理部6が更新I/Oを受け付けたときに、差分情報13にある差分ビットを設定するための処理である。ステップ3001〜3007と図5に示す差分情報は、正副論理デバイス毎で分けて処理する必要は無く、差分管理は正副デバイスを一元管理している。
ところで、従来、物理的にことなる記憶制御装置間に生成されたでペア論理デバイスは、各々の記憶制御装置において、その差分管理をしていた。併しながら、本願発明の正論理デバイスと副論理デバイスは、図8に示すように第2の記憶制御装置4の制御下の記憶装置5a,5b上に配置される論理デバイスに対するI/Oは、上位装置1から第1の記憶制御装置2が受取り、解析して第2の記憶制御装置4に発行する中継処理を行うことから、正副デバイスペア間のデータ不一致に対する差分管理を、第二の記憶制御装置が行う必要が無く(管理情報を持たなくても良い。)、第1の記憶制御装置2が管理するだけで良い。つまり、第2の記憶制御装置が、ダイレクトに上位装置からのI/O要求を受領せずに、第1の記憶制御装置を介して受領するので、第1の記憶制御装置でペア論理デバイスのそれぞれの更新状態を一元管理すれば良いということになる。また、この場合において論理デバイス毎に差分を管理する方法を用いても良いが、スプリット状態の終了後、正論理デバイスのデータイメージに復元する場合、それぞれの差分をマージすることになるので、最初から、個々の論理デバイス単位でなく、ペア単位で差分を管理するようにしておくことでマージという手順が必要なくなるように構成しても良い。
【0058】
この第1の記憶制御装置2における差分情報の一元管理のさらに優れている点については後述する。
【0059】
図9の3001の差分設定判断の手順を詳述すると、まず、ステップ3002で、図3に示すデバイス情報から、ペアの状態を取得する。
ペアの状態がスプリット状態でない場合は、差分情報を取得する必要がないので終了する。(ステップ3007)
一方、二重化状態である場合には、更新ブロック番号から差分ビット位置を算出し、(ステップ3004)、さらに更新ブロック長から、差分ビット数を算出する。(ステップ3005)。
ステップ3004及びステップ3005で得られた情報に基づいて図5に示す差分管理テーブルの該当個所のビットをオンにする。
【0060】
図10は、ペアリシンク(Resync)時の処理フローである。前述の通り、正副デバイス間の差分情報が、第1の記憶制御装置2に保持する差分情報13で一元化されるため、図10の処理フローに、第2の記憶制御装置4からの差分情報を読み込む処理を含む必要が無い。
【0061】
図10の差分コピー判定の処理は、差分ビットテーブルを参照して、差分ビット位置0から、差分ビットの参照を開始し、(ステップ4002、4003)、差分ビットが1である場合には、そのビット位置に対応する正論理デバイスの内容を副論理デバイスにコピーする。(ステップ4005)
順次差分ビット位置を加算して(ステップ4006)差分ビット位置が、終端となるまで繰り返す。(4007)
図11,12は、論理デバイスペアのデータに対し、上位装置1からリード要求が出されたときの、正副論理デバイスのどちらからデータをリードするかを決定するための処理を示している。
【0062】
前述のとおり、本願発明においては、第1の記憶制御装置2とは、別体である第2の記憶制御装置4の制御下の記憶装置上の論理デバイス17,19への上位装置からのI/Oが、第1の記憶制御装置2を介して行われるので、第1の記憶制御装置上でそのような他の記憶制御装置上の論理デバイスの差分情報をも管理することができる。
【0063】
そこで本願発明においては、上位装置が発行するリード命令に対して、より効率の良い論理デバイスから読み出すという方法を提供することが可能となる。即ち、ペアとなっている論理デバイスが二重化状態(Duplex)の場合のみならず、スプリット状態であった場合でもペア単位で管理している差分情報を参照すれば、差分ビットに1が設定されていない場合は、どちらから読み出しを行っても良いことになるので、記憶装置に対するI/Oの負荷を分散することができる。例えば、図1との論理デバイス17と論理デバイス19のように物理的に異なる記憶装置上の論理デバイスにおいてI/Oを分散処理することで特定の記憶装置に対する負荷が増大して、ホストに対するレスポンス性能が劣化することを防ぐのである。
【0064】
図11を用いて本願発明のリードするデバイスの決定方法を詳細に説明する。ステップ5002はリード要求を受領した直後の初期状態を示す。本説明において、入力論理デバイスとは、ホストから処理対象として入力を受けた論理デバイス番号を指し、処理論理デバイスとは、実際のリード処理を行う対象とする論理デバイスをいう。
初期状態において、入力論理デバイスと処理論理デバイス番号は一致している。
【0065】
ステップ5004において、入力論理デバイスのペア形成状態を取得し、続くステップ5004で、そのペア状態が、スプリット(Split)状態または二重化状態(Duplex)にあるのか、それ以外かを判定する。それ以外の状態としてシンプレックス(simplex)というペアが形成されていない状態がある。ここで、スプリット状態でも二重化状態でもない場合には、ペアが存在しないこと(シンプレックス)であることが分かるので、そもそも他の論理デバイスを用いて読み出すことができず、処理を終了する。この場合は初期値がそのまま維持され、入力論理デバイス番号は、処理論理デバイス番号に一致し、処理論理デバイス番号の論理デバイスに対して処理を行うことは、ホストからリード要求を受けた論理デバイスに対してリード処理がなされることとなる、
それに対して、入力論理デバイスが、スプリット状態または、二重化状態である場合には、I/Oの負荷比較(ステップ)5005を実行する。このステップ5005については、図12を用いて詳述する。
【0066】
図12は、ペアとなっている正副の論理デバイスのどちらに、ホストからのI/O負荷がかかっているかを、判定する一実施例である。
まず、入力論理デバイスのI/Oカウンタを取得し(6002)、次いで、その入力論理デバイスのペアとなっている論理デバイスの論理デバイス番号を取得し(6003)、さらに、その論理デバイス番号で特定される論理ボリュームのI/Oカウンタを取得する。(6004)
ステップ6005において、入力論理デバイスのI/Oと、そのペアと成っている論理デバイスのI/Oとを比較し、入力論理デバイスのI/Oカウンタの方が、ペア論理デバイスのI/Oカウンタよりも大きい場合は、戻り値として、ペア論理デバイス番号を取得する。
【0067】
一方、入力論理デバイスのI/Oカウンタが、ペア論理デバイスのI/Oカウンタよりも大きくない場合は、戻り値として入力論理デバイス番号を取得する。
【0068】
この1連のステップにおいては、I/Oカウンタの少ない方の論理デバイス番号を取得することができる。
【0069】
図12に示す処理を実行して、戻り値を取得すると、図11のステップ5006において、処理論理デバイス番号にその図12の処理の戻り値である論理デバイス番号を設定する。
【0070】
次に、リードブロック番号から、差分ビットの位置(ステップ5007)及びそのブロック長から差分ビット数を算出し(ステップ5008)、その領域の差分ビットテーブルを参照する。すべての差分ビットが0である場合は、どちらの論理デバイスから読み出しても良いことになるので、処理デバイスはステップ5005で取得したI/Oカウンタの少ない方の論理デバイスから読み出すのがふさわしい、そこで、処理論理デバイス番号として、ステップ5005で取得したI/Oカウンタの少ない方の論理デバイス番号が、処理論理デバイスとなる。
【0071】
一方、ステップ5001で差分ビットが0でない場合は、処理論理デバイス番号と入力論理デバイス番号とを再度一致させ、入力論理デバイスに対して読み出し処理を行うようにしている。これは、読み出そうとする領域が正・副の論理ボデバイス間で異なっていることを示しているので、読み出す論理デバイスを変更することができないからである。
【0072】
図11及び図12に示す読み出し論理デバイスの決定手順は、その手順を適宜変更することができる。
例えば、図11のステップ5007から5010の処理である差分ビットの状態判定をステップ5005のI/O負荷比較処理に先行して行うようにしても良い。その手順によれば、差分ビットに1が設定されている場合には、入力論理デバイスに対してリード処理を行う他ないのであるから、I/O負荷比較を行う必要がなくなる。
【0073】
本願発明を換言すれば、異なる記憶制御装置にある論理デバイスとの差分情報を、第1の記憶制御装置で一元管理しているために、リード要求の出された位置のデータが正副論理デバイスで一致しているかどうかを判断できるため、Targetコマンド処理部6で、リード先の論理デバイスを選択することが可能になるということである。ま
尚、本願実施例においては、I/Oカウンタ値によって、処理論理デバイスを選択するように構成した例を示したが、システム全体の時間的な負荷バランスに特定の周期性があるような場合には、所定のタイムスケジュールによって、処理論理デバイスの選択を行うように設計することも可能である。
図13に本願の他の実施例を示す。
図13は、ディスクドライブ(第一の記憶制御装置)を接続するためのポートにファイバチャネルデバイスコネクタを介在させて、第2の記憶制御装置とを接続したものである。
この場合、第1の記憶制御装置2の共有メモリ上のデバイス情報テーブルには、ファイバチャネルデバイスコネクタのどのノードに第2の記憶制御装置が接続されているかについての情報を保持する必要がある。
【0074】
図14は、図13に示す第2の記憶制御装置の接続するノードをノードネーム104として、デバイス情報テーブルに保持した一例を示している。
図13をさらに詳細に説明すれば、図13は、Targetコマンド処理部6に加えて、さらにTargetコマンド処理部70を有する構成である。また、InitiatorI/O処理部7を介して、
ファイバチャネルデバイスコネクタ90が接続され、このコネクタ90bに第1の記憶装置が接続され、他のコネクタ90cに第2の記憶制御装置4が接続されている。
【0075】
このような構成によって、、InitiatorI/O処理部7から第二の記憶制御装置4配下の第二、第三の記憶装置5a、5bを制御可能な構成としている。
図14は、図13で第2の記憶制御装置4が、InitiatorI/O処理部7で接続されていることで、他筐体である第2の記憶制御装置4との接続口を示すイニシエータ制御部番号103が、自筐体接続口のイニシエータ制御部番号103と同じ値を指すことを示している。
図15さらに他の実施例を示す。
図15は、複数の記憶制御装置が、InitialI/O処理部を介して、複数を接続されている状態を示している。本発明におけるデバイス情報や制御手段を有する複数の記憶制御装置2、4x、4yによりを経由してアクセス可能な記憶制御装置4zの制御下に実装される記憶装置5zにデータが格納される論理デバイス19zと、記憶制御装置2の制御下に実装される記憶装置3にデータが格納される論理デバイス18とが、論理デバイスペアを構成している図を示す。このように、上位装置1から論理デバイス19zに対するアクセス要求が発生した場合、記憶制御装置2、4x、4yの共有メモリに持つ制御装置情報・デバイス情報・I/O情報を用いて、論理デバイスの特定を行い、異なる記憶制御装置に対して、処理要求に対する処理が可能となる。
【0076】
本願発明は、図1で示すとおり、第1の記憶制御装置2のInitiatorI/O処理部に、別の筐体で第2の記憶制御装置4を接続した構成である。換言すれば、第1の記憶制御装置のディスクをつなぐ口を利用して、他の記憶制御装置4と接続し、第1の記憶制御装置2の制御下で、当該第2の記憶制御装置を制御しようとするものである。
【0077】
本願発明のようなディスクアレイ装置の場合、ディスクアダプタは複数のディスクドライブをファイバチャネル接続することから、複数のディスクドライブをつなぐ装着口を持っていて、その装着口はディスクドライブをフル実装しない限り使いきらない。ディスクドライブの装着口を、本発明にある第2の記憶制御装置4との接続に用いる事で、第一の記憶制御装置2と上位装置1とのチャネル接続口数が制限されることもない。
【0078】
第1の記憶制御装置2に接続する記憶装置の代わりに、第2の記憶制御装置4を接続し、その第2の記憶制御装置4が見せる論理デバイスが、第1の記憶制御装置2の記憶装置として制御することが可能になる。
【0079】
本願発明の図1においては、第1の記憶制御装置2のディスク接続ポートに接続される第2の記憶制御装置が1台である場合を例示して詳細に説明したが、何台の記憶制御装置が、第1の記憶制御装置の配下に接続されるかは随時、ユーザの設定ポリシーに従って設計可能である。
【0080】
また、図15に示すように第2の記憶制御装置のディスク接続ポートに他の記憶制御装置をさらに接続して、階層的に制御することも可能である。
【0081】
尚、本願発明において、Targetコマンド処理部として説明した部位は、記憶制御装置のチャネアダプタとしての機能を有し、上位装置からの受領したコマンドを処理するように構成し、InitiatorI/O処理部は、記憶制御装置のディスクアダプタとしての機能を有し、記憶装置へのキャッシュメモリ上のデータの書き込みも制御するに構成することができる。
【0082】
【発明の効果】
本発明により、第2の記憶制御装置の配下にある論理ボリュームの管理が、第1の記憶制御装置によって一元管理されることが可能になる。また、この場合においおいて、第2の記憶制御装置が有する記憶装置の接続ポートを利用すれば、第1の記憶制御装置の上位装置側に接続されるポートが、リモートコピーペアとのインタフェースとして利用されることがなくなり、接続可能な上位装置台数が減ることがない。
【0083】
さらに、物理的に異なる筐体間の論理デバイスペアの副側制御装置の差分管理方式の違いや、その有無に関わらず、ペアを生成することが可能となり、Resync時間の短縮も可能になる。
【0084】
また、正側記憶制御装置上に、正と副両方の論理デバイス間の差分を保持するため、上位装置からのリード命令を、正副論理デバイスで負荷分散することが可能になる。
【図面の簡単な説明】
【図1】本発明のシステム構成である。
【図2】制御装置情報である。
【図3】デバイス制御情報である。
【図4】I/O要求・応答通知用のメッセージテーブルである。
【図5】差分情報である。
【図6】統計情報である。
【図7】I/O要求送信処理フローである。
【図8】I/O要求受信処理フローである。
【図9】差分ビット設定判定処理フローである。
【図10】差分コピー処理フローである。
【図11】正副リードデバイス決定処理フローである。
【図12】正副デバイス負荷判定フローである。
【図13】ディスクドライブ接続口に第二の記憶制御装置をつないだ構成図である。
【図14】図13における制御装置情報である。
【図15】第2の記憶制御装置のディスク接続ポートに他の記憶制御装置をさらに接続した図である。
【符号の説明】
1・・・上位装置、2・・・第1記憶制御装置、3・・・第記憶装置、4・・・第2記憶制御装置、5a・・・第2記憶装置、5b・・・第3記憶装置、6・・・TARGETコマンド処理部、7・・・InitiatorI/O処理部、9・・・共有メモリ、10・・・キャッシュメモリ、11・・・制御装置情報、12・・・デバイス情報、13・・・差分情報、14・・・I/O情報、15・・・統計情報、17・18・19・・・論理デバイス

Claims (17)

  1. 上位装置から受領した記憶装置に対するデータの書き込みや読み出しを制御する第1の記憶制御装置を有する記憶システムであって、
    前記第1の記憶制御装置は、前記上位装置に接続され、前記上位装置からのコマンドを処理する第1の処理部と、
    前記上位装置から受領したデータを一時的に保持するキャッシュメモリと、
    前記記憶システムの管理情報を保持するメモリと、
    前記キャッシュメモリ上のデータの前記記憶装置に対する書き込みを制御する第2の処理部と、を有し
    前記記憶システムは、前記第2の処理部に、第2の記憶制御装置が接続されることを特徴とする記憶システム。
  2. 請求項1に記載の記憶システムにおいて、前記第1の記憶制御装置が、前記第1の記憶制御装置の制御下にある第1の記憶装置上の論理デバイスと、前記第2の記憶制御装置の制御下にある第2の記憶装置上の論理デバイスとの間にペア関係を生成することを特徴とする記憶システム。
  3. 請求項2に記載の記憶システムにおいて、前記メモリの管理情報として、第1及び第2の記憶制御装置の制御情報、デバイス情報、差分管理情報を含むことを特徴とする記憶システム。
  4. 請求項1に記載の記憶システムにおいて、前記第2の記憶制御装置は、この記憶制御装置に制御される記憶装置上に少なくとも2以上の論理デバイスを有し、前第1の記憶制御装置の前記メモリ内に、前記2以上の論理デバイス同士のペア状態を管理する管理情報を保持することを特徴とする記憶システム。
  5. 請求項4に記載の記憶システムにおいて、
    前記管理情報は、前記第2の記憶制御装置によって制御される記憶装置上の記憶デバイスのペア状態が、スプリット状態である場合に、その差分情報を保持する差分管理情報を有することを特徴とする記憶システム。
  6. 上位装置から受領したデータの記憶装置に対する書き込みや読み出しを制御する第1の記憶制御装置を有する記憶システムであって、
    前記第1の記憶制御装置は、前記上位装置に接続され、前記上位装置からのコマンドを処理する第1の処理部と、
    前記上位装置から受領したデータを一時的に保持するキャッシュメモリと、
    前記記憶システムの管理情報を保持するメモリと、
    前記キャッシュメモリ上のデータの前記記憶装置に対する書き込みを制御する第2の処理部と、を有し
    前記記憶システムは、前記第2の処理部に、第2の記憶制御装置が接続され、
    前記第1の処理部が前記コマンドを受領した場合に、前記第1の記憶制御装置内の管理情報を参照して、前記コマンドが、前記第1の記憶制御装置が制御する記憶装置上の論理デバイスに対するものか、前記第2の記憶制御装置が制御する記憶装置上の論理デバイスに対するものかを、判定することを特徴とする記憶システム。
  7. 請求項6に記載の記憶システムにおいて、前記判定が前記第2の記憶制御装置に上の論理デバイスに対するものであると判定した場合に、
    前記第1の処理部または、前記第2の処理部が、前記コマンドを前記第2の記憶制御装置で制御可能なコマンドにコマンドの等価変換を行うことを特徴とする記憶システム。
    処理部を介して前記第2の記憶制御装置に対して発行するかどうかを判定することを特徴とする記憶システム。
  8. 上位装置から受領した記憶装置に対するデータの読み出しを制御する第1の記憶制御装置を有する記憶システムであって、
    前記第1の記憶制御装置は、
    データを蓄積する第1の記憶装置と、
    前記上位装置に接続され、前記上位装置からの読み出しコマンドを処理する第1の処理部と、
    前記第1の処理部の処理結果に応答して前記第1の記憶装置から前記データを読み出して、キャッシュメモリに保持する第2の処理部と、を有し、
    前記記憶システムは、前記第2の処理部と接続される第2の記憶制御装置を有し、
    前記第2の記憶制御装置は、
    前記第2の処理部からの読み出しコマンドを受領する第3の処理部と、
    前記第2の記憶制御装置が制御する第2の記憶装置とを有し、
    前記第3の処理部の処理結果に応答して前記第2の記憶装置からデータの読み出しを行う第4の処理部とを有することを特徴とする記憶システム。
  9. 請求項8に記載の記憶システムにおいて、
    前記第1の記憶制御システムは、前記第2の記憶装置上に生成された論理デバイスの管理情報を保持するメモリを有することを特徴とする記憶システム。
  10. 請求項9に記載の記憶システムにおいて、
    前記管理情報が、前記第2の記憶装置上の論理デバイスを含むペア論理デバイスの管理情報であることを特徴とする記憶システム。
  11. 請求項10に記載の記憶システムにおいて、
    前記管理情報が、前記第2の記憶装置上の論理デバイスを含むペア論理デバイス間の差分情報を含むことを特徴とする記憶システム。
  12. 請求項11に記載の記憶システムにおいて、
    前記第1または、前記第2の処理部が、前記差分情報に基づいて、前記上位装置から読み出し命令を受領したデータを 前記第1の記憶制御装置が制御する論理デバイスから読み出すか、前記第2の記憶制御装置が制御する論理デバイスから読み出すかを判定することを特徴とする記憶システム。
  13. 第1の記憶装置を有する第1の記憶制御装置に、第2の記憶装置を有する第2の記憶制御装置が接続された記憶システムの制御方法であって、
    前記第1の記憶装置が、上位装置からデータの書き込みまたは読み出し命令を受領する第1のステップと、
    前記第1の記憶制御装置内の管理情報に基づいて、前記上位装置からのデータの書き込みまたは読み出しを前記第1の記憶装置に対して行うか、前記第2の記憶装置に対して行うかを判定する第2のステップと、
    前記第2のステップの判定結果に応答して、前記第1または前記第2の記憶装置に対してデータの書き込みまたは読み出しを行う第3のステップとからなる記憶システムの制御方法。
  14. 上位装置から受領した記憶装置に対するデータの書き込みや読み出しを制御する第1の記憶制御装置を有する記憶システムにおいて、
    前記第1の記憶制御装置は、前記上位装置に接続され、前記上位装置からのコマンドを処理する第1の処理部と、 前記上位装置から書き込み命令を受領したデータを記憶する第1の記憶装置と、前記上位装置から書き込み命令を受領したデータまたは前記上位装置から読み出し命令を受領し前記第1の記憶装置から読み出したデータを一時的に保持するキャッシュメモリと、 前記記憶システムの管理情報を保持するメモリと、 前記キャッシュメモリ上のデータの前記第1の記憶装置に対する書き込みを制御する第2の処理部と、を含み、 前記第2の処理部に、第2の記憶制御装置が接続される記憶システムの制御方法であって、
    前記第1の処理部が、上位装置からデータの書き込みまたは読み出し命令を受領する第1のステップと、
    前記上位装置から受領したコマンドが、前記第1の記憶装置上の論デバイスに関するものか、前記第2の記憶装置上の論理デバイスに対するものかを前記管理情報を参照して判定する第2のステップと、
    前記第2のステップにおける判定結果が、前記第2の記憶装置上の論理デバイスに対するものであるとの判定結果である場合に、
    前記第2の処理部を介して、前記第2の記憶制御装置に制御コマンドを中継することを特徴とする第3のステップとを有することを特徴とする記憶システムの制御方法。
  15. 請求項14に記載の記憶システムの制御方法において、
    前記第2の記憶制御装置に制御コマンドを中継する場合に、前記第1の処理部または、前記第2の処理部が、前記中継する制御コマンドを前記第2の記憶制御装置が処理可能なコマンドに等価変換する第4のステップとをさらに含むことを特徴とする記憶システムの制御方法。
  16. 請求項14に記載の記憶システムにおいて、
    前記記憶システムは、前記第1の記憶装置上の論理デバイスと、前記第2の記憶装置上の論理デバイスとの間に論理デバイスペアを生成するステップをさらに有し、前記論理ペアデバイスに対する前記上位装置からの書き込み命令を受領した場合に、前記論理デバイスの更新情報を差分情報として前記管理情報に蓄積することを特徴とする請求項14に記載の記憶システム。
  17. 請求項14に記載の記憶システムが、前記上位装置からのデータの読み出しコマンドを受領した場合に、
    前記差分情報を参照して、前記読み出しを前記第1の記憶装置上の論理デバイスと、前記第2の記憶装置上の論理デバイスのいずれから読み出すかを判定するステップとをさらに有することを特徴とする記憶システムの制御方法。
JP2003093118A 2003-03-31 2003-03-31 記憶システム及びその制御方法 Pending JP2004302713A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2003093118A JP2004302713A (ja) 2003-03-31 2003-03-31 記憶システム及びその制御方法
EP03015402A EP1465049A3 (en) 2003-03-31 2003-07-08 Storage system and method of controlling the same
US10/633,019 US7003634B2 (en) 2003-03-31 2003-07-31 System and method for creating logical pairs of storage devices in a multiprocessor environment
US11/266,059 US7603519B2 (en) 2003-03-31 2005-11-02 Storage system and method of controlling the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003093118A JP2004302713A (ja) 2003-03-31 2003-03-31 記憶システム及びその制御方法

Publications (2)

Publication Number Publication Date
JP2004302713A true JP2004302713A (ja) 2004-10-28
JP2004302713A5 JP2004302713A5 (ja) 2006-03-30

Family

ID=32844595

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003093118A Pending JP2004302713A (ja) 2003-03-31 2003-03-31 記憶システム及びその制御方法

Country Status (3)

Country Link
US (2) US7003634B2 (ja)
EP (1) EP1465049A3 (ja)
JP (1) JP2004302713A (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006277545A (ja) * 2005-03-30 2006-10-12 Hitachi Ltd 計算機システム、記憶装置システムおよびライト処理制御方法
JP2006285388A (ja) * 2005-03-31 2006-10-19 Hitachi Ltd 計算機システム、ホストコンピュータ及びコピーペア処理方法
JP2007128175A (ja) * 2005-11-01 2007-05-24 Hitachi Ltd ストレージシステム
JP2007299386A (ja) * 2006-04-28 2007-11-15 Hewlett-Packard Development Co Lp マルチパーティションコンピュータシステムのi/oデバイスを制御するためのシステム
JP2008071209A (ja) * 2006-09-15 2008-03-27 Fujitsu Ltd ストレージ管理プログラム、ストレージ管理装置、およびストレージ管理方法
JP2009187468A (ja) * 2008-02-08 2009-08-20 Hitachi Ltd 記憶システム、解除方法及び副側のストレージ装置
JP5583227B1 (ja) * 2012-09-21 2014-09-03 株式会社東芝 物理ブロック間でデータをコピーするディスクアレイ装置、ディスクアレイコントローラ及び方法

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003316522A (ja) * 2002-04-26 2003-11-07 Hitachi Ltd 計算機システムおよび計算機システムの制御方法
JP2004302713A (ja) * 2003-03-31 2004-10-28 Hitachi Ltd 記憶システム及びその制御方法
JP2005309550A (ja) 2004-04-19 2005-11-04 Hitachi Ltd リモートコピー方法及びリモートコピーシステム
JP4386694B2 (ja) 2003-09-16 2009-12-16 株式会社日立製作所 記憶システム及び記憶制御装置
US7340639B1 (en) 2004-01-08 2008-03-04 Network Appliance, Inc. System and method for proxying data access commands in a clustered storage system
JP4141391B2 (ja) * 2004-02-05 2008-08-27 株式会社日立製作所 ストレージサブシステム
US20060020691A1 (en) * 2004-07-20 2006-01-26 Hewlett-Packard Development Company, L.P. Load balancing based on front-end utilization
JP2006067480A (ja) * 2004-08-30 2006-03-09 Canon Inc ネットワークデバイス管理システム及びその制御方法、並びにプログラム
JP4377790B2 (ja) * 2004-09-30 2009-12-02 株式会社日立製作所 リモートコピーシステムおよびリモートコピー方法
US7574464B2 (en) * 2005-02-14 2009-08-11 Netapp, Inc. System and method for enabling a storage system to support multiple volume formats simultaneously
US8073899B2 (en) * 2005-04-29 2011-12-06 Netapp, Inc. System and method for proxying data access commands in a storage system cluster
JP4842720B2 (ja) * 2006-06-29 2011-12-21 株式会社日立製作所 ストレージシステム及びデータ複製方法
US20080177907A1 (en) * 2007-01-23 2008-07-24 Paul Boerger Method and system of a peripheral port of a server system
US20080270480A1 (en) * 2007-04-26 2008-10-30 Hanes David H Method and system of deleting files from a remote server
US20080270594A1 (en) * 2007-04-27 2008-10-30 Mcjilton Charles M Method and system of separate file storage locations as unified file storage
US8005993B2 (en) 2007-04-30 2011-08-23 Hewlett-Packard Development Company, L.P. System and method of a storage expansion unit for a network attached storage device
WO2011083507A1 (en) * 2010-01-05 2011-07-14 Hitachi,Ltd. Replication system and its control method
US10776753B1 (en) * 2014-02-10 2020-09-15 Xactly Corporation Consistent updating of data storage units using tenant specific update policies
US10469580B2 (en) * 2014-12-12 2019-11-05 International Business Machines Corporation Clientless software defined grid
US10554749B2 (en) 2014-12-12 2020-02-04 International Business Machines Corporation Clientless software defined grid
JP2020009202A (ja) * 2018-07-09 2020-01-16 株式会社日立製作所 ストレージ装置、ストレージシステム、および性能評価方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10283272A (ja) * 1997-04-01 1998-10-23 Hitachi Ltd 複合計算機システムおよび複合i/oシステム
JPH1185410A (ja) * 1997-09-05 1999-03-30 Hitachi Ltd データ二重化記憶サブシステム
JPH11305949A (ja) * 1998-04-17 1999-11-05 Fujitsu Ltd ファイル制御装置によるリモート転送方法
JP2000132343A (ja) * 1998-08-20 2000-05-12 Hitachi Ltd 記憶装置システム
JP2001216185A (ja) * 2000-02-02 2001-08-10 Hitachi Ltd 情報処理システムのデータ復旧方法及びディスクサブシステム

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US594000A (en) * 1897-11-23 Device for setting
US675331A (en) * 1900-01-20 1901-05-28 Eldridge R Johnson Sound recording and reproducing device.
JPS60138653A (ja) * 1983-12-27 1985-07-23 Hitachi Ltd 階層記憶制御方式
JPH0690682B2 (ja) * 1987-02-28 1994-11-14 日本電気株式会社 マルチプロセツサシステムの障害処理方式
US5475366A (en) * 1988-12-05 1995-12-12 Prince Corporation Electrical control system for vehicle options
US5614885A (en) * 1988-12-05 1997-03-25 Prince Corporation Electrical control system for vehicle options
US5442340A (en) * 1988-12-05 1995-08-15 Prince Corporation Trainable RF transmitter including attenuation control
US5479155A (en) * 1988-12-05 1995-12-26 Prince Corporation Vehicle accessory trainable transmitter
US4965717A (en) * 1988-12-09 1990-10-23 Tandem Computers Incorporated Multiple processor system having shared memory with private-write capability
US5154617A (en) * 1989-05-09 1992-10-13 Prince Corporation Modular vehicle electronic system
US5113182B1 (en) * 1990-01-19 1995-11-07 Prince Corp Vehicle door locking system detecting that all doors are closed
US5455716A (en) * 1990-08-14 1995-10-03 Prince Corporation Vehicle mirror with electrical accessories
US5627529A (en) * 1994-03-11 1997-05-06 Prince Corporation Vehicle control system with trainable transceiver
US5903226A (en) * 1993-03-15 1999-05-11 Prince Corporation Trainable RF system for remotely controlling household appliances
JP3200757B2 (ja) * 1993-10-22 2001-08-20 株式会社日立製作所 並列計算機の記憶制御方法および並列計算機
US5661651A (en) * 1995-03-31 1997-08-26 Prince Corporation Wireless vehicle parameter monitoring system
US5699055A (en) * 1995-05-19 1997-12-16 Prince Corporation Trainable transceiver and method for learning an activation signal that remotely actuates a device
US5686903A (en) * 1995-05-19 1997-11-11 Prince Corporation Trainable RF transceiver
JP3732869B2 (ja) * 1995-06-07 2006-01-11 株式会社日立製作所 外部記憶装置
US5845593A (en) * 1995-06-08 1998-12-08 Birkestrand; Orville J. Man and wind powered aquatic vehicle
US5661804A (en) * 1995-06-27 1997-08-26 Prince Corporation Trainable transceiver capable of learning variable codes
US5678026A (en) * 1995-12-28 1997-10-14 Unisys Corporation Multi-processor data processing system with control for granting multiple storage locks in parallel and parallel lock priority and second level cache priority queues
JP3875749B2 (ja) * 1996-08-08 2007-01-31 富士通株式会社 マルチプロセッサ装置及びそのメモリアクセス方法
JP3400297B2 (ja) 1997-06-04 2003-04-28 株式会社日立製作所 記憶サブシステムおよび記憶サブシステムのデータコピー方法
US6148369A (en) * 1997-09-30 2000-11-14 Emc Corp Method and apparatus for providing logical devices spanning several physical volumes
CA2251456C (en) * 1997-10-31 2007-02-13 Sony Corporation An apparatus for storing and transmitting data
US6137421A (en) * 1997-11-12 2000-10-24 Prince Corporation Method and apparatus for storing a data encoded signal
US6091343A (en) * 1997-12-18 2000-07-18 Prince Corporation Trainable RF transmitter having expanded learning capabilities
US6725331B1 (en) * 1998-01-07 2004-04-20 Emc Corporation Method and apparatus for managing the dynamic assignment resources in a data storage system
JPH11305945A (ja) 1998-04-23 1999-11-05 Fuji Xerox Co Ltd データ記憶制御装置およびデータ記憶制御方法
DE69938378T2 (de) * 1998-08-20 2009-04-30 Hitachi, Ltd. Kopieren von Daten in Speichersystemen
JP4250266B2 (ja) * 1998-08-28 2009-04-08 キヤノン株式会社 周辺機器及び周辺機器制御方法及び周辺機器制御システム及び周辺機器制御プログラムを記憶した記憶媒体及び周辺機器制御プログラムを送出する送出装置及び周辺機器制御プログラム製品
US6446223B1 (en) * 1998-09-09 2002-09-03 Hitachi, Ltd. Storage system and method for controlling the same
US6036674A (en) * 1998-12-18 2000-03-14 Becton Dickinson And Company Retracting needle syringe
US6574709B1 (en) * 1999-09-30 2003-06-03 International Business Machine Corporation System, apparatus, and method providing cache data mirroring to a data storage system
US6425051B1 (en) * 2000-09-25 2002-07-23 International Business Machines Corporation Method, system, program, and data structures for enabling a controller accessing a storage device to handle requests to data in a first data format when the storage device includes data in a second data format
US6708285B2 (en) * 2001-03-15 2004-03-16 Hewlett-Packard Development Company, L.P. Redundant controller data storage system having system and method for handling controller resets
US6757753B1 (en) * 2001-06-06 2004-06-29 Lsi Logic Corporation Uniform routing of storage access requests through redundant array controllers
JP4060552B2 (ja) * 2001-08-06 2008-03-12 株式会社日立製作所 記憶装置システム、および、記憶装置システムの構成方法
US7055056B2 (en) * 2001-11-21 2006-05-30 Hewlett-Packard Development Company, L.P. System and method for ensuring the availability of a storage system
US20030105931A1 (en) * 2001-11-30 2003-06-05 Weber Bret S. Architecture for transparent mirroring
JP2003208269A (ja) * 2002-01-10 2003-07-25 Hitachi Ltd セキュリティ機構を備えた二次記憶装置およびそのアクセス制御方法
US6912669B2 (en) * 2002-02-21 2005-06-28 International Business Machines Corporation Method and apparatus for maintaining cache coherency in a storage system
JP4704659B2 (ja) * 2002-04-26 2011-06-15 株式会社日立製作所 記憶装置システムの制御方法および記憶制御装置
JP2004110367A (ja) 2002-09-18 2004-04-08 Hitachi Ltd 記憶装置システムの制御方法、記憶制御装置、および記憶装置システム
JP2004185544A (ja) * 2002-12-06 2004-07-02 Hitachi Ltd 記憶デバイス制御装置システムの制御方法、及び記憶デバイス制御装置システム
JP2004302713A (ja) * 2003-03-31 2004-10-28 Hitachi Ltd 記憶システム及びその制御方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10283272A (ja) * 1997-04-01 1998-10-23 Hitachi Ltd 複合計算機システムおよび複合i/oシステム
JPH1185410A (ja) * 1997-09-05 1999-03-30 Hitachi Ltd データ二重化記憶サブシステム
JPH11305949A (ja) * 1998-04-17 1999-11-05 Fujitsu Ltd ファイル制御装置によるリモート転送方法
JP2000132343A (ja) * 1998-08-20 2000-05-12 Hitachi Ltd 記憶装置システム
JP2001216185A (ja) * 2000-02-02 2001-08-10 Hitachi Ltd 情報処理システムのデータ復旧方法及びディスクサブシステム

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006277545A (ja) * 2005-03-30 2006-10-12 Hitachi Ltd 計算機システム、記憶装置システムおよびライト処理制御方法
JP2006285388A (ja) * 2005-03-31 2006-10-19 Hitachi Ltd 計算機システム、ホストコンピュータ及びコピーペア処理方法
JP4688542B2 (ja) * 2005-03-31 2011-05-25 株式会社日立製作所 計算機システム、ホストコンピュータ及びコピーペア処理方法
JP2007128175A (ja) * 2005-11-01 2007-05-24 Hitachi Ltd ストレージシステム
JP2007299386A (ja) * 2006-04-28 2007-11-15 Hewlett-Packard Development Co Lp マルチパーティションコンピュータシステムのi/oデバイスを制御するためのシステム
JP4576398B2 (ja) * 2006-04-28 2010-11-04 ヒューレット−パッカード デベロップメント カンパニー エル.ピー. マルチパーティションコンピュータシステムのi/oデバイスを制御するためのシステム
JP2008071209A (ja) * 2006-09-15 2008-03-27 Fujitsu Ltd ストレージ管理プログラム、ストレージ管理装置、およびストレージ管理方法
JP2009187468A (ja) * 2008-02-08 2009-08-20 Hitachi Ltd 記憶システム、解除方法及び副側のストレージ装置
US8677094B2 (en) 2008-02-08 2014-03-18 Hitachi Ltd. Storage system, release method, and secondary storage apparatus
JP5583227B1 (ja) * 2012-09-21 2014-09-03 株式会社東芝 物理ブロック間でデータをコピーするディスクアレイ装置、ディスクアレイコントローラ及び方法

Also Published As

Publication number Publication date
US20040193795A1 (en) 2004-09-30
EP1465049A3 (en) 2008-06-04
US20060059303A1 (en) 2006-03-16
US7603519B2 (en) 2009-10-13
US7003634B2 (en) 2006-02-21
EP1465049A2 (en) 2004-10-06

Similar Documents

Publication Publication Date Title
JP2004302713A (ja) 記憶システム及びその制御方法
JP4728031B2 (ja) リモートコピーペアの移行を行うシステム
US7228399B2 (en) Control method for storage device controller system, and storage device controller system
US7757055B2 (en) Storage system and data migration method for the same
US7467241B2 (en) Storage control method and storage control system
US6615314B1 (en) Disk array and method for reading/writing data from/into disk unit
US7817626B2 (en) Storage subsystem
US20130067123A1 (en) Methods and structure for improved i/o shipping in a clustered storage system
US7376804B2 (en) Storage system, backup system, and backup method
US6892203B2 (en) Method, apparatus and system for remote file sharing
JP4477437B2 (ja) ストレージ装置、そのクラスタ間データ通信方法、及びそのクラスタ通信制御プログラム
US20090216976A1 (en) Computer system allowing any computer to copy any storage area within a storage system
JP2007122117A (ja) ストレージシステム及び記憶制御方法
JPH10198607A (ja) データ多重化システム
JP4451687B2 (ja) ストレージシステム
JP2009026091A (ja) 接続管理プログラム、接続管理方法および情報処理装置
JP2007310448A (ja) 計算機システム、管理計算機、および、ストレージシステム管理方法
JP2007048323A (ja) 仮想化制御装置およびデータ移行制御方法
JP4433372B2 (ja) データアクセスシステム及び方法
JP5182162B2 (ja) 計算機システム及びi/o制御方法
US7330946B2 (en) Data processing system
JP4997784B2 (ja) データ記憶システム、データ記憶方法、データ記憶プログラム
US7574529B2 (en) Addressing logical subsystems in a data storage system
JP2004030254A (ja) リモートsi制御方式
US20030026249A1 (en) Inter-nodal data transfer system and data transfer apparatus

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060210

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20060210

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060210

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20060210

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20061023

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090209

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20090209

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090410

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090929