JP2002032197A - ディスクアレイ記憶装置の論理ボリュームの透過交換方法 - Google Patents
ディスクアレイ記憶装置の論理ボリュームの透過交換方法Info
- Publication number
- JP2002032197A JP2002032197A JP2000321951A JP2000321951A JP2002032197A JP 2002032197 A JP2002032197 A JP 2002032197A JP 2000321951 A JP2000321951 A JP 2000321951A JP 2000321951 A JP2000321951 A JP 2000321951A JP 2002032197 A JP2002032197 A JP 2002032197A
- Authority
- JP
- Japan
- Prior art keywords
- logical
- data
- logical volume
- logical volumes
- volumes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/061—Improving I/O performance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
- G06F11/3433—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment for load management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3447—Performance evaluation by modeling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3485—Performance evaluation by tracing or monitoring for I/O devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0604—Improving or facilitating administration, e.g. storage management
- G06F3/0605—Improving or facilitating administration, e.g. storage management by facilitating the interaction with a user or administrator
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0629—Configuration or reconfiguration of storage systems
- G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
- G06F3/065—Replication mechanisms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0662—Virtualisation aspects
- G06F3/0665—Virtualisation aspects at area level, e.g. provisioning of virtual or logical volumes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0683—Plurality of storage devices
- G06F3/0689—Disk arrays, e.g. RAID, JBOD
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B17/00—Guiding record carriers not specifically of filamentary or web form, or of supports therefor
- G11B17/22—Guiding record carriers not specifically of filamentary or web form, or of supports therefor from random access magazine of disc records
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
- G06F2201/885—Monitoring specific for caches
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Quality & Reliability (AREA)
- Computer Hardware Design (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Debugging And Monitoring (AREA)
Abstract
理に関する、より詳細には、ディスクアレイ記憶装置の
管理に関する。 【解決手段】 物理ディスク記憶装置上の活動度の負荷
平均化は、ディスク利用情報を得るために、物理ディス
ク記憶装置上の論理ボリューム等の、物理ディスク記憶
装置上の隣接する記憶位置のブロックへの読取りおよび
書込みをモニターすることによって達成される。ディス
ク利用情報は1つのブロック対の選択をもたらす。それ
によって生じる悪影響を確定するテストの後で交換を行
い、個々の物理ディスク記憶装置上に一層平均にロード
を分散する。交換は、交換されるデータのコピーを受け
取る一対の特別に構成された論理ボリュームの使用を含
み、交換を行うために、ブロック対のブロックの構成を
おこない、ブロック対の元のもう一方のブロックへ転送
する。
Description
28日出願の米国特許出願番号09/143,683号
の一部継続出願であり、同出願は継続中の1998年1
月2日出願の米国特許出願番号09/002,428号
の一部継続出願であり、同出願は継続中の1997年1
0月6日出願の米国特許出願番号08/944,606
号の一部継続出願であり、これらは全て本発明と同一の
出願人に譲渡されている。本発明の出願人に譲渡されて
いる、1997年4月25日出願の米国特許出願番号0
8/842,953号「コモンデータセットへの独立か
つ同時アクセス方法および装置」と、本発明と同日に出
願された米国特許出願(代理人番号第07072/92
9001号)「記憶サブシステム再構成用メールボック
ス」は、本発明と同一の出願人に譲渡されており、参考
文献として本明細書に組み込まれている。
理システムの資源管理に関し、より詳細にはディスクア
レイ記憶装置の管理に関する。
スクアレイ記憶装置に組み込まれている。これらのデバ
イスの各々は、論理ボリューム中に配置された複数の物
理ディスクを有している。これらのディスク上のデータ
はコマンド、特に1つまたはそれ以上のホスト処理装置
からの読取り/書込みコマンドに応答する種々の入出力
制御プログラムを介してアクセス可能である。本発明の
出願人による市販されているシメトリクス5500シリ
ーズの統合キャッシュディスクアレイは、そのようなデ
ィスクアレイ記憶装置の1つの例である。この特定のア
レイは、数テラバイト以上に達する大量のデータを記憶
する能力を有する、複数の物理ディスク記憶装置または
ドライブを備える。そのような資源の管理が非常に重要
になる理由は、そのようなアレイの能力の非効果的な利
用が、データ処理システム全体の効率に重大な影響を及
ぼす可能性があるからである。
記憶装置の初期化に際し、格納されるデータセットの幾
つかの特性を決定する。これらの特性として、データセ
ットサイズ、ボリューム名およびシステムによっては論
理ボリュームと多重ホスト処理システムにおける特定ホ
スト処理装置との間の対応を挙げることができる。その
後、システム管理者はこの情報を使用して、種々のデー
タセットを異なる物理デバイスに亘って分散させること
によって、つまり、複数のアプリケーションによる物理
デバイスの同時使用が回避されることを見込んで、ディ
スクアレイ記憶装置を構成する。この限定された情報に
基づく割り当ては不適切になることがよくある。これが
生じると、原構成(コンフィギュレーション)はデータ
処理システム全体の効率を非常に低下させることがあ
る。
定のデータセットをロードする前にディスクアレイ記憶
装置の処理オペレーションの解析を先行させ、その後デ
ータセットのロード位置を決定することが提案されてい
る。例えば、ハーツング(Hartung)他による米
国特許第4,633,387号には、多重ユニットデー
タ処理システムにおける負荷平均化が開示されており、
ここではホストは複数の記憶装置ディレクタを介して複
数のディスク記憶ユニットで作動する。このアプローチ
によれば、最も忙しくない記憶装置ディレクタがより繁
忙な記憶装置ディレクタになすべき仕事を要求する。繁
忙側記憶装置ディレクタは仕事送り側ユニットとして、
仕事要求側または非繁忙側記憶装置ディレクタに仕事を
供給する。
米国特許第5,239,649号には、アプリケーショ
ンの長時間実行の間にチャネルパス上の負荷を平均化す
るシステムが開示されている。この負荷平均化方式によ
れば、ボリュームの選択は呼側ホストに類似性のあるも
のによってなされる。それぞれの結合チャネルパスにま
たがる負荷も計算される。異なるアプリケーションから
生じる負荷の異なる大きさを考慮して、最少の不使用チ
ャネルパスに結合されたボリュームを選択するよう計算
は加重される。最適ボリュームは次ぎに処理されるボリ
ュームとして選択される。その後、ボリューム処理と関
連する負荷は、それぞれの結合チャネルパスに亘って平
均的に分散すると仮定して、各チャネル上のモニターさ
れた負荷が、新しく選択されたボリュームと関連する負
荷を含むように更新される。その結果、後続のボリュー
ムの選択は更新された負荷情報に基づくことになる。こ
の方法は、直ちに次の残余ボリューム選択処理の間継続
する。
e)による米国特許第3,702,006号には、多重
タスキング可能なデータ処理システムにおける負荷平均
化が開示されている。連続する割り当てルーチンの間の
時間間隔を通して、各入出力デバイスが各々のタスクに
よりアクセスされる回数がカウントされる。各割り当て
がなされている間、カウントと時間間隔を利用した解析
が行われ、現在のタスクによる各デバイスの利用度が評
価される。割り当て中のタスクによる予想利用度も同様
に評価される。その後、平均化された入出力活動度を得
るために、評価された現在の利用度と予想利用度とが、
データセットを最少利用度の入出力デバイスへ割り付け
る試みの基準として考慮され使用される。
ついての明確な、または推定された知識に基づく、個々
のデータセットの特定の位置を選択することによって負
荷平均化が得られるシステムを開示している。個々のデ
ータセットは手動で再構成しない限り所定の物理ディス
クに残ったままになる。いずれのシステムもディスクア
レイ記憶システム内に存在するデータセットの動的な再
割り付けまたは配置による負荷平均化の実現を示唆して
いない。
物理ディスクドライブ間での読取り処理の分割を含んで
いる。冗長性は記憶システムを構成する際にもやはり考
慮されるべきものであり、種々の記憶システムの実現の
ための重要な要因になってきている。1998年10月
6日に発行された米国特許第5,819,310号は、
ミラーデータを記憶するための2つのデバイスコントロ
ーラと、関連ディスクドライブとを含むディスクアレイ
記憶装置を備える冗長記憶システムを開示している。デ
ィスクドライブの各々は論理ボリュームに分割されてい
る。各デバイスコントローラは異なる読取り処理をもた
らすことができ、対応するディスクドライブからデータ
を取り出す際に使用される読取り処理を確立する、対応
テーブルを含んでいる。各ディスクコントローラは、対
応テーブルを使用して適切な読取り処理を選択するため
に、また指定された論理ボリュームを含む適切な物理記
憶装置からデータを転送するために、論理ボリュームを
識別する読取りコマンドに応答する。
場合、単一の論理ボリュームを含む読取り処理は必ずし
も単一の物理デバイスから生じるのではない。むしろ特
定の論理ボリュームの異なる部分に対する読込みコマン
ドは、論理ボリューム中の予め選択されたトラックから
読取るためのミラーデータのいずれか1つに向けること
ができる。このような処理を行うことによって、限定さ
れた負荷平均化がもたらされて、シークタイムが減少す
る。
リュームを、隣接する記憶場所のブロック内の個々の物
理ドライブ上に格納されるサブボリュームに分割するこ
とによって、負荷を複数のドライブに亘って分散する傾
向にある。しかし、物理ドライブが、複数の論理ボリュ
ーム、サブボリュームまたは隣接する記憶場所の他の形
式のブロックを有していると、その最終的な結果は、物
理ディスクドライブの全体については負荷を平均化しな
い場合がある。つまり、前述の参考文献のいずれも、現
実の使用に基づく物理アドレス空間の動的再割り当てを
提供する方法を開示も示唆もしていない。
ームが選択されると、交換またはスワップが、バッファ
のように作動するよう1つの物理ディスクドライバの未
使用領域を選択することによって起こる。これは物理デ
ィスク記憶装置または、動的予備物理ディスク記憶装置
の未使用領域であってもよい。動的な予備部品としての
汎用物理ディスク記憶装置は従来から知られている。別
の環境において、図2のメモリ33等のキャッシュメモ
リをバッファとして使用することが可能である。単一の
バッファを使用する場合、並行コピーまたは他の転送手
順は、(1)第1の論理ボリュームを第1の物理ディス
ク記憶装置からバッファへ、(2)第2の論理ボリュー
ムを第1の物理ディスク記憶装置内の対応する領域へ、
(3)論理ボリュームバッファを第2の論理ボリューム
に含まれる第2の物理ディスク記憶装置内の領域へ移動
できる。並行コピーまたは他の転送手順は、交換をオン
ラインで行うことを可能にするが、転送中に許容できな
い程の性能低下を起こす場合がある。
84で説明されるように、論理ボリュームはBCVと同
様に作動し、前述の米国特許出願番号09/002,4
78で説明されるように、このような交換を行うのに適
合されうる。例えば、第1および第2の論理ボリューム
が選択されると仮定すると、交換プロセスは、まず最初
に、データを第1および第2の論理ボリュームから第1
および第2のBCV論理ボリュームへそれぞれ転送でき
る。第1および第2の論理ボリュームを認識した後で、
第2のBCV論理ボリュームの内容を新しいレコード、
つまり旧第1の論理ボリュームへ転送し、BCV論理ボ
リュームの内容を新しいレコード、つまり旧第2の論理
ボリュームへ転送することで交換が完了する。
スに関連する基本コマンドを利用するこのアプローチ
は、追加のオペレーションを必要とする。従って、特定
のアプリケーションにおいては、通常の処理手順に著し
い遅延を生じる場合があるので、すべてのユーザやアプ
リケーションソフトウエアに対し透過的に転送を行うこ
とができない。さらに、従来のBCVコマンド自体、特
定の交換要求転送には容易に適合しないので、交換を行
うプロセスは煩わしいものになる。
的は、複数の物理ディスク記憶装置の動的再割り当てを
もたらし、各物理ディスク記憶装置上のロード要求のい
かなる不均衡も減少させることである。
置と論理ボリュームの通常のオペレーションや、ユーザ
またはアプリケーションソフトウエアに対し透過的に物
理ディスク記憶装置上の論理ボリュームを動的に割り当
てる方法を提供することである。
スを利用する、物理ディスク記憶装置の論理ボリューム
の動的割り当てを提供することである。
理ボリュームのための先存する冗長性を損なうことな
く、ディスクアレイ記憶装置の論理ボリュームの動的割
り当てを提供することである。
れば、それぞれ第1と第2のデータ処理識別を有する2
つの論理ボリュームは、それぞれ、第1と第2の論理ボ
リュームと、第3と第4の論理ボリュームとのデータ交
換パスを確立することで交換される。次に、第1と第2
の論理ボリュームに対するI/O要求に応答して独立か
つ同時に、第1と第2の論理ボリュームのデータは、第
3と第4の論理ボリュームのデータにそれぞれコピーさ
れる。次に、第1と第2の論理ボリュームは、それぞれ
第2と第1のデータ処理識別を有するよう構成される。
その後、第3と第4の論理ボリュームのデータは、それ
ぞれ前記第2と第1の論理ボリュームに転送される。
論理ボリュームにミラーである第1の論理ボリュームに
格納されたデータは、第2のミラー論理ボリュームにミ
ラーである第2の論理ボリュームに格納されたデータと
交換される。この方法は、それぞれ、第1と第2の論理
ボリュームと、第3と第4の論理ボリュームとのデータ
交換パスを確立し、次に第1と第2の論理ボリュームに
対するI/O要求に応答して独立かつ同時に、第1と第
2の論理ボリュームのデータを第3と第4の論理ボリュ
ームのデータにそれぞれコピーする段階を備えている。
コピーの終了と同時に、それぞれ、第1と第2の論理ボ
リュームは、第2と第1のミラー論理ボリュームにミラ
ーに構成され、次に、第1と第2のミラー論理ボリュー
ムセットは、それぞれ前記第2と第1の論理ボリューム
に転送される。
瞭にクレームしている。本発明の種々の目的、利点およ
び新規な特徴は、同一の引用符号が同一部分を表す添付
図面と併せて、以下の詳細な説明を読むことで完全に明
らかになる。
型的なデータ処理システム30として、例えば、多数の
データ記憶システムつまり物理ディスク記憶装置31
A、31B、31C、31Dおよび31Eと、キャッシ
ュメモリ33とを備えるシステムメモリ32といったデ
ータメモリシステムを含む、シメトリクス5500シリ
ーズの統合キャッシュディスクアレイを示している。こ
の特定の実施形態において、データ処理システム30
は、対応する物理ディスク記憶装置31Aから31Eの
1つに接続された複数のデバイスコントローラ34A、
34B、34Cおよび34Eと、物理ディスク記憶装置
に接続された他のコントローラを表すデバイスコントロ
ーラ34Xとを含んでいる。各デバイスコントローラ
は、公知の基本構造または前記の米国出願番号08/6
54,143で説明したミラーオペレーションと関連す
るより高度な構造を備えることができる。
理ボリュームM1−LVA、M1−LVB、M1−LV
CおよびM1−LVDに分割された、対応する物理ディ
スク記憶装置31Aとともに示されている。デバイスコ
ントローラ34Eは、ミラー論理ボリュームM2−LV
A、M2−LVB、M2−LVCおよびM2−LVDを
格納する別の物理ディスク記憶装置31Eを制御する。
物理ディスク記憶装置31Aおよび34E内の論理ボリ
ュームは、説明の目的上、同一サイズを持つものとす
る。しかし、物理ディスク記憶装置内のミラーおよび非
ミラー論理ボリュームは異なるサイズであってもよい。
例えば、物理ディスク記憶装置31Bは2つの論理ボリ
ュームLVEおよびLVFで表示されている。
装置31A内の論理ボリュームと同一サイズであり、論
理ボリュームLVFが論理ボリュームLVEのサイズの
3倍の大きさであると仮定する。物理ディスク記憶装置
31Cは論理ボリュームLVAと同一サイズの論理ボリ
ュームLVHの2倍の大きさを有する論理ボリュームL
VGを備えるように示されている。物理ディスク記憶装
置31Dは、論理ボリュームLVIを備えており、これ
は論理ボリュームLVJの3倍の大きさあり、LVJは
論理ボリュームLVAと同一サイズである。
ミラー化論理ボリュームは、単一ミラーリング物理ディ
スク記憶装置上にミラー化されることを必要とする要求
はない。例えば、LVJとM2−LVA論理ボリューム
の記憶場所は置き換えることができる。実際の運用にお
いては、論理ボリュームの絶対的および相対的サイズや
論理ボリュームの位置は変更できることは明らかであ
る。
置つまりホスト35、相互接続データアクセスチャネル
36およびホストアダプタ37は、システムバス38で
システムメモリ32に接続する。典型的なデータ処理シ
ステム30は、多重ホストアダプタを含んでおり並列に
システムバス38に接続する。また、1つまたはそれ以
上のホストが各ホストアダプタに接続している。
ソール40は、追加の処理装置を含み、これはデバイス
コントローラ34Aへの並列または他の通信リンクによ
って、典型的には1つ以上のデバイスコントローラ34
A等のデバイスコントローラを経由して、システムバス
38に接続する。システム管理コンソール40は、シス
テムオペレータがデータ処理システム30を構成、制御
およびモニターするためのセットアップおよび診断プロ
グラムを実行することを可能にする。本質的に、システ
ム管理コンソール40は、オペレータがホストアダプタ
37、デバイスコントローラ34Bおよびシステムメモ
リ32との通信を確立することを可能にする。種々のホ
スト、ディスクアダプタ、サービス処理装置管理システ
ム間の通信の1つのアプローチが、前記の米国特許出願
(代理人番号070721/929001)で説明され
ている。
ローラ34A、34B等の構成要素がシステムメモリ3
2にアクセスする前に、この構成要素はシステムバス3
8へのアクセスを得る必要がある。従来のバスアクセス
ロジック41は、これらの構成要素からアクセス要求信
号を受け取り、所定の時間にその構成要素のただ1つの
みにアクセスを認める。多種多様の公知の調停スキーム
は、多重処理装置とシステムメモリ32等の共有システ
ムメモリーとを用いるデータ記憶システムでの使用に適
している。
要素として、キャッシュメモリ33内に記憶されたデー
タアドレスを含む指示を与える、キャッシュ・インデッ
クス・ディレクトリ42を含んでいる高速ランダムアク
セス半導体メモリーであることが好ましい。好ましい実
施形態において、キャッシュ・インデックス・ディレク
トリ42は、論理デバイス、シリンダおよびトラックの
ための階層テーブルとして構成される。システムメモリ
32はまた、データ構造43および待ち行列44のため
の領域を含む。システムメモリ32の基本オペレーショ
ンはヤナイ他による1993年4月27日に発行の米国
特許第5,206,939号で説明されている。また、
システムメモリ32、特にキャッシュメモリ33は永久
キャッシュメモリーとして知られるメモリー領域を含む
ことができる。公知のように、データ構成要素は、それ
らが特別に消去されない限り永久キャッシュメモリー内
に残る。
ントローラとの調整は、システムメモリ32、特にキャ
ッシュメモリ33を各ホストアダプタと各デバイスコン
トローラ間のバッファとして使用することによって単純
化される。そのようなシステムは、例えば米国特許第
5,206,939号で説明されている。そのようなシ
ステムではキャッシュメモリ33を管理する専用処理装
置を備える必要がない。その代わりとして、ホストアダ
プタまたはデバイスコントローラの各々が、ホストアダ
プタ37内のキャッシュ管理プログラム45や、デバイ
スコントローラ34Aから34Xの各々のキャッシュ管
理プログラム46A、46Bの1つといった、それぞれ
のキャッシュ管理プログラムを実行する。システム管理
プログラム47は、システム管理コンソール40のため
に同様の機能を果たし、オペレータがシステムを構成す
るのを可能にする。キャッシュ管理プログラムの各々
は、キャッシュ・インデックス・ディレクトリ42にア
クセスし、種々のコマンドを記憶するためにデータ構造
および待ち行列をオペレーションする。さらに詳細に
は、ホストアダプタ37内のキャッシュ管理プログラム
45は、ホスト35からのデータをキャッシュメモリ3
2に書込み、キャッシュ・インデックス・ディレクトリ
42を更新する。
計量を収集する。キャッシュメモリ管理部45は多数の
パラメータに関する統計量を蓄積する。本発明の目的の
ためには、ホスト35または接続ホストによって要求さ
れる読取り/書込みオペレーションの数が重要である。
同様に、各々のデバイスコントローラ34A−34X内
の各々のキャッシュメモリ管理部46A−46Xは、各
接続物理ディスク記憶装置上ににある論理ボリューム用
の統計値を収集する。システム管理コンソール40内の
モニタ50は、これらのキャッシュメモリー管理部を統
合して所定間隔で適切な統計値を得る。
全ての測定値に含まれるディスクオペレーションは、読
取りおよび書込みオペレーションを含むことになる。読
取りオペレーションはさらに読取りヒット、読取りミス
およびシーケンシャル読取りオペレーションに分類する
ことができる。読取りヒットオペレーションは、読取る
べきデータがキャッシュメモリ33内にある場合に発生
する。読取りミスは読取るべきデータがキャッシュメモ
リ33内で利用できない場合に発生し、物理ディスク記
憶装置から転送される必要がある。シーケンシャル読取
りオペレーションは、アドレス指定された記憶場所から
連続して生じる。
ションで作動する。第1のオペレーションは、ホスト3
5からキャッシュメモリ33へデータを転送する。第2
のタイプは、キャッシュメモリ33から物理ディスク記
憶装置へデータを転送する。第2のタイプは、バックグ
ラウンドモードで作動するので、データが物理ディスク
記憶装置に書込まれる前に、ホスト35は、ある記憶場
所に何度もデータを書込むことが可能である。したがっ
て、第2のタイプの書込みオペレーション回数は、通常
第1のタイプの書込みオペレーション回数に合致せずそ
れよりも少なくなる。
理ボリュームの物理ディスク上への適切な再割り当てを
決定する1つの特定のプログラムをバックグラウンドに
関して説明できる。如何なるプログラムも、各キャッシ
ュメモリー管理部から周期的に統計量を取り出す性能モ
ニタ50が供給する情報に依存している。周期性は従来
のサンプリング基準によって選択される。典型的な周期
は15分ないし30分またはそれ以上である。統計量の
各組がタイム・スタンプされて論理ボリュームによって
蓄積されるので、読取りオペレーション回数、読取りヒ
ット比率、シーケンシャル読取り比率およびテスト期間
全体にわたる全読取りオペレーション回数が得られる。
図1に示される1つの特定の負荷平均化プログラム51
が図2Aおよび2Bにしたがって実行され、全体的には
ステップ60によって示される、収集されモニターされ
た性能から一対の論理ボリュームの再割り当てまたは交
換が生成される。詳細には、解析を行うべき時であれ
ば、決定ステップ61として表示される待機ループは、
ステップ62の性能モニタ50によってテスト期間に関
係のある全ての統計量を取り出す制御に進む。
3を使用して交換可能な論理ボリューム対のリストを判
定する。このリストを判定する際に評価すべき幾つかの
基準がある。まず第1に、交換可能論理ボリュームは同
一サイズでなければならない。実際問題として殆どの論
理ボリュームは比較的少数の物理サイズの1つから選択
されることになる。第2に、交換される2つの論理ボリ
ューム間の如何なる相互関係をも調査して、交換を不可
能にする何らかの理由があるか否かを判定する必要があ
る。例えば、同一物理ディスク記憶装置上の論理ボリュ
ームの交換は一般的に殆どもしくは全く効果がない。前
述の米国出願番号08/653.154で説明したミラ
ーリングや他の冗長性は、利用可能かつ交換可能な論理
ボリュームの対をさらに制限することがある。例えば、
通常、ミラー論理ボリュームは、同一の物理ディスク記
憶装置上には、なおさら同一のコントローラまたは隣接
コントローラ上にある物理ディスク記憶装置上には存在
することが不可能である。RAID−5冗長性の場合、
交換可能論理ボリューム対は通常同一のパリティー群内
にある論理ボリュームに限られる。
えば、論理ボリュームLVAないしLVE、LVHおよ
びLVJは、全て可能性のある交換候補である。同様
に、論理ボリュームLVFとLVIとは交換候補であ
る。図2に示す特定の実施形態には、LVGと交換され
る候補としての論理ボリュームは無い。
1A中の論理ボリュームM1−LVAと交換できる可能
性のある論理ボリュームとして、ミラー交換が効果がな
いと仮定すると、論理ボリュームLVE、LVHおよび
LVJを挙げることができる。物理ディスク31A内の
論理ボリュームLVAを、物理ディスク31E内のどの
論理ボリュームLVBないしLVDと交換することも不
可能であるが、この理由は、論理ボリュームLVAの両
ミラーが同一の物理ディスクドライブ上に存在できるか
らである。他の可能性のある論理ボリューム対として
は、LVA−LVH、LVH−LVJおよびLVE−L
VJ対を挙げることができる。論理ボリュームLVFお
よびLVIは、1つの交換可能対を規定する。つまり、
この特定の実施形態においては、27個の論理ボリュー
ムの交換可能対が存在する。
化プログラムは、蓄積統計量および読取りヒット率を使
用し、事前のテスト間隔にわたって各論理ボリュームに
対する読取りミス値、シーケンシャル読取り値およびデ
ィスク書込み値を生成する。
ラム51は、各物理記憶装置ごとに合計した全アクセス
回数または全加重アクセス活動値と、各物理記憶装置に
関するその物理ディスク記憶装置上の各論理ボリューム
に対する加重アクセス活動値とを識別するテーブルを構
成する。この時点で、全平均物理アクセス活動値はま
た、物理ボリュームアクセス活動値を合計して物理デバ
イス数で除することによって得ることができる。
と、制御は図2Bにおけるループ制御71の下でループ
を形成するステップ67および70へ進む。特にステッ
プ67は図2Aにおけるステップ63で生成されたリス
トから1対の論理ボリュームを選択する。例えば、M1
LVAとLVEの対が選択されると仮定する。ステップ
70で、負荷平均化プログラム51は、まるでそれら2
つの論理ボリュームが交換されたかのように、各物理デ
ィスクドライブごとの活動度を取得するために蓄積され
た統計量を利用する。このループはリスト中の全ての論
理ボリューム対が評価されるまで継続する。一旦このこ
とが起きると、制御はステップ72に分岐して、以下の
式に応じて各構成に対する統計的分散を定義する。
荷平均化プログラム51のステップ72は、論理ボリュ
ーム対を備えた物理ディスク記憶装置に対する平均アク
セス活動値を決定し、各対が交換されたと仮定してステ
ップ65で得られた物理ドライブアクセス活動値からの
差異を取得する。その後、ステップ65は、各論理ボリ
ューム対の交換に関する統計的分散を生成する。ステッ
プ73において負荷平均化プログラム51は、最小統計
的分散を生成する論理ボリューム対を選択する。前記の
統計的分散を取得する処理は当業界では公知である。
が選択の予備テストに使用される。前述したように、モ
ニタ50は周期および記録時間ベースの離散的セットと
してデータを蓄積する。ステップ74において負荷平均
化プログラムは全テスト間隔を1つまたはそれ以上のサ
ンプリング期間を含むサブ間隔に細分する。次に、各サ
ブ間隔の、またはサブ間隔グループのアクセス活動値が
決定される。物理ドライブで行われる交換に関するアク
セス活動値が原活動値より小さければ、ステップ75は
ステップ76に分岐して交換を開始する。平均を超える
サブ期間が存在する場合、ステップ77はアクセス活動
値が許容可能限界内にあるか否かを判定する。もし限界
内にあれば、ステップ77内で交換が起きシステム内の
構成テーブルが更新されて新しい構成を反映する。そう
でない場合には交換は起きない。
り、同一の要素には同一の引用符号が付与されている。
図3の変更例は、基本的に、2つの特別に構成された論
理ボリューム91および92を有するデバイスコントロ
ーラ90等の、1つまたはそれ以上の付加デバイスコン
トローラを備えている。これらは前述の米国特許第09
/002,478号に説明されているBCVデバイス形
式である。
ューム(DRV)と呼ばれ、BCVデバイスと区別され
る。これらはBCVデバイスと同一のESTABLIS
HおよびSPLITコマンドに応答して作動する。本発
明を理解する目的において主たる相違は、これらのデバ
イスは内部記憶ボリュームであってシステムオペレータ
のみがシステム管理コンソールつまりサービス処理装置
40を通じてアクセス可能であるという点にある。それ
らはユーザまたはアプリケーションが生成したI/O要
求には直接利用できない。しかし、ユーザまたはアプリ
ケーションに利用可能な論理ボリュームと対になる場
合、それらはBCVのように作用する。つまり、ユーザ
またはアプリケーションが生成した書込み要求が論理ボ
リュームによって受信されると、その書込み要求は確立
されたDRVによって受信される。さらに、DRV論理
ボリュームは、従来のBCVデバイスに組み込まれてい
ない他のコマンドに応答する。
けする要求がある時、システム管理コンソールつまりサ
ービス処理装置40は、図4Aまたは4Bで説明される
手順を利用して、論理ボリュームの構成を制御する。図
5Aはそのような交換で使用される複数の論理ボリュー
ム100を表す。本発明の基本的なオペレーションを理
解するためには、4つの物理ディスクドライブを考慮す
る必要がある。それらは物理ディスク記憶装置101、
102、103および104を含んでいる。物理ディス
ク記憶装置101は、物理ディスク記憶装置110の一
区域または一区画に格納されているM1ミラーである論
理ボリュームLV1、すなわちLV1−M1論理ボリュ
ーム105を含む、3つの論理ボリュームを含むものと
して示してある。この実施形態において、物理ディスク
記憶装置101はまた、データをLV2−M3論理ボリ
ューム106およびLV3−M1論理ボリューム107
に記憶しているものとして示してある。物理ディスク記
憶装置102は、LV4−M1論理ボリューム110、
LV5−M1論理ボリューム111およびLV6−M1
論理ボリューム112を含んでいる。本発明を理解する
ためには、LV1−M1論理ボリューム115およびL
V4−M1論理ボリューム110が適切である。
LVnおよびLVp論理ボリューム113、114を含
んでいる。付加的記憶ボリュームが、物理ディスク記憶
装置103上のボリューム115および物理ディスク記
憶装置104上のボリューム116の形態で利用でき
る。論理ボリューム115、116も本発明にとって適
切である。
記憶装置120、121を示している。これらはLV1
記憶ボリュームについての第2のミラー、すなわち物理
ディスク記憶装置120上のLV1−M2論理ボリュー
ムと、LV4論理ボリュームについての第2のミラーと
しての物理ディスク記憶装置121上にあるLV4−M
2論理ボリューム123とを含む物理ディスク記憶装置
である。LV1−M1およびLV1−M2ミラー論理ボ
リュームと、LV4−M1およびLV4−M2ミラー論
理ボリューム等のミラー論理ボリュームとの相互作用が
分かる。これらのミラー論理ボリュームが示されている
理由は、本発明が通常ミラー論理ボリュームで実行され
るからである。しかし、本発明は非ミラー論理ボリュー
ムの交換においても有用であることは明らかである。
ータがシステム管理コンソールつまりサービス処理装置
40を介して交換を開始する場合、オペレータは、LV
1−M1およびLV4−M1論理ボリューム105、1
10等の、交換される論理ボリューム名を与える。シス
テムオペレータはまた、図5A中のDRV1およびDR
V2ボリューム115、116として示されている、デ
ータ再配置ボリュームとして使用される2つの論理ボリ
ュームを識別する。
多くは、種々のバージョンのマイクロコードで作動して
いるマイクロ処理装置によって実行される。最初に、ス
テップ130においてシステム管理40は多数のテスト
を実行し、様々なオペレーション条件を照合する。ステ
ップ130は、例えば必要ファイルの存在と利用可能性
を決定し、交換に関連するマイクロプロセッサが適切な
コードバージョンで作動していることを確認する。これ
らのテストは普通はパスできる。もしそうでなければ、
図4Aには示されていないエラーメッセ−ジが生成され
る。そのようなテストを行う種々のテストや手順は当業
者には公知である。
の関連構成データをロックする。公知のようにロック処
理は、特定のプログラム、この場合交換プログラム以外
のプログラムがロックされた情報に影響を与えることが
できないようにする。このことにより、図4Aおよび4
B中の残りのステップは、他のプログラムが何らかの衝
突を生じたり構成データを損なう可能性なしに生じるこ
とができる。
理ボリュームもまた、ステップ132でテストされる。
これらのテストは、例えばトラックテーブルの全てのビ
ットトラック位置が有効であることの判定と、論理ボリ
ュームが実行可能状態にあり、ユーザが論理ボリューム
を用いたBCV確立オペレーションを要求されていない
ことの判定とを含んでいる。別のテストをこのテストに
追加して、あるいは代替的に使用できる。いずれかのテ
ストで異常があると、制御はステップ133から134
へ進んでその状態を知らせる。全てのテストに合格する
と、制御はステップ135へ進み、ここでも構成情報が
不注意に変更されないように、論理ボリューム構成にロ
ックを行う。その後、ステップ136がこの構成内の種
々のハードウェア構成要素のテストを行い、適切な交換
オペレーションを保証する。これらのテストはステップ
130で行われたテストと適用範囲が類似している。
部ディスクボリュームまたはデータ再配置ボリュームを
識別する。図5の特定の実施例において、これらはDR
V1およびDRV2論理ボリューム1115、116で
ある。この処理における最善の一致は、DRV1および
DRV2論理ボリューム1115、116等の選択され
た論理ボリュームが、交換される論理ボリューム、この
場合LV1−M1およびLV4−M1論理ボリューム1
05、110と良好に一致する場合に起こる。
れることもある。例えば、DRV論理ボリュームは、同
一論理ボリュームの別のミラーと同一のスピンドル上に
ある時は除外できる。この実施の形態において、DRV
1論理ボリューム115は物理ディスク記憶装置120
上に置かれるべきではない。DRV論理ボリュームは少
なくとも交換される論理ボリュームと同一サイズであ
り、同一フォーマットである必要がある。この場合は、
DRV1論理ボリューム115はLV1−M1およびL
V4−M1論理ボリュームと同一サイズであると想定さ
れている。DRV2論理ボリューム116は、代替的か
つ許容可能なより大きい記憶容量を有しているものとし
て示されている。もしくは、DRV2論理ボリュームを
適当なサイズに構成して、物理ディスク記憶装置の残余
部、または物理ディスク記憶装置の割り当てられていな
い部分を他の目的に利用することができる。
V2論理ボリューム115、116が、LV1−M2論
理ボリューム122またはLV4−M2論理ボリューム
123に接続するメモリーバス等の、他のミラーと同一
のメモリーバス上にないことを保証できる。特定の実施
形態において、データ再配置ボリュームは同様に、他の
ミラーの2重ディスクアダプタまたはデバイスコントロ
ーラ上にないこと、または他のミラーと同一ディスクア
ダプタ上にないことを要求される場合がある。
されると、ステップ140はステップ141に進む。そ
うでなければエラー状態が存在しているので、ステップ
142に進んで適切なエラーメッセージを発生する。
理ディスク記憶装置および論理ボリューム構成は図5A
に示されている。図4Aのステップ141は、ESTA
BLISHコマンドを各々の論理ボリューム対へ送る。
第1の対はLV1−M1およびDRV1論理ボリューム
105、115を含み、第2の対はLV4−M1および
DRV2論理ボリューム110、116を含む。
論理ボリュームはデバイスヘッダを含み、各デバイスヘ
ッダは4つのミラーまでのトラックテーブルを含む。各
トラックテーブルは有効に2次元行列を定義し、各コラ
ムは多数の論理ボリュームミラーM1、M2、M3およ
びM4の1つを表す。各行は論理ボリュームのトラック
に対応する。前述の米国特許出願番号08/842,9
53で説明されるように、ESTABLISHコマンド
は、LV1論理ボリューム105についての1つの論理
ボリュームミラー(例えばトラックテーブルのM3コラ
ム中のビット位置)を無効状態に割り当てることによっ
て作動する。第2のESTABLISHコマンドは、同
一機能をLV4−M1論理ボリューム110およびDR
V2論理ボリューム116に対して実行する。2つのE
STABLISHコマンドに関し、LV1−M1論理ボ
リューム105とLV4−M1論理ボリューム110と
に関連づけされた、ディスクアダプタとも呼ばれる、各
々のデバイスコントローラのコピープログラムは、それ
らのそれぞれのM3トラックステータスビットをテスト
する。各々の無効ビットに対して、コピープログラムは
対応するトラック内のデータをDRV1およびDRV2
論理ボリューム115、116の適切な1つに転送す
る。2つのESTABLISHコマンドは本質的に同時
に送出でき、2つのDRV論理ボリュームへのデータの
転送が同時に起こることは明らかである。
は、ユーザまたはアプリケーション・ソフトウェアが生
成した入出力要求によるLVIおよびLV4へのデータ
転送と並行かつ同時に起きる。つまり、このオペレーシ
ョンは、ユーザまたはこれらの論理ボリューム内のデー
タを利用するアプリケーション・ソフトウェアのオペレ
ーションに対して如何なる妨害も起こさない。図5B
は、ESTABLISHコマンドに応答するこれらの転
送を示している。
性の原レベルは同じままであることは明らかである。す
なわち、LV1論理ボリューム内のデータが2つのミラ
ーにコピーされる本実施形態において、LV1論理ボリ
ューム内のデータは、ESTABLISH処理の間、論
理ボリューム105、122内にコピーされたままであ
る。同期状態になるとすぐに、第3のデータのコピーが
DRV1論理ボリューム115上に現れる。
図4Bのステップ144に進める。同期は144で始ま
る後続のステップに進むのを可能にするイベントの例で
ある。処理のこの時点で行われる補足的または付加的な
テストといった、他のイベントも同様に使用できる。
種々の通信経路をテストする。これはホスト処理装置に
依存しているオペレーションまたはテストを含むことが
できる。他のテストは、システム管理40、システムと
関連づけされた種々のデバイスコントローラまたはディ
スクアダプタ内に配置されたデータを含むことができ
る。前述の米国特許出願(代理人番号107072/9
29001号)に示されるように、システム管理コンソ
ール40と種々のディスクアダプタとの間の通信は、メ
ールボックスを通じて行われる。ステップ144におけ
るテストはまた、メールボックスが正確に割り当てら
れ、再構成をもたらすのに必要な別の処理が適切に行わ
れることを保証する。遭遇する問題はエラーメッセ−ジ
を発生するが、図4Bにはそのようなエラーメッセージ
の発生は示されていない。
145は、LV1−M1およびLV4−M1論理ボリュ
ームに対応する論理ボリュームを、図5Cに示すように
作動不可能状態にセットする。結果として、LV1およ
びLV4論理ボリュームに対する書込みオペレーション
はそれぞれDRV1およびDRV2ボリューム115、
116に経路を定められるが、論理ボリューム105お
よび110内のデータの更新はしない。しかし、論理ボ
リューム105および110が作動可能でなくても、冗
長性の原レベルは維持される。
れた物理ディスク記憶装置101のそこの部分は新しい
LV4−M1論理ボリュームとして構成され、一方物理
ディスク記憶装置102上の部分110は新しいLV1
−M1論理ボリュームとして構成される。ステップ14
6は、種々のディスクアダプタやコントローラに転送す
るために、新しい構成情報をメールボックスにロードす
ることによって新しい構成を確立する。
ーサービス処置も無効にする。本発明と同じ出願人に譲
渡されている1998年10月6日発行の米国特許第
5,819,310号に基づいて、動的ミラーサービス
処置は異なる論理ボリュームからデータを読取る方法を
決定する。簡単なアプローチの場合には、一番目のトラ
ック上のデータはLV1−M1論理ボリュームから読取
ることができる、他のトラック上のデータは、物理ディ
スク記憶装置120上のLV1−M2論理ボリュームか
ら読取ることができる。ステップ147は、そうしなけ
れば動的ミラーサービス処置に対する変更が再構成プロ
セスの間に試みられて生じるであろう、如何なる衝突も
避ける目的でこの処置を無効にする。
ロードし、動的ミラーサービス処置を可能にする。ステ
ップ151は、それぞれ新しいLV1−M1および新し
いLV4−M1論理ボリュームについてのトラックテー
ブルのM1−M4カラムの対応するものの中の全てのビ
ット位置を無効状態にセットする。
いLV1−M1論理ボリューム110と関連するコピー
プログラムは、図5D中の矢印152によって示される
ように、物理ディスク記憶装置102上の新しく構成さ
れたLV1−M1論理ボリューム110へデータを転送
する。DRV2論理ボリューム116または新しいLV
4−M1論理ボリューム105と関連する別のコピープ
ログラムが、矢印153によって示されるように、物理
ディスク記憶装置101上の新しく構成されたLV4−
M1論理ボリューム105へデータを転送する。
てのデータがコピーされるまでこのデータ転送をモニタ
ーする。これが生じると、もともとこのデータのために
2つミラーがあると想定すると、LV1およびLV4論
理ボリュームの各々に再び3つのデータが存在する。
ームを分割するので、それらはユーザまたはアプリケー
ションが生成したソフトウェアからのI/O要求に対す
る更なる応答から切り離される。このステップで、図5
Eに示されるように、LV1およびLV4論理ボリュー
ムに対するM1ミラー内のデータは交換される。LV1
−M1論理ボリュームデータは現今物理ディスク記憶装
置102の位置110内にあり、一方でLV4−M1論
理ボリューム内のデータは現今物理ディスク記憶装置1
01の論理ボリューム105内にある。分割が起きた
後、ステップ156はロックを、特にステップ131お
よび132の間に提供されたロックを移動して、処理に
よって課された制限を解除する。その後、システム管理
コンソール40によって交換処理に関連を持たされた全
てのオペレーションが終了する。
ィスクドライブを備える磁気ディスク記憶装置における
負荷の平均化に関する種々の方法および装置を特徴づけ
るものである。典型的に、各々のディスクドライブは、
複数の論理ボリュームに分割されている。発生する読取
り、書込みおよび順次プリフェッチ読取オペレーション
の統計量が、時間の関数として少なくとも解析間隔に亘
って維持される。このデータは、ディスク利用情報を提
供し、この情報は、論理ボリューム交換に関する2つの
候補の選択に利用できる。一対のものが選択されると、
図4Aと4Bの手順により、通常の処理オペレーション
に対して最小限の割込みで交換が可能になりる。
と呼ばれる既知のサイズの物理ディスク記憶装置上の隣
接する記憶位置のブロックに構成されたデータという観
点から検討している。しかし、本発明は他のデータ構成
にも適用可能である。例えば、アプリケーションによっ
ては、論理ボリュームは複数の物理ディスク記憶装置に
亘って分散された一連のサブボリュームに分割されるこ
ともある。そのような分割は冗長性および回復目的また
は負荷分散目的のために行うこともできる。各ブロック
は論理ボリューム、サブボリュームまたは他のグループ
化であっても、所定サイズの隣接記憶位置のブロックを
構成する。逆にかつ結果的に、ブロックは単一の論理ボ
リューム、サブボリュームあるいは他のグループ化され
たものでもよい。
ている。本発明を逸脱することなく開示された装置に対
して多数の変更を行うことができることは明らかであ
る。したがって、請求の範囲は、全てのそのような変更
や修正が本発明の真の精神と範囲内に含まれるものとし
てカバーすることが意図されている。
ブロック図である。
手順を表すフローチャートである。
手順を表すフローチャートである。
ータ処理システムのブロック図である。
順を表すフローチャートである。
順を表すフローチャートである。
り、図4Aと4Bの手順を理解する上で有用である。
り、図4Aと4Bの手順を理解する上で有用である。
り、図4Aと4Bの手順を理解する上で有用である。
り、図4Aと4Bの手順を理解する上で有用である。
り、図4Aと4Bの手順を理解する上で有用である。
Claims (5)
- 【請求項1】 第1のデータ処理識別を有する第1の論
理ボリュームに格納されたデータを、第2のデータ処理
識別を有する第2の論理ボリュームに格納されたデータ
と交換する方法であって、 A)それぞれ、前記第1と第2の論理ボリュームと、第
3と第4の論理ボリュームとのデータ交換パスを確立す
る段階と; B)前記第1と第2の論理ボリュームに対するI/O要
求に応答して独立かつ同時に、それぞれ、前記第1と第
2の論理ボリュームのデータを前記第3と第4の論理ボ
リュームのデータにコピーする段階と; C)前記第1と第2の論理ボリュームが、それぞれ第2
と第1のデータ処理識別を有するよう構成する段階と; D)前記第3と第4の論理ボリュームのデータを、それ
ぞれ前記第2と第1の論理ボリュームに転送する段階
と; を含むことを特徴とする方法。 - 【請求項2】 前記構成する段階は、 i)前記第1と第2の論理ボリューム名を交換する段階
と; ii)前記第1と第2の論理ボリュームの前記データを
無効と指定する段階と; iii)前記第1と第2の論理ボリュームが前記第3と
第4の論理ボリュームからのデータを受信することを可
能にする段階と;を含むことを特徴とする、請求項1に
記載の方法。 - 【請求項3】 前記各々の第1と第2の論理ボリューム
は、ミラー論理ボリュームの第1と第2のセットの要素
であり、前記構成する段階の結果として、前記第1と第
2の論理ボリュームは、ミラー論理ボリュームの第2と
第1のセットの要素となり、前記第1の論理ボリューム
への前記データ転送に関するデータソースは、第4の論
理ボリュームと、第2のミラー論理ボリュームセットの
もう一方の要素であり、前記第2の論理ボリュームへの
前記データ転送に関するデータソースは、第3の論理ボ
リュームと、第1のミラー論理ボリュームセットのもう
一方の要素であることを特徴とする、請求項2に記載の
方法。 - 【請求項4】 前記転送パスを確立する段階は、前記第
1と第2のセットのもう一方のミラー論理ボリュームの
オペレーションに独立であることを特徴とする、請求項
3に記載の方法。 - 【請求項5】 第1のミラー論理ボリュームにミラーで
ある第1の論理ボリュームに格納されたデータを、第2
のミラー論理ボリュームにミラーである第2の論理ボリ
ュームに格納されたデータと交換する方法であって、 A)それぞれ、前記第1と第2の論理ボリュームと、第
3と第4の論理ボリュームとのデータ交換パスを確立す
る段階と; B)前記第1と第2の論理ボリュームに対するI/O要
求に応答して独立かつ同時に、それぞれ、前記第1と第
2の論理ボリュームのデータを前記第3と第4の論理ボ
リュームのデータにコピーする段階と; C)前記コピーの終了と同時に、それぞれ、第1と第2
の論理ボリュームを、前記第2と第1のミラー論理ボリ
ュームにミラーに構成する段階と; D)前記第1と第2のミラー論理ボリュームセットを、
それぞれ、前記第2と第1の論理ボリュームに転送する
段階と; を含むことを特徴とする方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US09/396218 | 1999-09-15 | ||
US09/396,218 US6341333B1 (en) | 1997-10-06 | 1999-09-15 | Method for transparent exchange of logical volumes in a disk array storage device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002032197A true JP2002032197A (ja) | 2002-01-31 |
JP3712932B2 JP3712932B2 (ja) | 2005-11-02 |
Family
ID=23566341
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000321951A Expired - Lifetime JP3712932B2 (ja) | 1999-09-15 | 2000-09-14 | ディスクアレイ記憶装置の論理ボリュームの透過交換方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US6341333B1 (ja) |
EP (1) | EP1093051B1 (ja) |
JP (1) | JP3712932B2 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007502470A (ja) * | 2003-08-14 | 2007-02-08 | コンペレント・テクノロジーズ | 仮想ディスク・ドライブのシステムおよび方法 |
US7409515B2 (en) | 2005-10-13 | 2008-08-05 | Hitachi, Ltd. | Method for exchanging data between volumes of storage system |
JP2010503941A (ja) * | 2006-09-18 | 2010-02-04 | エルエスアイ コーポレーション | グローバルホットスペアディスクが存在するときに、切断されたドライブを復元、及びコピーバックする最適化された方法 |
JP2010504589A (ja) * | 2006-09-19 | 2010-02-12 | エルエスアイ コーポレーション | グローバルホットスペアディスクが存在するときに、故障したドライブを復元、及びコピーバックする最適化された方法 |
US9146851B2 (en) | 2012-03-26 | 2015-09-29 | Compellent Technologies | Single-level cell and multi-level cell hybrid solid state drive |
US9489150B2 (en) | 2003-08-14 | 2016-11-08 | Dell International L.L.C. | System and method for transferring data between different raid data storage types for current data and replay data |
Families Citing this family (55)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6442650B1 (en) * | 1997-10-06 | 2002-08-27 | Emc Corporation | Maximizing sequential output in a disk array storage device |
US6061761A (en) * | 1997-10-06 | 2000-05-09 | Emc Corporation | Method for exchanging logical volumes in a disk array storage device in response to statistical analyses and preliminary testing |
US6567811B1 (en) * | 1999-07-15 | 2003-05-20 | International Business Machines Corporation | Method and system to merge volume groups on a UNIX-based computer system |
US6480930B1 (en) * | 1999-09-15 | 2002-11-12 | Emc Corporation | Mailbox for controlling storage subsystem reconfigurations |
US6415372B1 (en) * | 1999-09-15 | 2002-07-02 | Emc Coropration | Rolling back storage subsystem reconfigurations |
US6643731B2 (en) * | 1999-12-31 | 2003-11-04 | Texas Instruments Incorporated | Low cost memory management that resists power interruption |
JP3951547B2 (ja) * | 2000-03-24 | 2007-08-01 | 株式会社日立製作所 | レプリケーションによるホスト間データ共有方式 |
US6665771B1 (en) * | 2000-03-31 | 2003-12-16 | Emc Corporation | Intra-disk swapping of data storage volumes |
US6557074B1 (en) * | 2000-03-31 | 2003-04-29 | Emc Corporation | Quality of swaps of data storage volumes |
US6760828B1 (en) | 2000-06-27 | 2004-07-06 | Emc Corporation | Method and apparatus for using logical volume identifiers for tracking or identifying logical volume stored in the storage system |
US6978324B1 (en) * | 2000-06-27 | 2005-12-20 | Emc Corporation | Method and apparatus for controlling read and write accesses to a logical entity |
US7065610B1 (en) * | 2000-06-27 | 2006-06-20 | Emc Corporation | Method and apparatus for maintaining inventory of logical volumes stored on storage elements |
US6842784B1 (en) | 2000-06-27 | 2005-01-11 | Emc Corporation | Use of global logical volume identifiers to access logical volumes stored among a plurality of storage elements in a computer storage system |
US6708265B1 (en) | 2000-06-27 | 2004-03-16 | Emc Corporation | Method and apparatus for moving accesses to logical entities from one storage element to another storage element in a computer storage system |
US6813686B1 (en) * | 2000-06-27 | 2004-11-02 | Emc Corporation | Method and apparatus for identifying logical volumes in multiple element computer storage domains |
US7225191B1 (en) | 2000-06-27 | 2007-05-29 | Emc Corporation | Method and apparatus for verifying storage access requests in a computer storage system with multiple storage elements |
US6553390B1 (en) * | 2000-11-14 | 2003-04-22 | Advanced Micro Devices, Inc. | Method and apparatus for simultaneous online access of volume-managed data storage |
US6779129B2 (en) * | 2000-12-01 | 2004-08-17 | International Business Machines Corporation | Method, article of manufacture and apparatus for copying information to a storage medium |
US6957291B2 (en) * | 2001-03-29 | 2005-10-18 | Quantum Corporation | Removable disk storage array emulating tape library having backup and archive capability |
US7167965B2 (en) * | 2001-04-30 | 2007-01-23 | Hewlett-Packard Development Company, L.P. | Method and system for online data migration on storage systems with performance guarantees |
US6715054B2 (en) * | 2001-05-16 | 2004-03-30 | Hitachi, Ltd. | Dynamic reallocation of physical storage |
EP1684178B9 (en) * | 2001-11-14 | 2008-07-16 | EMC Corporation | Reversing a communication path between storage devices |
US6701392B1 (en) * | 2001-11-14 | 2004-03-02 | Emc Corporation | Hierarchical approach to indentifying changing device characteristics |
US6862632B1 (en) | 2001-11-14 | 2005-03-01 | Emc Corporation | Dynamic RDF system for transferring initial data between source and destination volume wherein data maybe restored to either volume at same time other data is written |
EP1507207B1 (en) * | 2001-11-14 | 2016-03-09 | Emc Corporation | Hierarchical approach to identifying changing device characteristics |
US6976139B2 (en) | 2001-11-14 | 2005-12-13 | Emc Corporation | Reversing a communication path between storage devices |
US20030154340A1 (en) * | 2002-02-13 | 2003-08-14 | Thomas Bolt | Use of the universal serial bus as an internal architecture within IDE disk array |
US7181480B1 (en) * | 2003-06-30 | 2007-02-20 | Microsoft Corporation | System and method for managing internet storage |
US20050050269A1 (en) * | 2003-08-27 | 2005-03-03 | Horn Robert L. | Method of collecting and tallying operational data using an integrated I/O controller in real time |
US7305520B2 (en) * | 2004-01-30 | 2007-12-04 | Hewlett-Packard Development Company, L.P. | Storage system with capability to allocate virtual storage segments among a plurality of controllers |
JP2006011803A (ja) * | 2004-06-25 | 2006-01-12 | Hitachi Ltd | 情報処理システムおよびその制御方法 |
JP4549787B2 (ja) * | 2004-09-10 | 2010-09-22 | 株式会社日立製作所 | ストレージ装置 |
US7363453B1 (en) | 2004-11-29 | 2008-04-22 | Emc Corporation | Method and apparatus for improving storage device performance by selective volume swapping based on hot spot analysis |
US7363454B2 (en) * | 2004-12-10 | 2008-04-22 | International Business Machines Corporation | Storage pool space allocation across multiple locations |
US7836451B2 (en) * | 2004-12-14 | 2010-11-16 | International Business Machines Corporation | Method, system and program product for approximating resource consumption of a computer system |
US7941602B2 (en) * | 2005-02-10 | 2011-05-10 | Xiotech Corporation | Method, apparatus and program storage device for providing geographically isolated failover using instant RAID swapping in mirrored virtual disks |
US7334092B1 (en) | 2005-03-23 | 2008-02-19 | Emc Corporation | Method and apparatus for scoring data storage devices for participating in logical volume exchange process |
US7281105B1 (en) | 2005-03-23 | 2007-10-09 | Emc Corporation | Method and apparatus for selecting data storage devices for participating in logical volume exchange process based on aggregated workload statistics |
US7281106B1 (en) | 2005-03-23 | 2007-10-09 | Emc Corporation | Method and apparatus for selective volume swapping in a data storage device based on merging multiple sets of candidate storage devices |
JP2006301820A (ja) * | 2005-04-19 | 2006-11-02 | Hitachi Ltd | ストレージシステム及びストレージシステムのデータ移行方法 |
US7831976B2 (en) * | 2005-05-04 | 2010-11-09 | International Business Machines Corporation | Method, system and program product for predicting computer system resource consumption |
JP4955996B2 (ja) | 2005-09-20 | 2012-06-20 | 株式会社日立製作所 | ボリューム移行方法およびストレージネットワークシステム |
US7702851B2 (en) | 2005-09-20 | 2010-04-20 | Hitachi, Ltd. | Logical volume transfer method and storage network system |
JP4790372B2 (ja) * | 2005-10-20 | 2011-10-12 | 株式会社日立製作所 | ストレージのアクセス負荷を分散する計算機システム及びその制御方法 |
US7844441B2 (en) * | 2006-03-27 | 2010-11-30 | International Business Machines Corporation | Computer-implemented method, system and program product for approximating resource consumption of computer system |
US8819344B1 (en) | 2007-08-09 | 2014-08-26 | Emc Corporation | Shared storage access load balancing for a large number of hosts |
US8006111B1 (en) | 2007-09-21 | 2011-08-23 | Emc Corporation | Intelligent file system based power management for shared storage that migrates groups of files based on inactivity threshold |
US8903772B1 (en) | 2007-10-25 | 2014-12-02 | Emc Corporation | Direct or indirect mapping policy for data blocks of a file in a file system |
US20110296176A1 (en) * | 2008-05-27 | 2011-12-01 | Agency For Science, Technology And Research | Method and system for sharing data |
US9213721B1 (en) | 2009-01-05 | 2015-12-15 | Emc Corporation | File server system having tiered storage including solid-state drive primary storage and magnetic disk drive secondary storage |
JP5776436B2 (ja) * | 2011-08-22 | 2015-09-09 | 富士通株式会社 | ストレージシステム、ストレージ制御装置およびストレージ制御方法 |
US10599479B2 (en) | 2016-09-21 | 2020-03-24 | International Business Machines Corporation | Resource sharing management of a field programmable device |
US10355945B2 (en) | 2016-09-21 | 2019-07-16 | International Business Machines Corporation | Service level management of a workload defined environment |
US10417012B2 (en) | 2016-09-21 | 2019-09-17 | International Business Machines Corporation | Reprogramming a field programmable device on-demand |
US10572310B2 (en) | 2016-09-21 | 2020-02-25 | International Business Machines Corporation | Deploying and utilizing a software library and corresponding field programmable device binary |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09274544A (ja) * | 1996-04-08 | 1997-10-21 | Hitachi Ltd | 記憶制御装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3702006A (en) | 1971-06-09 | 1972-10-31 | Ibm | Method for balancing the utilization of input/output devices |
US4633387A (en) | 1983-02-25 | 1986-12-30 | International Business Machines Corporation | Load balancing in a multiunit system |
US5239649A (en) | 1989-10-30 | 1993-08-24 | International Business Machines Corporation | Channel path load balancing, through selection of storage volumes to be processed, for long running applications |
US5701429A (en) * | 1994-06-20 | 1997-12-23 | International Business Machines Corporation | Method and system for maintaining concurrent data access during device upgrade |
US5835953A (en) * | 1994-10-13 | 1998-11-10 | Vinca Corporation | Backup system that takes a snapshot of the locations in a mass storage device that has been identified for updating prior to updating |
US5852715A (en) * | 1996-03-19 | 1998-12-22 | Emc Corporation | System for currently updating database by one host and reading the database by different host for the purpose of implementing decision support functions |
-
1999
- 1999-09-15 US US09/396,218 patent/US6341333B1/en not_active Expired - Lifetime
-
2000
- 2000-09-14 EP EP00307999.3A patent/EP1093051B1/en not_active Expired - Lifetime
- 2000-09-14 JP JP2000321951A patent/JP3712932B2/ja not_active Expired - Lifetime
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09274544A (ja) * | 1996-04-08 | 1997-10-21 | Hitachi Ltd | 記憶制御装置 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007502470A (ja) * | 2003-08-14 | 2007-02-08 | コンペレント・テクノロジーズ | 仮想ディスク・ドライブのシステムおよび方法 |
US9021295B2 (en) | 2003-08-14 | 2015-04-28 | Compellent Technologies | Virtual disk drive system and method |
US9047216B2 (en) | 2003-08-14 | 2015-06-02 | Compellent Technologies | Virtual disk drive system and method |
US9436390B2 (en) | 2003-08-14 | 2016-09-06 | Dell International L.L.C. | Virtual disk drive system and method |
US9489150B2 (en) | 2003-08-14 | 2016-11-08 | Dell International L.L.C. | System and method for transferring data between different raid data storage types for current data and replay data |
US10067712B2 (en) | 2003-08-14 | 2018-09-04 | Dell International L.L.C. | Virtual disk drive system and method |
US7409515B2 (en) | 2005-10-13 | 2008-08-05 | Hitachi, Ltd. | Method for exchanging data between volumes of storage system |
JP2010503941A (ja) * | 2006-09-18 | 2010-02-04 | エルエスアイ コーポレーション | グローバルホットスペアディスクが存在するときに、切断されたドライブを復元、及びコピーバックする最適化された方法 |
JP2010504589A (ja) * | 2006-09-19 | 2010-02-12 | エルエスアイ コーポレーション | グローバルホットスペアディスクが存在するときに、故障したドライブを復元、及びコピーバックする最適化された方法 |
US9146851B2 (en) | 2012-03-26 | 2015-09-29 | Compellent Technologies | Single-level cell and multi-level cell hybrid solid state drive |
Also Published As
Publication number | Publication date |
---|---|
US6341333B1 (en) | 2002-01-22 |
EP1093051A3 (en) | 2003-11-26 |
EP1093051A2 (en) | 2001-04-18 |
EP1093051B1 (en) | 2013-08-14 |
JP3712932B2 (ja) | 2005-11-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3712932B2 (ja) | ディスクアレイ記憶装置の論理ボリュームの透過交換方法 | |
US6061761A (en) | Method for exchanging logical volumes in a disk array storage device in response to statistical analyses and preliminary testing | |
US6088766A (en) | Method for exchanging data blocks on disk storage devices utilizing disk access statistics and testing for the effect of a change | |
JP3860407B2 (ja) | ディスクアレイ記憶装置の負荷を平均化する方法 | |
JP3860714B2 (ja) | ディスクアレイ記憶装置内でボリュームを交換する方法 | |
US6189071B1 (en) | Method for maximizing sequential output in a disk array storage device | |
US7502904B2 (en) | Information processing system and management device for managing relocation of data based on a change in the characteristics of the data over time | |
US6718434B2 (en) | Method and apparatus for assigning raid levels | |
US7089448B2 (en) | Disk mirror architecture for database appliance | |
US8429369B2 (en) | Storage management program, storage management method, and storage management apparatus | |
US7337351B2 (en) | Disk mirror architecture for database appliance with locally balanced regeneration | |
US7032070B2 (en) | Method for partial data reallocation in a storage system | |
US8271761B2 (en) | Storage system and management method thereof | |
US6405282B1 (en) | Method for analyzine disk seek times in a disk array storage device | |
US6810491B1 (en) | Method and apparatus for the takeover of primary volume in multiple volume mirroring | |
US20090150629A1 (en) | Storage management device, storage system control device, storage medium storing storage management program, and storage system | |
JP2005242690A (ja) | ストレージサブシステムおよび性能チューニング方法 | |
JP2001175427A (ja) | ディスクアレイ記憶装置のシーケンシャル出力を最大にする方法 | |
JPH09231013A (ja) | 複数の記憶サブシステムの間で付勢状態の予備ドライブ(hsd)を共有するための方法とその装置 | |
US20050262386A1 (en) | Storage system and a method for dissolving fault of a storage system | |
JP2006331458A (ja) | ストレージサブシステムおよび性能チューニング方法 | |
US6341317B1 (en) | Method and apparatus for managing a log of information in a computer system including an intelligent storage system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041028 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050117 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20050418 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20050421 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050719 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050815 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050818 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3712932 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090826 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100826 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110826 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110826 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120826 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120826 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130826 Year of fee payment: 8 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |